egutierrez
105e56cf05
Añade el capítulo `text_distr` al motor AutomaticEDA: perfila columnas de texto libre largo (reseñas, descripciones, comentarios) que la distribución categórica no resume bien. Sigue el patrón de cat_distr/num_distr (build_text_distr(profile, ctx) -> Chapter | None) y se registra en CHAPTER_ORDER tras cat_distr. Activación en dos fases: gate barato desde el perfil (columna no numérica con len_mean >= 50 chars) + confirmación con muestra cruda (mediana de palabras >= 20). Un dataset sin texto largo (p.ej. titanic) devuelve None sin tocar el informe. Bloques por columna (Group con page_break): resumen (longitudes, vocabulario con TTR y % hapax, idioma dominante, % duplicados, legibilidad), histograma de longitudes, top términos (tabla + barras), bigramas/trigramas, idiomas detectados y nube de palabras opcional. Términos ttr/hapax enganchados al glosario clicable. Lógica delegada a 7 funciones nuevas del registry (datascience, tag eda), estilo dict-no-throw: - extract_text_sample (impura, push-down SQL DuckDB/Postgres) - compute_text_length_stats, compute_vocabulary_stats, compute_top_ngrams (puras, stdlib) - detect_corpus_language (langdetect opcional), compute_text_readability (textstat opcional), compute_text_duplicates (hash + datasketch opcional) Versión barata sin modelos pesados: las piezas que dependen de una librería opcional (langdetect, textstat, wordcloud, datasketch) degradan a omitidas sin lanzar. Añade langdetect y textstat (ligeras) al pyproject + uv.lock. Verificado: golden sobre dataset de reviews multi-idioma (capítulo presente en PDF+PPTX+MD con métricas reales), titanic sin capítulo (None), degradación sin libs, suite automatic_eda + pipeline verde (128 passed), fn index OK. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
78 lines
2.6 KiB
Python
78 lines
2.6 KiB
Python
"""Tests para compute_text_duplicates.
|
|
|
|
Importa el modulo hoja directamente (`datascience.compute_text_duplicates`)
|
|
para no depender de que el paquete reexporte la funcion en su __init__.
|
|
datasketch normalmente NO esta instalada en el venv, asi que near_dup
|
|
degrada a available=False; los tests no requieren la libreria.
|
|
"""
|
|
|
|
from datascience.compute_text_duplicates import compute_text_duplicates
|
|
|
|
|
|
EXPECTED_KEYS = {"n_docs", "n_exact_dup", "exact_dup_pct", "n_unique", "near_dup"}
|
|
|
|
|
|
def test_duplicados_exactos():
|
|
"""3 copias del mismo texto + 2 únicos: n_exact_dup=2, pct>0."""
|
|
texts = [
|
|
"El gato come pescado",
|
|
"El gato come pescado",
|
|
"el GATO come pescado", # mismo tras normalizar (espacios + case)
|
|
"Un perro ladra",
|
|
"La luna brilla",
|
|
]
|
|
result = compute_text_duplicates(texts)
|
|
|
|
assert set(result.keys()) == EXPECTED_KEYS
|
|
assert result["n_docs"] == 5
|
|
# 3 copias del primer texto (2 son repeticion) + 2 textos unicos.
|
|
assert result["n_exact_dup"] == 2
|
|
assert result["n_unique"] == 3
|
|
assert result["exact_dup_pct"] is not None
|
|
assert result["exact_dup_pct"] > 0
|
|
# 2 / 5 * 100 = 40.0
|
|
assert abs(result["exact_dup_pct"] - 40.0) < 1e-9
|
|
|
|
|
|
def test_sin_duplicados():
|
|
"""Corpus sin repeticiones: n_exact_dup=0, n_unique==n_docs."""
|
|
texts = [
|
|
"primero documento distinto",
|
|
"segundo documento distinto",
|
|
"tercero documento distinto",
|
|
]
|
|
result = compute_text_duplicates(texts)
|
|
|
|
assert result["n_docs"] == 3
|
|
assert result["n_exact_dup"] == 0
|
|
assert result["n_unique"] == 3
|
|
assert abs(result["exact_dup_pct"] - 0.0) < 1e-9
|
|
|
|
|
|
def test_vacio():
|
|
"""Corpus vacio: n_docs 0, exact_dup_pct None, no lanza."""
|
|
result = compute_text_duplicates([])
|
|
|
|
assert set(result.keys()) == EXPECTED_KEYS
|
|
assert result["n_docs"] == 0
|
|
assert result["n_exact_dup"] == 0
|
|
assert result["exact_dup_pct"] is None
|
|
assert result["n_unique"] == 0
|
|
assert result["near_dup"]["n_near_dup_docs"] == 0
|
|
|
|
|
|
def test_near_dup_degrada():
|
|
"""near_dup expone 'available' (bool) y no lanza aunque falte datasketch."""
|
|
texts = ["uno dos tres cuatro", "uno dos tres cuatro cinco", "algo distinto"]
|
|
result = compute_text_duplicates(texts)
|
|
|
|
near = result["near_dup"]
|
|
assert "available" in near
|
|
assert isinstance(near["available"], bool)
|
|
assert "n_near_dup_docs" in near
|
|
assert isinstance(near["n_near_dup_docs"], int)
|
|
# Tambien tolera None y entradas no-str sin lanzar.
|
|
mixed = compute_text_duplicates(["hola", None, 123, "hola"])
|
|
assert mixed["n_docs"] == 2
|
|
assert mixed["n_exact_dup"] == 1
|