fix(eda): hallazgos de comportamiento del benchmark (H2,H3,H6,H7,H8,H10,H11)

Ronda 4 (verificada con re-corrida sobre los datasets afectados):
- H2: stl_decompose deriva periodo de la frecuencia del indice (seattle period=365
  seasonal_strength=0.84; fin del period=2 espurio)
- H3+H10: infer_fk por senal de nombre (<X>Id->X.<X>Id) + excluir no-clave -> chinook
  111->9 FK, todas reales, cero absurdas, 16-27x mas rapido; base intacta (flag off->111)
- H6: association no computa eta2 si cardinalidad~=n (Ticket-Fare espurio fuera)
- H7: id secuencial monotono excluido de correlacion y PCA/KMeans (PassengerId fuera)
- H8: correlacion de series no estacionarias marcada espuria / sobre retornos
- H11: distribution_type usa modos/cardinalidad/normalidad (quality->discrete)
- 66 tests verdes

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Egutierrez
2026-06-29 06:37:47 +02:00
parent c4cff5ed5b
commit e142ef026d
12 changed files with 1028 additions and 36 deletions
@@ -223,15 +223,30 @@ def association_matrix(
)
def _skip(name: str) -> bool:
"""True si la columna no aporta asociacion util (pocos validos o text ruidoso)."""
"""True si la columna no aporta asociacion util (pocos validos, datetime o cat casi-unica)."""
col = columns[name]
vals = col.get("values", [])
ctype = col.get("type", "categorical")
numeric = _is_numeric_type(ctype)
if _valid_count(vals, numeric) < 3:
nvalid = _valid_count(vals, numeric)
if nvalid < 3:
return True
# Texto de cardinalidad ~ n: identificadores/free-text, sin asociacion util.
if ctype == "text" and n_rows > 0 and _cardinality(vals) >= 0.9 * n_rows:
if numeric:
return False
# Datetime: indice temporal unico-ish por fila. Como categorica da
# correlation_ratio (eta) ~= 1 trivial frente a cualquier numerica (cada
# fecha es su propio grupo de un solo valor) y Cramer's V / MI inflados.
# La estacionalidad/tendencia se analizan en el bloque de series, no aqui.
if ctype == "datetime":
return True
# Grupos casi singleton: si el tamano medio de grupo (valores presentes /
# cardinalidad) es < 1.5, la varianza intra-grupo ~= 0 y correlation_ratio
# sale ~= 1 por artefacto determinista (no por azar: el FDR no protege).
# Cubre ids/free-text (Ticket: 681 distintos sobre 891) y categoricas
# dispersas con muchos nulos (Cabin: 147 distintos sobre 204 presentes).
# Se mide sobre valores PRESENTES, no sobre n_rows, para captar las dispersas.
card = _cardinality(vals)
if card >= 2 and (nvalid / card) < 1.5:
return True
return False