fix(enrichers): split_sentences y extract_iocs_text leen entities.notes

El campo `notes` es lo que el usuario escribe en el panel Note del
Inspector (doble click sobre el nodo) — sitio canonico para texto
largo. Antes los enrichers leian metadata.text/description/query como
prioridad, dejando notes ignorado y forzando al usuario a inyectar
texto via la UI metadata-extra (poco descubrible).

Cambios:
- Ambos run.py abren la BD y leen `entities.notes` por SQL antes de
  fallback a node_name. metadata.text/description/query ya no se
  consultan (KISS — solo notes y name).
- conftest.make_node admite kwarg `notes` para inyectar contenido
  en la columna notes desde tests.
- Tests actualizados: SAMPLE_TEXT y los IoC dumps van por `notes=`
  en lugar de `metadata={"text": ...}`.
- Renombrado el test que verificaba prioridad: ahora se llama
  `*_uses_notes_priority` y verifica notes > name.

Tests verdes WSL (44) y Windows (33 + 11 skipped).
This commit is contained in:
2026-05-03 15:36:18 +02:00
parent bcc86c43c1
commit 2a5127fcaf
6 changed files with 90 additions and 56 deletions
+29 -11
View File
@@ -2,9 +2,10 @@
"""Enricher extract_iocs_text — variante offline de extract_text_entities.
A diferencia de extract_text_entities, este enricher NO depende de un
markdown cacheado (fetch_webpage previo). Lee el texto directamente del
nodo (`metadata.text` > `metadata.description` > `metadata.query` >
`node_name`) y aplica el pipeline `extract_iocs` del registry sobre el.
markdown cacheado (fetch_webpage previo). Lee el texto directamente
del nodo (prioridad: `entities.notes` > `node_name`) y aplica el
pipeline `extract_iocs` del registry sobre el. El campo `notes` es lo
que el usuario escribe en el panel Note (doble click sobre el nodo).
Sin red, sin dependencias externas — pensado para probar la app
cuando DDG bloquea con captcha o cuando se trabaja en un entorno
@@ -76,11 +77,27 @@ def has_group_id_column(conn: sqlite3.Connection) -> bool:
return False
def read_text(metadata: dict, node_name: str) -> str:
for key in ("text", "description", "query"):
v = metadata.get(key)
if isinstance(v, str) and v.strip():
return v.strip()
def read_text(ops_db_path: str, node_id: str, node_name: str) -> str:
"""Lee `entities.notes` y cae al `node_name` si esta vacio.
`notes` es el campo donde el usuario escribe via el panel Note
(doble click sobre el nodo). Es el sitio canonico para texto largo.
"""
notes = ""
try:
c = sqlite3.connect(ops_db_path)
try:
row = c.execute(
"SELECT notes FROM entities WHERE id=?", (node_id,)
).fetchone()
if row and isinstance(row[0], str):
notes = row[0]
finally:
c.close()
except sqlite3.Error:
notes = ""
if notes and notes.strip():
return notes.strip()
return (node_name or "").strip()
@@ -130,10 +147,11 @@ def main() -> int:
return 7
progress(0.10, "reading")
text = read_text(metadata, node_name)
text = read_text(ops_db_path, node_id, node_name)
if not text:
msg = ("nodo sin texto. Esperaba metadata.text / description / "
"query, o un name con contenido")
msg = ("nodo sin texto. Escribe el contenido en el panel Note "
"del nodo (doble click para abrir) o pon un name con "
"contenido")
log(msg)
print(json.dumps({"error": msg, "entities_added": 0,
"relations_added": 0}))