feat: catch-up de decisiones previas (Webpage→Url, anti-bot, UI 2-col, tests cross-platform)
Bloque de cambios revisados y validados con el usuario en sesiones previas que no habian aterrizado en commits propios. Lista por tema: * enrichers: web_search ahora usa lite.duckduckgo.com como endpoint primario (mas tolerante con bot detection desde IP residencial), con fallback al endpoint html. Detecta pagina captcha y emite error claro si ambos fallan. Anyade _DDGLiteParser para el formato lite + auto-pick de parser por contenido. * enrichers: tipo Webpage unificado en Url (campos de cuerpo cacheado viven en metadata del Url). Manifests actualizados (applies_to: [Url]). fetch_webpage ya no convierte Url->Webpage. * enrichers/manifest: campo `params` parseado a EnricherSpec.params (name, type, default_value, description). UI puede renderizar dialog de configuracion. * jobs: fix de path conversion para Python embebido nativo Windows (no convertir a /mnt/c/... cuando el subproceso es Windows-native; solo cuando es bash o python via WSL). * main.cpp: ventana ImGui (no modal) "Run enricher" con layout 2-col (label izq, input der). Inserta job con JSON tipado. Layout clustering apretado: hijos del mismo anchor en un solo anillo alrededor del padre, sin desperdigar por anillos crecientes. * views: inspector con layout 2-col via BeginTable (Identity, Schema fields, Extras). Description full-width debajo de su label. * tests: portable conftest (auto-detecta REGISTRY_ROOT, PYTHON_BIN, ENRICHERS_DIR para WSL y Windows portable). _runner.py trampoline inyecta stub via sys.path porque embedded Python ignora PYTHONPATH. Tests bash-only (vendor_script, freeze, dispatcher bash, resolver Linux-binary) skipean en Windows. Tests existentes adaptados a Webpage->Url. Resultado actual: 32 passed WSL, 21 passed + 11 skipped Windows.
This commit is contained in:
@@ -27,9 +27,9 @@ def test_extract_iocs_creates_typed_entities(ops_db, app_dir, registry_root):
|
||||
rel = md_path.relative_to(app_dir)
|
||||
|
||||
make_node(ops_db, node_id="w1", name="report",
|
||||
type_ref="Webpage", metadata={"markdown_path": str(rel)})
|
||||
type_ref="Url", metadata={"markdown_path": str(rel)})
|
||||
ctx = base_ctx(ops_db=ops_db, app_dir=app_dir, registry_root=registry_root,
|
||||
node_id="w1", node_name="report", node_type="Webpage",
|
||||
node_id="w1", node_name="report", node_type="Url",
|
||||
metadata={"markdown_path": str(rel)})
|
||||
|
||||
rc, out, err = run_enricher("extract_text_entities", ctx)
|
||||
@@ -38,7 +38,7 @@ def test_extract_iocs_creates_typed_entities(ops_db, app_dir, registry_root):
|
||||
assert out["entities_added"] >= 3, out
|
||||
|
||||
types = {e["type_ref"] for e in list_entities(ops_db)
|
||||
if e["type_ref"] != "Webpage"}
|
||||
if e["type_ref"] != "Url"}
|
||||
# No exigimos todos los tipos — depende de que extract_iocs cubra cada
|
||||
# patron — pero al menos Email y CVE deberian estar.
|
||||
assert "Email" in types, types
|
||||
@@ -51,9 +51,9 @@ def test_extract_iocs_creates_typed_entities(ops_db, app_dir, registry_root):
|
||||
|
||||
def test_extract_iocs_without_markdown_errors(ops_db, app_dir, registry_root):
|
||||
make_node(ops_db, node_id="w1", name="empty",
|
||||
type_ref="Webpage", metadata={})
|
||||
type_ref="Url", metadata={})
|
||||
ctx = base_ctx(ops_db=ops_db, app_dir=app_dir, registry_root=registry_root,
|
||||
node_id="w1", node_name="empty", node_type="Webpage")
|
||||
node_id="w1", node_name="empty", node_type="Url")
|
||||
rc, out, err = run_enricher("extract_text_entities", ctx)
|
||||
assert rc != 0
|
||||
assert out and "missing markdown_path" in (out.get("error") or "")
|
||||
|
||||
Reference in New Issue
Block a user