egutierrez
ee0d26ce2d
Cada enricher con `lang: python` y `uses_functions` no vacio ahora
puede empaquetar las funciones del registry que necesita en
`<enricher>/_vendored/`. El run.py importa de ahi en lugar de
`<registry_root>/python/functions/`, lo que hace al binario
distribuible sin dependencia de un fn_registry montado.
Cambios:
1. tools/vendor_enricher_python.sh
- Lee `uses_functions` del manifest (filtrando IDs `*_py_*`).
- Resuelve `file_path` desde registry.db.
- Copia recursivamente con expansion transitiva: si un fichero
vendorizado importa siblings del mismo dominio, los siblings
tambien se copian (resuelve el caso `extract_iocs.py` que
importa 7 modulos hermanos).
- Genera `.vendor.lock` con `<id> <sha256> <src_path>` por
funcion declarada para auditoria.
- Idempotente — si todos los hashes coinciden, no rehace nada.
2. Manifests actualizados con `uses_functions`:
- fetch_webpage: normalize_url + html_to_markdown
- extract_links: extract_urls
- extract_text_entities: extract_iocs
3. run.py de los 3 enrichers afectados: importan de `_vendored/`
si existe, fallback a `<registry_root>/python/functions/` en
modo dev (mantiene los tests pytest funcionando).
4. app.md: anade `cryptography` a python_runtime_deps porque el
blob `cybersecurity.cybersecurity` lo importa al top.
5. Tests:
- test_vendor_script.py — 6 tests del script: layout correcto,
transitive siblings, lock con SHA256, idempotencia, modulos
importables en aislamiento.
- 16 tests de enrichers existentes pasan via vendoring (no usan
registry_root porque _vendored/ tiene prioridad).
6. Issue 0033b movido a issues/completed/.
Tests: 32/32 verde (16 enrichers + 6 dispatcher + 4 runtime + 6
vendor).
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2.3 KiB
2.3 KiB
id, title, status, priority, created, depends_on
| id | title | status | priority | created | depends_on | |
|---|---|---|---|---|---|---|
| 0028b | Enrichers extract_domain, extract_links, extract_text_entities | completed | high | 2026-05-01 |
|
Objetivo
Tres enrichers Python adicionales que reusan el contrato validado por
fetch_webpage. Cada uno cubre un eje de extraccion distinto.
1. extract_domain
applies_to: [Url, Webpage, Email]
emits: [Domain]
relations: [BELONGS_TO]
- Saca el dominio de
metadata.urlometadata.address. - Crea nodo
Domainsi no existe + relacionBELONGS_TO. - Util cuando el usuario tiene un Url/Email que aun no ha sido fetched pero quiere ver el dominio en el grafo.
2. extract_links
applies_to: [Webpage]
emits: [Url]
relations: [LINKS_TO]
- Lee
metadata.markdown_path. Si vacio → exit con error "run fetch_webpage first". extract_urls_py_cybersecuritysobre el contenido.- Para cada URL distinta encontrada:
- Crea nodo
Urlconmetadata.url(si no existe). - Relacion
LINKS_TOdesde la Webpage origen.
- Crea nodo
- Param:
max_links(default 50) para no saturar el grafo.
3. extract_text_entities
applies_to: [Webpage]
emits: [Person, Org, Email, Phone, Domain, Location, IPAddress, CVE, ...]
relations: [EXTRACTED_FROM, ...relaciones que GLiREL detecte]
- Lee
metadata.markdown_path. - Llama
extract_graph_hybrid_py_pipelines(regex IoCs + GLiNER + GLiREL + LLM fallback). - Para cada entidad detectada:
- Resuelve por
(name, type)en operations.db. Si no existe la crea. - Relacion
EXTRACTED_FROMdesde la entidad nueva al nodo Webpage.
- Resuelve por
- Para cada relacion detectada por GLiREL:
- Relacion entre las dos entidades con el
kindpredicho.
- Relacion entre las dos entidades con el
- Params:
chunk_size(default 2000)use_llm_fallback(default false — evitar coste; el usuario lo activa en jobs concretos)
Definicion de hecho
- Los tres enrichers aparecen en el menu "Run enricher" segun el tipo del nodo right-clickado.
- En un nodo Webpage el menu muestra los 3 + fetch_webpage.
- Test integracion:
- Crear Url → fetch_webpage → run extract_links sobre el resultado → run extract_text_entities → grafo se llena con persons/orgs/etc.
- Cada paso es un job independiente visible en panel Jobs.
extract_text_entitiescon LLM off termina sin coste y produce entidades de IoC + entidades GLiNER (gratis).