graph_explorer/issues/completed/0028-enricher-fetch-webpage.md at f08cdb4db4cfa64c25ef3a0a2a4bcd43b87bd3d4

Files

T

egutierrez ee0d26ce2d feat(enrichers): vendoring de funciones Python por enricher (issue 0033b)

Cada enricher con `lang: python` y `uses_functions` no vacio ahora
puede empaquetar las funciones del registry que necesita en
`<enricher>/_vendored/`. El run.py importa de ahi en lugar de
`<registry_root>/python/functions/`, lo que hace al binario
distribuible sin dependencia de un fn_registry montado.

Cambios:

1. tools/vendor_enricher_python.sh
   - Lee `uses_functions` del manifest (filtrando IDs `*_py_*`).
   - Resuelve `file_path` desde registry.db.
   - Copia recursivamente con expansion transitiva: si un fichero
     vendorizado importa siblings del mismo dominio, los siblings
     tambien se copian (resuelve el caso `extract_iocs.py` que
     importa 7 modulos hermanos).
   - Genera `.vendor.lock` con `<id>  <sha256>  <src_path>` por
     funcion declarada para auditoria.
   - Idempotente — si todos los hashes coinciden, no rehace nada.

2. Manifests actualizados con `uses_functions`:
   - fetch_webpage:        normalize_url + html_to_markdown
   - extract_links:        extract_urls
   - extract_text_entities: extract_iocs

3. run.py de los 3 enrichers afectados: importan de `_vendored/`
   si existe, fallback a `<registry_root>/python/functions/` en
   modo dev (mantiene los tests pytest funcionando).

4. app.md: anade `cryptography` a python_runtime_deps porque el
   blob `cybersecurity.cybersecurity` lo importa al top.

5. Tests:
   - test_vendor_script.py — 6 tests del script: layout correcto,
     transitive siblings, lock con SHA256, idempotencia, modulos
     importables en aislamiento.
   - 16 tests de enrichers existentes pasan via vendoring (no usan
     registry_root porque _vendored/ tiene prioridad).

6. Issue 0033b movido a issues/completed/.

Tests: 32/32 verde (16 enrichers + 6 dispatcher + 4 runtime + 6
vendor).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-05-03 00:20:41 +02:00

2.8 KiB

Raw Blame History

id, title, status, priority, created, depends_on

title

status

priority

created

depends_on

0028

Enricher fetch_webpage (MVP end-to-end)

completed

high

2026-05-01

0026

0027

Objetivo

Primer enricher real sobre el sistema de jobs (0026). Right-click sobre un nodo Url o Webpage → "Fetch web page". Descarga el HTML, lo convierte a markdown, guarda los blobs en cache, actualiza el nodo (o lo convierte a Webpage si era Url) y crea el nodo Domain con relacion BELONGS_TO.

Este enricher valida el contrato entero. Los siguientes (0028b) reusan exactamente el mismo wire protocol.

Archivos

apps/graph_explorer/enrichers/fetch_webpage/
  manifest.yaml
  run.py

`manifest.yaml`

id: fetch_webpage
name: "Fetch web page"
description: "Descarga HTML, extrae markdown limpio y guarda en cache."
applies_to: [Webpage, Url]
emits: [Domain]
relations: [BELONGS_TO]
params:
  - { name: timeout_s, type: int, default: 15 }

`run.py`

Logica:

Lee JSON de stdin.
Saca url de metadata.url (o metadata.address si es Url legacy).
PROGRESS:0.05 normalize — normalize_url_py_cybersecurity.
PROGRESS:0.20 fetching — descarga via requests.get(url, timeout=N).
PROGRESS:0.60 parsing — html_to_markdown_py_core con readabilipy.
PROGRESS:0.85 writing — calcula sha256(url), escribe cache/<sha[0:2]>/<sha>.html y .md.
Emite stdout JSON:
- node_updates: cambia type a Webpage si era Url, anade title/status_code/content_type/fetched_at/html_path/markdown_path/text_length.
- entities: {type: Domain, name: <dominio>, metadata: {}}.
- relations: from_id: <node_id>, to_name: <dominio>, to_type: Domain, kind: BELONGS_TO.

Funciones del registry usadas

normalize_url_py_cybersecurity — limpia tracking params.
html_to_markdown_py_core — readabilipy + markdownify.
extract_domain se hace inline en el enricher (regex trivial sobre la URL parseada).

Manejo de errores

HTTP error (4xx/5xx) → escribe status_code en metadata pero NO marca el job como error (el nodo guarda evidencia del fallo).
Timeout / DNS error / etc → exit con error JSON en stdout: {"error": "...", "node_updates": [], "entities": [], "relations": []}.
Si el enricher levanta excepcion, sale con codigo != 0 y stderr capturado va a jobs.error.

Definicion de hecho

Crear nodo Url con https://example.com → click derecho → "Fetch web page".
En segundos aparece en panel Jobs como running con progress.
Al terminar:
- El nodo cambia a tipo Webpage con icono ti-file-text.
- El inspector muestra title, status_code, html_path, markdown_path.
- Aparece nodo Domain "example.com" conectado por BELONGS_TO.
- El archivo cache/<sha>.md existe en disco.
El job aparece en panel Jobs como done con entities_added=1, relations_added=1.
Tirar la red (sin internet) → el job acaba en error con mensaje claro.

2.8 KiB Raw Blame History