Files
graph_explorer/issues/completed/0028b-enrichers-extract-trio.md
T
egutierrez 4ef6a5f7db chore(issues): mover 7 issues completadas a issues/completed/
Status sincronizado con master:
  - 0001 chat con Claude     -> shipped como panel Echo
  - 0003 enricher web        -> shipped (0028 + 0028b)
  - 0026 sistema de jobs     -> shipped
  - 0027 tipo Webpage        -> shipped
  - 0028 fetch_webpage       -> shipped
  - 0028b extract trio       -> shipped
  - 0031 layout estable      -> shipped

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-03 00:14:58 +02:00

2.3 KiB

id, title, status, priority, created, depends_on
id title status priority created depends_on
0028b Enrichers extract_domain, extract_links, extract_text_entities pending high 2026-05-01
0028

Objetivo

Tres enrichers Python adicionales que reusan el contrato validado por fetch_webpage. Cada uno cubre un eje de extraccion distinto.

1. extract_domain

applies_to: [Url, Webpage, Email]
emits: [Domain]
relations: [BELONGS_TO]
  • Saca el dominio de metadata.url o metadata.address.
  • Crea nodo Domain si no existe + relacion BELONGS_TO.
  • Util cuando el usuario tiene un Url/Email que aun no ha sido fetched pero quiere ver el dominio en el grafo.
applies_to: [Webpage]
emits: [Url]
relations: [LINKS_TO]
  • Lee metadata.markdown_path. Si vacio → exit con error "run fetch_webpage first".
  • extract_urls_py_cybersecurity sobre el contenido.
  • Para cada URL distinta encontrada:
    • Crea nodo Url con metadata.url (si no existe).
    • Relacion LINKS_TO desde la Webpage origen.
  • Param: max_links (default 50) para no saturar el grafo.

3. extract_text_entities

applies_to: [Webpage]
emits: [Person, Org, Email, Phone, Domain, Location, IPAddress, CVE, ...]
relations: [EXTRACTED_FROM, ...relaciones que GLiREL detecte]
  • Lee metadata.markdown_path.
  • Llama extract_graph_hybrid_py_pipelines (regex IoCs + GLiNER + GLiREL + LLM fallback).
  • Para cada entidad detectada:
    • Resuelve por (name, type) en operations.db. Si no existe la crea.
    • Relacion EXTRACTED_FROM desde la entidad nueva al nodo Webpage.
  • Para cada relacion detectada por GLiREL:
    • Relacion entre las dos entidades con el kind predicho.
  • Params:
    • chunk_size (default 2000)
    • use_llm_fallback (default false — evitar coste; el usuario lo activa en jobs concretos)

Definicion de hecho

  • Los tres enrichers aparecen en el menu "Run enricher" segun el tipo del nodo right-clickado.
  • En un nodo Webpage el menu muestra los 3 + fetch_webpage.
  • Test integracion:
    • Crear Url → fetch_webpage → run extract_links sobre el resultado → run extract_text_entities → grafo se llena con persons/orgs/etc.
    • Cada paso es un job independiente visible en panel Jobs.
  • extract_text_entities con LLM off termina sin coste y produce entidades de IoC + entidades GLiNER (gratis).