feat: enrichers offline split_sentences + extract_iocs_text
Para probar la app sin depender de red (DDG bloquea con captcha desde ciertas IPs). Ambos aplican grouping (umbral 50, preview K=10) replicando el patron de web_search. - split_sentences: parte texto en frases (regex), crea nodos Sentence conectados con SENTENCE_OF. - extract_iocs_text: variante de extract_text_entities que lee directo metadata.text/description/name, sin requerir fetch previo. Vendoriza extract_iocs_py_cybersecurity. Multi-tipo, agrupado en un solo Group heterogeneo (decision 6 multi-grupo-por-tipo es fase 2). - Tipo Sentence en types.yaml. Tests pytest cubren below/above threshold para ambos.
This commit is contained in:
@@ -0,0 +1,9 @@
|
||||
id: split_sentences
|
||||
name: "Split text into sentences"
|
||||
description: "Parte el texto del nodo en frases y crea nodos Sentence conectados con SENTENCE_OF al origen. Sin red, puro regex."
|
||||
applies_to: [text, Text]
|
||||
emits: [Sentence]
|
||||
relations: [SENTENCE_OF]
|
||||
params:
|
||||
- { name: max_sentences, type: int, default: 200 }
|
||||
- { name: min_length, type: int, default: 20, description: "ignora frases con menos de N caracteres" }
|
||||
Reference in New Issue
Block a user