--- name: rebel_load_model kind: function lang: py domain: datascience version: "1.0.0" purity: impure signature: "def rebel_load_model(model_name: str = 'Babelscape/rebel-large') -> tuple[Any, Any]" description: "Carga (y cachea) el tokenizer y modelo REBEL (BART-based, ~1.5 GB). Solo ingles. Licencia Apache 2.0 — uso comercial permitido. Cache por model_name." tags: [rebel, relation-extraction, nlp, model, huggingface, english, seq2seq, apache2, datascience, python] uses_functions: [] uses_types: [] returns: [] returns_optional: false error_type: "error_go_core" imports: [transformers] params: - name: model_name desc: "ID del modelo en HuggingFace Hub (defecto: Babelscape/rebel-large, BART ~1.5 GB, solo EN)" output: "tupla (tokenizer, model) listos para inferencia, cacheados por model_name." tested: false tests: [] test_file_path: "" file_path: "python/functions/datascience/rebel_load_model.py" notes: | LICENCIA: Apache 2.0 — uso comercial permitido (a diferencia de mREBEL que es CC BY-NC-SA). Solo funciona bien con texto en INGLES. Para espanol usar mrebel_load_model. REBEL usa el mismo wire format que mREBEL, por lo que parse_rebel_output es compatible. Diferencia vs mREBEL: no emite el prefijo tp_XX de idioma en el output (parse_rebel_output lo maneja porque ya hace .replace('tp_XX', '')). impure: descarga red/disco la primera vez, mantiene estado en _MODEL_CACHE. Cache separada de mrebel_load_model (modulo distinto). --- ## Ejemplo ```python from python.functions.datascience.rebel_load_model import rebel_load_model from python.functions.datascience.parse_rebel_output import parse_rebel_output tokenizer, model = rebel_load_model() text = "Pablo Isla is the CEO of Inditex, based in Arteixo." inputs = tokenizer(text, return_tensors="pt", max_length=512, truncation=True) generated = model.generate(**inputs, num_beams=4, length_penalty=1.0, max_length=256) decoded = tokenizer.decode(generated[0], skip_special_tokens=False) triplets = parse_rebel_output(decoded) ``` ## Comparacion REBEL vs mREBEL | | REBEL | mREBEL | |---|---|---| | Licencia | Apache 2.0 (comercial OK) | CC BY-NC-SA 4.0 (no comercial) | | Idiomas | Solo ingles | 30+ (es_XX, en_XX, fr_XX...) | | Tamanio | ~1.5 GB | ~2.4 GB (large) / ~900 MB (base) | | Base | BART | mBART-50 | ## Tamanio y latencia - `Babelscape/rebel-large`: ~1.5 GB en disco. - Primera carga: 20-60 s en CPU. - Inferencia CPU: 3-10 s por frase (mas rapido que mREBEL por ser BART vs mBART).