--- name: mrebel_load_model kind: function lang: py domain: datascience version: "1.0.0" purity: impure signature: "def mrebel_load_model(model_name: str = 'Babelscape/mrebel-large', src_lang: str = 'es_XX', tgt_lang: str = 'tp_XX') -> tuple[Any, Any]" description: "Carga (y cachea) el tokenizer y modelo mREBEL (mBART-based, ~600M params, ~2.4 GB). Multilingue 30+ idiomas. Cache por (model_name, src_lang). Primera llamada descarga de HuggingFace. LICENCIA CC BY-NC-SA 4.0 — solo uso no comercial." tags: [mrebel, relation-extraction, nlp, model, huggingface, multilingual, seq2seq, datascience, python] uses_functions: [] uses_types: [] returns: [] returns_optional: false error_type: "error_go_core" imports: [transformers] params: - name: model_name desc: "ID del modelo en HuggingFace Hub (defecto: Babelscape/mrebel-large, 600M params)" - name: src_lang desc: "codigo de idioma fuente para el tokenizer mBART: 'es_XX' (ES), 'en_XX' (EN), 'fr_XX' (FR), etc." - name: tgt_lang desc: "token de idioma destino del decoder — siempre 'tp_XX' para el formato triplet de mREBEL" output: "tupla (tokenizer, model) listos para inferencia. Cacheados por (model_name, src_lang)." tested: false tests: [] test_file_path: "" file_path: "python/functions/datascience/mrebel_load_model.py" notes: | LICENCIA: Babelscape/mrebel-large esta bajo CC BY-NC-SA 4.0 (Creative Commons Non-Commercial Share-Alike). Solo uso no comercial. NO usar en productos comerciales sin sustituir por un modelo con licencia comercial. impure: descarga red/disco la primera vez, mantiene estado en _MODEL_CACHE. No necesita el patch HF kwargs de glirel — AutoModelForSeq2SeqLM es path estandar. Cache es por (model_name, src_lang): dos idiomas distintos crean dos instancias porque el tokenizer tiene src_lang hardcodeado. --- ## Ejemplo ```python from python.functions.datascience.mrebel_load_model import mrebel_load_model from python.functions.datascience.parse_rebel_output import parse_rebel_output tokenizer, model = mrebel_load_model(src_lang="es_XX") text = "Pablo Isla es el presidente de Inditex." inputs = tokenizer(text, return_tensors="pt", max_length=512, truncation=True) generated = model.generate(**inputs, num_beams=4, length_penalty=1.0, max_length=256) decoded = tokenizer.decode(generated[0], skip_special_tokens=False) triplets = parse_rebel_output(decoded) ``` ## Tamanio y latencia - `Babelscape/mrebel-large`: ~2.4 GB en disco (modelo + tokenizer). - Primera carga: 30-90 s en CPU, depende de red y disco. - Inferencia CPU: 5-15 s por frase (mBART es mas lento que REBEL/BART). - Inferencia GPU (CUDA T4): 0.5-2 s por frase. ## Idiomas soportados mREBEL soporta los idiomas de mBART-50. Ejemplos: - `es_XX` — Espanol - `en_XX` — Ingles - `fr_XX` — Frances - `de_DE` — Aleman - `pt_XX` — Portugues - `it_IT` — Italiano ## Notas - Para ingles y usos comerciales, usar `rebel_load_model` (Apache 2.0). - Para benchmarks rapidos, usar `mrebel_base_load_model` (250M params, misma licencia). - `model.eval()` se llama al cargar para desactivar dropout en inferencia.