Refactor system prompt and add new scripts for Llama 3.1 model integration

2024-12-19 22:46:01 +01:00
parent 32643e1312
commit 03f3d03ad0
4 changed files with 42 additions and 2 deletions
@@ -0,0 +1,9 @@
+from transformers import AutoTokenizer
+
+# Reemplaza 'nombre_del_modelo' con el identificador correcto del modelo Llama 3.1
+tokenizer = AutoTokenizer.from_pretrained('meta-llama/Llama-3.1-8B')
+
+texto = "Este es un ejemplo de texto para tokenizar."
+tokens = tokenizer(texto)
+
+print(tokens)