10 lines
288 B
Python
10 lines
288 B
Python
from transformers import AutoTokenizer
|
|
|
|
# Reemplaza 'nombre_del_modelo' con el identificador correcto del modelo Llama 3.1
|
|
tokenizer = AutoTokenizer.from_pretrained('meta-llama/Llama-3.1-8B')
|
|
|
|
texto = "Este es un ejemplo de texto para tokenizar."
|
|
tokens = tokenizer(texto)
|
|
|
|
print(tokens)
|