from transformers import AutoTokenizer

# Reemplaza 'nombre_del_modelo' con el identificador correcto del modelo Llama 3.1
tokenizer = AutoTokenizer.from_pretrained('meta-llama/Llama-3.1-8B')

texto = "Este es un ejemplo de texto para tokenizar."
tokens = tokenizer(texto)

print(tokens)