Ollama - Visualizar tokens: Mistral versus Llama3. Tiktokenizer - Visualizar tokens sin usar código.

En este video, que es la continuación del video titulado: “Ollama - ¿Qué son los tokens? ¿Cómo verlos? - Usa los token ids para ver todos los tokens de llama3.”: • Ollama - ¿Qué son los ... ,vamos a ver los token ids de los Lenguajes de gran tamaño (Large Language Models (LLMs)), utilizando cómo ejemplo mistral , LLM open-source. Además veremos cómo podemos acceder a los tokens de llama3 sin necesidad de ningún código de programación.
Ollama es una herramienta que nos permite ejecutar open-source 'Large Language Models' (LLMs) localmente en tu ordenador.

[@Pablo-Ramirez]

Muchas gracias por seguir compartiendo tu conocimiento. Saludos.