Hace unos días mi compañero Pablinux les contó como instalar localmente el modelo de Inteligencia Artificial de moda. En este post enumeraré los que a mi criterio son mejores modelos que DeepSeek y cómo instalarlos y ejecutarlos en nuestro ordenador.

Dejando de lado cualquier simpatía o antipatía política, la jugada del gobierno chino fue una obra maestra del marketing diplomático digna de Sun Tzu. En contraposición del estilo «Elefante en la cristalería» de Donald Trump anunciaron un modelo que gratuitamente ofrece las mismas prestaciones que ChatGPT en forma gratuita y consumiendo menos recursos. Solo los que seguimos el tema sabemos que existen otros muchos modelos de código abierto (Algunos de empresas norteamericanas como Meta) desde hace tiempo y, que el rendimiento de DeepSeek solo es comparable a ChatGPT en el 5% de los usos más comunes.

Los modelos de lenguaje a gran escala

ChatGPT, DeepSeek y otros son llamados Modelos de Lenguaje a Gran Escala. Básicamente permiten que un usuario interactue con un ordenador en un lenguaje parecido al que usa para comunicarse con otro ser humano. Para lograr esto son entrenados con grandes cantidades de texto y reglas que les permiten producir nueva información a partir de la que ya tienen.
Su uso principal es responder preguntas, realizar resúmenes de textos, hacer traducciones y reproducir contenido.

Mejores modelos que DeepSeek y cómo instalarlos localmente

Al igual que Pablinux, vamos a utilizar Ollama. Se trata de una herramienta que nos permite instalar, desinstalar y utilizar diferentes modelos de código abierto desde la terminal de Linux. En algunos casos puede usarse el navegador como interfaz gráfica, pero no lo veremos en este artículo.

Para que Ollama brinde una experiencia adecuada de uso, es mejor tener una GPU dedicada.Sobre todo en los modelos con más parámetros. Sin embargo, los menos potentes pueden usarse en una Raspberry Pi y cuado y mismo probé modelos de 7 mil millones de parámetros en un ordenador con 6 gigas y sin GPU dedicada, el ordenador funcionaba sin tropiezos. No sucedió lo mismo con uno de 13 mil millones.

Los parámetros son las reglas que utiliza el modelo para construir relaciones y armar patrones entre los datos. Cuánto más parámetros y datos más potente será un modelo, los de menos parámetros hablan español como Tarzán.

Podemos instalar Ollama con los comandos
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh

Podemos instalar el modelo con el comando:
ollama pull nombre_del modelo
Y ejecutarlo con:
ollama run nombre_del_modelo
Lo desinstalamos usando:
ollama rm nombre_del_modelo
Podemos ver los modelos instalados escribiendo:
ollama list

Lo que sigue es una pequeña lista de los modelos que a mi me parecen más interesantes: La lista completa de modelos disponibles la puedes encontrar aquí:

llama2-uncensored

Llama es un modelo de propósito general creado por Meta. En esta versión se removieron todas las restricciones  que por razones legales o políticas introdujeron los desarrolladores del proyecto original. Tiene dos versiones, una liviana que se las arregla con 8GB y la completa que necesita 64. Puede usarse para responder preguntas, redactar textos o en tareas de codificación
Se instala con:
ollama pull llama2-uncensored
Y se ejecuta con:
ollama run llama2-uncensored

codegemma

CodeGemma es una selección de modelos livianos pero potentes que permiten realizar una variedad de tareas de programación como completar código o escribirlo desde cero. Comprende el lenguaje natural, puede seguir instrucciones y hacer razonamiento matemático.

Viene en 3 variantes:

• Instruct: Transforma el lenguaje natural a código y puede seguir instrucciones:
• Code:  Completa y genera código a partir de partes de código ya existente.
• 2b: Tarea de completamiento de código más rápida.

Tynillama

Cómo su nombre lo indica es una versión más reducida del modelo original de Meta. Por lo tanto no tendrá tan buenos resultados, pero si quieres ver como funciona un modelo de Inteligencia Artificial en un hardware modesto vale la pena hacer la prueba. Solo tiene 1100 millones de parámetros.

Usar modelos en forma local tiene como ventajas la privacidad y el acceso a versiones sin censura ni sesgos que en algunos casos suele caer en el ridículo. La Inteligencia Artificial de Microsoft se negó a crearme la imagen de una perra salchica por considerar el término «perra» ofensivo. El mayor punto en contra son los requisitos  de hardware. Será cuestión de que pruebes los modelos y encuentres alguno que sea lo suficientemente bueno para lo que necesitas y pueda correr en el equipo que tienes.