A partir de la aparición de ChatGPT surgieron un montón de herramientas cuyo respeto por la privacidad de los usuarios es dudoso. Por suerte aparecieron varios proyectos de código abierto para remediarlo. Ollama AI es una herramienta para utilizar inteligencia artificial en la terminal

La aplicación te permite utilizar una lista de LLMs en la terminal de tu ordenador o dispositivo de placa única siempre y cuando tu hardware sea lo suficientemente potente. Lo bueno es que su biblioteca tiene opciones para todos los tamaños.

Los LLMs (Modelos de lenguaje a gran escala) sirven para comprender generar y traducir lenguaje a un nivel que se acerca al lenguaje natural. Son entrenados con enormes cantidades de datos de texto. Estos modelos pueden usarse para un amplio surtido de tareas relacionadas con el lenguaje, como contestar preguntas, hacer resúmenes de textos, traducir a otros idiomas, producir contenido coherente y creativo, terminar oraciones y encontrar patrones del lenguaje.

La expresión «Gran escala» hace referencia tanto a la enorme cantidad de datos (Miles de millones) y a los parámetros que utiliza el modelo para establecer relaciones y encontrar patrones entre los datos.

Lo de los parámetros es un factor para tener en cuenta. Si bien hay quién reporta haber usado Ollama AI en una Raspberry Pi 4, no todos los modelos podrán usarse si no dispones de la memoria suficiente. Yo he usado modelos de 7 mil millones de parámetros con 6 gb de RAM y sin tarjeta gráfica sin afectar apenas el rendimiento del sistema, pero no pudo con uno de 13.
Los modelos con menos parámetros hablan español nivel parodia de turista yanqui y no son tran precisos en sus respuestas por lo que deberías tener cuidado al utilizarlos.

Ollama AI: Usa inteligencia artificial en la terminal

Antes de seguir, comencemos con una breve explicación. LlaMa es un algoritmo de aprendizaje automático que permite a una Inteligencia Artificial aprendere a reconocer y clasificar imágenes de objetos.

A este tipo de modelos se los entrena con imágenes etiquetadas para que aprendan a reconocer características específicas como textura, forma y color que permitan identificarlas en otros contextos.

Dado que el nombre del algoritmo se pronuncia igual que el del animal, algunas bibliotecas se nombraron como especies parecidas como vicuna (Vicuña en idiomas que no usan la ñ) o Alpaca.

Volviendo a Ollama AI, nos permite descargar y ejecutar diferentes modelos de código abierto desde la terminal de nuestra distribución Linux. Se instala con el comando:

curl https://ollama.ai/install.sh | sh

Para lanzar un modelo escribimos el comando:
ollama run nombre_del_modelo

Podemos ver la lista de modelos aqu

Por ejemplo, para instalar TinyLlaama, un modelo con poco más de un terabyte de parámetros usamos el comando:

ollama run tinyllama

La primera vez que se ejecuta este comando el modelo se descarga en el ordenador. Ten en cuenta que algunos ocupan varios gigabytes de espacio en disco.

Puedes borrar un modelo con el comando:
ollama rm nombre_del modelo

Para ver la lista de modelos instalados usa el comando:
ollama list

Puedes ver las informaciones sobre cada uno de los modelos instalados con:
ollama show

Una opción interesante de la biblioteca de modelos de Ollama son los denominados «Sin censura». Los modelos de Inteligencia Artificial más conocidos ponen restricciones a cierto tipo de preguntas para cumplir no solo con la ley sino con las presiones sociales de lo políticamente correcto.

Recuerdo que hace tiempo le pedí a Copilot, el asistente basado en ChatGPT de Microsoft que me dijera chistes de iceberg, me contestó que las catástrofes ecológicas eran un tema demasiado serio para hacer chistes.

Los modelos sin censura identifican las ocasiones en que las IA se niegan a responder o dan respuestas sesgadas de los modelos base, los eliminan y entrenan al sistema para que responda correctamente.

Tendría que hacer más pruebas para saber que tan útil puede resultar Ollama AI en equipos con cantidad limitada de RAM y sin tarjeta gráfica dedicada. De todas formas es bueno saber que las alternativas de código abierto se están abriendo paso y permiten eliminar la censura.