El software puede ayudar a los desarrolladores a guiar las aplicaciones generativas de IA para crear respuestas de texto impresionantes que se mantengan en el camino correcto.

Se dio a conocer hace poco que Nvidia lanzó un nuevo software, llamado NeMo Guardrails, para ayudar a los desarrolladores y empresas a guiar y controlar las respuestas generativas de sus IA.

NeMo Guardrails tiene como objetivo es hacer que los chatbots de IA y otras aplicaciones creadas a partir de modelos de lenguaje extenso (LLM) sean precisos, apropiados, relevantes y seguros. En otras palabras, ayudará a los usuarios a evitar que los modelos de IA indiquen hechos incorrectos, se salgan del tema, hablen sobre temas peligrosos o abran brechas de seguridad. El anuncio sugiere que NeMo Guardrails puede ayudar a resolver el problema de las alucinaciones del chatbot de IA, pero muchos se muestran escépticos al respecto.

A pesar de la exageración, los grandes modelos de IA generadores de texto, como GPT-4 de OpenAI, llegan a cometer muchos errores, algunos de los cuales son perjudiciales. Y es que como sabemos las AI están capacitadas a partir de terabytes de datos para crear programas capaces de crear bloques de texto que se leen como si estuvieran escritos por un humano.

Pero también tienden a inventar cosas, lo que los practicantes a menudo llaman «alucinación». Las primeras aplicaciones de la tecnología, como resumir documentos o responder preguntas básicas, deben minimizar las «alucinaciones» para que sean útiles.

Los creadores de estos modelos de IA afirman que toman medidas para abordar los problemas, como configurar filtros y equipos de moderadores humanos para solucionar los problemas cuando se informan. Pero no hay una solución única.

Incluso los mejores modelos de hoy en día son susceptibles a sesgos, toxicidad y ataques maliciosos. En su búsqueda de LLM «más seguros», Nvidia lanzó NeMo Guardrails, un conjunto de herramientas de código abierto destinado a hacer que las aplicaciones basadas en IA sean más precisas, apropiadas, relevantes y seguras. Nvidia dijo que su herramienta es el resultado de años de investigación.

Según Nvidia, NeMo Guardrails es una capa de software que se interpone entre el usuario y el LLM u otras herramientas de IA ya que elimina los malos resultados antes de que el modelo los produzca y evita que el modelo procese indicaciones incorrectas.

En un comunicado, Jonathan Cohen, vicepresidente de investigación aplicada de Nvidia, explicó:

«Si tiene un chatbot de servicio al cliente, diseñado para hablar sobre sus productos, probablemente no quiera que responda preguntas sobre nuestros competidores. Quiere monitorear la conversación. Y si eso sucede, diriges la conversación a los temas que prefieres”.

NeMo Guardrails incluye código, ejemplos y documentación para agregar seguridad a las aplicaciones de IA que generan texto y voz. Nvidia dice que el kit de herramientas está diseñado para funcionar con la mayoría de los LLM, lo que permite a los desarrolladores crear reglas usando unas pocas líneas de código.

“En última instancia, los desarrolladores controlan lo que está fuera de los límites de su aplicación con NeMo Guardrails. Pueden desarrollar barandillas que sean demasiado anchas o, por el contrario, demasiado angostas para su caso de uso”, dijo Cohen.

NeMo Guardrails permite a los desarrolladores definir tres tipos de límites:

1. Las medidas de seguridad temáticas evitan que las aplicaciones se desvíen a dominios no deseados. Por ejemplo, impiden que los asistentes de atención al cliente respondan preguntas sobre el clima.
2. Las medidas de seguridad, aseguran que las aplicaciones respondan con información precisa y apropiada. Pueden filtrar el lenguaje no deseado y asegurarse de que las referencias solo se hagan a fuentes creíbles;
3. Se limitan las aplicaciones para establecer conexiones con aplicaciones externas de terceros que se sabe que son seguras.

Según Nvidia, NeMo Guardrails puede usar un LLM para detectar alucinaciones al pedirle a otro LLM que verifique la respuesta del primer LLM.

Luego devuelve «No sé» si el modelo no encuentra ninguna respuesta coincidente. Aunque el método parece práctico, varios revisores han expresado escepticismo hacia él. En este sentido, Nvidia ha reconocido que NeMo Guardrails no es una solución única para las deficiencias del modelo de lenguaje. El gigante de Santa Clara, California, dijo que su nuevo conjunto de herramientas no está exento de fallas. En otras palabras, NeMo Guardrails no cubrirá todo.

Cohen también señala que NeMo Guardrails funciona mucho mejor con modelos que son lo suficientemente buenos para seguir instrucciones, como ChatGPT, y que usan el popular marco LangChain para crear aplicaciones basadas en IA.

Esto descarta algunas de las opciones de código abierto existentes. Además de las preguntas sobre la efectividad de la herramienta, se debe señalar que Nvidia no necesariamente lanza NeMo Guardrails por pura bondad. Es parte del marco NeMo de la compañía, que está disponible a través del paquete de software de IA empresarial de Nvidia y su servicio en la nube NeMo totalmente administrado.

Finalmente si estás interesado en poder conocer más al respecto, puedes consultar los detalles en el siguiente enlace.