Hace poco OpenAI, la compañía de investigación de inteligencia artificial sin fines de lucro, dio a conocer mediante una publicación las herramientas de moderación de contenido nuevas y mejoradas (Content Moderation Tooling), las cuales menciona que son más precisas y que están destinadas a ayudar a los desarrolladores de API a proteger sus aplicaciones.

El equipo de investigación OpenAI anunció actualización de su herramienta gratuita de moderación de contenido menciona que ya está disponible para todos los desarrolladores.

Moderation endpoint permite el acceso a través de una interfaz de programación de aplicaciones a los clasificadores basados ​​en transformadores preentrenados generativos de OpenAI, que son modelos de IA que han sido entrenados para detectar contenido no deseado en las aplicaciones, dijo la compañía en una publicación de blog. Estos clasificadores detectan cualquier contenido innecesario en las aplicaciones.

La compañía ha impuesto esta actualización para que funcione de manera sólida en una amplia gama de aplicaciones, incluidas las redes sociales, los sistemas de mensajería y los chatbots de IA.

Una vez que proporciona un texto de entrada, Moderation endpoint analiza el contenido como discurso de odio, contenido sexual, lenguaje abusivo, etc., para ser filtrado. Bloquea todo el contenido (generado por la API de OpenAI) que vaya en contra de la política de contenido de OpenAI. Además, el punto final también puede eliminar y bloquear contenido dañino generado por humanos.

El endpoint ha sido entrenado para ser rápido, preciso y para funcionar de manera robusta en una variedad de aplicaciones. Es importante destacar que esto reduce las posibilidades de que los productos «digan» algo incorrecto, incluso cuando se implementan para los usuarios a escala. Como consecuencia, la IA puede desbloquear beneficios en entornos sensibles, como la educación, donde de otro modo no podría usarse con confianza.

La versión mejorada de Moderation endpoint se ha diseñado para ser rápida, precisa y funcionar de manera sólida en múltiples tipos de aplicaciones, incluidos los chatbots, los sistemas de mensajería y los sitios de redes sociales con tecnología de IA.

Es importante destacar que OpenAI dijo que reduce significativamente las posibilidades de que un modelo de IA «diga» algo incorrecto. Eso significa que la IA se puede usar en entornos más sensibles, como aplicaciones educativas, donde las personas pueden haber tenido reservas previamente sobre la implementación de la tecnología.

Cabe mencionar que la herramienta es gratuita cuando se usa con contenido generado por la API de OpenAI.  Además de moderar bots, también puede bloquear contenido dañino que no es generado por las API de OpenAI, sino por humanos. La plataforma de mensajería anónima NGL, que proporciona una plataforma para que los jóvenes compartan sus sentimientos y opiniones, utiliza la herramienta de OpenAI para detectar lenguaje de odio y acoso. NGL dijo que la herramienta tiene la capacidad única de generalizar en torno a la jerga más reciente, lo que le permite coincidir con la evolución del lenguaje utilizado por los adolescentes, por ejemplo.

Tambien es importante mencionar que en el caso de tráfico que no sea de la API, el extremo de moderación está sujeto a una tarifa

Como parte del compromiso de OpenAI de hacer que el ecosistema de IA sea más seguro , proporcionamos este punto final para permitir la moderación gratuita de todo el contenido generado por la API de OpenAI. Por ejemplo, Inworld , un cliente de la API de OpenAI, utiliza el punto final de moderación para ayudar a sus personajes virtuales basados ​​en IA a «permanecer en el guión». Al aprovechar la tecnología de OpenAI, Inworld puede concentrarse en su producto principal: crear personajes memorables.

OpenAI dijo que los desarrolladores pueden ya iniciar a hacer uso de ella consultando su documentación. También publicó un documento que detalla su proceso de capacitación y desempeño, junto con un conjunto de datos de evaluación que, según dijo, inspirará más investigaciones en el área de la moderación impulsada por IA.

Finalmente si estás interesado en poder conocer más al respecto, puedes consultar los detalles en el siguiente enlace.