StableLM y está diseñado para generar texto y código de manera eficiente

Se dio a conocer la noticia de que Stability AI, la compañía detrás del modelo de IA de generación de imágenes Stable Diffusion, ha anunciado el primero de su conjunto de modelos de lenguaje StableLM.

Con ello Stability espera repetir los efectos de su modelo de síntesis de imágenes de código abierto Stable Diffusion, lanzado en 2022. Con refinamiento, StableLM podría usarse para construir una alternativa de código abierto a ChatGPT.

Para quienes desconocen de Stability AI, deben saber que esta es una empresa con sede en Londres que se posiciona como un rival de código abierto de OpenAI, una empresa que desarrolla modelos de lenguaje artificial potentes pero patentados, como ChatGPT.

Sobre StableLM

StableLM es el nombre de la familia de modelos de lenguaje artificial creados por Stability AI, que están disponibles como código abierto en GitHub bajo la licencia Creative Commons BY-SA-4.0. StableLM es un modelo de generación de texto que puede componer texto humano y escribir programas al predecir la siguiente palabra en una secuencia. Utiliza una técnica llamada «predicción de fichas» que implica adivinar el siguiente fragmento de palabra del contexto proporcionado por un humano en forma de “indicación”.

Al igual que otros LLM «pequeños» StableLM afirma lograr un rendimiento similar al modelo de referencia GPT-3 de OpenAI mientras usa muchos menos parámetros generales (7 mil millones para StableLM contra 175 mil millones para GPT-3).

StableLM afirma tener un rendimiento similar al de GPT-3, el modelo de lenguaje que impulsa a ChatGPT, mientras usa muchos menos parámetros (7 mil millones frente a 175 mil millones). Los parámetros son variables que el modelo usa para aprender de los datos de entrenamiento. Tener menos parámetros hace que el modelo sea más pequeño y más eficiente, lo que puede facilitar su ejecución en dispositivos locales como teléfonos inteligentes y computadoras portátiles.

StableLM se entrenó en un nuevo conjunto de datos basado en The Pile, que contiene 1,5 billones de tokens, que es aproximadamente 3 veces el tamaño de The Pile. The Pile es un conjunto de datos diverso y de alta calidad para entrenar modelos de lenguaje.

Stability AI menciona que las plantillas ya están disponibles en el repositorio de GitHub y que próximamente estará publicado un informe técnico completo y espera seguir colaborando con desarrolladores e investigadores a medida que implementa la suite StableLM.

Además, mencionan que lanzara el programa RLHF de colaboración abierta y trabajara con los esfuerzos de la comunidad, como Open Assistant, para crear un conjunto de datos de código abierto para los asistentes de IA.

Por último y no menos importante, hablando de lanzamientos de Stability AI, también podemos destacar que anunció el lanzamiento beta de SDXL (que significa Stable Diffusion Extra Large), un nuevo modelo de inteligencia artificial capaz de generar imágenes a partir de descripciones textuales. SDXL es la última incorporación a la suite Stable Diffusion, que también incluye modelos SD, SDT y SDC.

SDXL se diferencia de otros modelos en su tamaño y capacidades. Con 2300 millones de parámetros, SDXL es más de 2,5 veces más grande que el modelo SD original, que tenía solo 890 millones. Estos parámetros adicionales permiten que SDXL genere imágenes que respeten mejor las pautas complejas. Por ejemplo, SDXL puede producir texto legible en imágenes o crear retratos de personajes ficticios con un realismo sorprendente.

SDXL se encuentra actualmente en versión beta en DreamStudio y otras aplicaciones de imágenes populares, como NightCafe Creator. Como todos los modelos Stability AI, SDXL pronto se lanzará como código abierto para una accesibilidad óptima. Stability AI anuncia que SDXL ofrece una licencia permisiva para uso comercial y no comercial, siempre que siga las pautas éticas y legales.

Finalmente si estás interesado en poder conocer más al respecto, puedes consultar los detalles en el siguiente enlace.