OpenAI, la organización de inteligencia artificial, ha desarrollado una herramienta que busca entender el funcionamiento de los modelos de lenguaje. A pesar de que el proyecto está en sus primeras etapas, ya se encuentra disponible en GitHub para que los desarrolladores puedan experimentar con él.
***
- OpenAI ha lanzado nueva herramienta que busca explicar el comportamiento de sus modelos de lenguaje
- La herramienta en cuestión aún está en fase de desarrollo
- Esta descompone los modelos en sus “neuronas” y genera explicaciones de su funcionamiento
- Pese a que aún no es completamente efectiva, investigadores creen que podría mejorar el rendimiento de los modelos
Con el objetivo de desentrañar los misterios de los LLM, OpenAI está desarrollando una herramienta para identificar automáticamente qué partes de estos son responsables de sus diferentes comportamientos. Los ingenieros detrás de este proyecto recalcan que aún se encuentra en sus primeras etapas, pero el código para ejecutarlo ya está disponible en GitHub.
Analizando la mente de la IA: ¿Cómo funciona? Los LLM, al igual que el cerebro, están compuestos por “neuronas”, que observan ciertos patrones en el texto para influir en lo que el modelo “dice” a continuación. La herramienta de OpenAI explota esta configuración para descomponer los modelos en sus partes individuales.
Primero, la herramienta ejecuta secuencias de texto a través del modelo que se está evaluando y espera a que una neurona específica se “active” con frecuencia. Luego, “muestra” estas neuronas altamente activas a GPT-4, el último modelo de IA de generación de texto de OpenAI, y le pide que genere una explicación.
Comprobando la precisión: ¿Son fiables las explicaciones? Para determinar cuán precisa es la explicación, la herramienta proporciona a GPT-4 secuencias de texto y le pide que prediga, o simule, cómo se comportaría la neurona. Luego compara el comportamiento de la neurona simulada con el comportamiento de la neurona real.
“Con este método, podemos, básicamente, generar una explicación preliminar en lenguaje natural de lo que hace cada neurona y también obtener una puntuación de cuánto coincide esa explicación con el comportamiento real”, dice Jeff Wu, líder del equipo de alineamiento escalable en OpenAI.
Los investigadores lograron generar explicaciones para las 307,200 neuronas en GPT-2, las cuales han sido recopiladas en un conjunto de datos que se ha publicado junto con el código de la herramienta.
Mejorando la IA: Posibles usos futuros Herramientas como esta podrían usarse algún día para mejorar el rendimiento de los LLM, dicen los investigadores, por ejemplo, para reducir sesgos o toxicidad. Sin embargo, reconocen que aún falta mucho para que la herramienta sea verdaderamente útil. La herramienta mostró confianza en sus explicaciones para alrededor de 1.000 de esas neuronas, una fracción pequeña del total.
Jeff Wu aclaró que el hecho de que la herramienta utilice GPT-4 es meramente “incidental” y, por el contrario, evidencia las debilidades de GPT-4 en esta área. También dijo que no fue creada con aplicaciones comerciales en mente y, en teoría, podría adaptarse para utilizar LLMs además de GPT-4.
“La mayoría de las explicaciones tienen puntuaciones bastante bajas o no explican mucho del comportamiento de la neurona real”, dice Wu. “Muchas de las neuronas, por ejemplo, se activan de una manera en la que es muy difícil decir qué está pasando, como si se activaran en cinco o seis cosas diferentes, pero no hay un patrón discernible. A veces hay un patrón discernible, pero GPT-4 no puede encontrarlo.”
Artículo de DiarioBitcoin
Imagen original de DiarioBitcoin, de uso libre, licenciada bajo Dominio Público
