CriticGPT mejorará la precisión de ChatGPT
OpenAI ha presentado un innovador modelo de inteligencia artificial basado en la tecnología GPT-4 llamado CriticGPT. Se especializa en encontrar y corregir errores en el código generado por ChatGPT. La tarea principal de CriticGPT es ayudar a los formadores de IA en el proceso de aprendizaje por refuerzo (Reinforcement Learning from Human Feedback, RLHF). Los resultados de las pruebas mostraron que el uso de CriticGPT mejora el rendimiento de los entrenadores de IA en más del 60%.
La compañía dijo que la capacidad de los modelos generativos de IA para razonar lógicamente y modelar el comportamiento mejora constantemente, por lo que ChatGPT se vuelve más preciso y sus errores son más difíciles de detectar. Esto dificulta que los formadores de IA identifiquen errores y ralentiza el proceso RLHF. Para resolver este problema, sus expertos capacitaron a CriticGPT para formular críticas que se centren en las imprecisiones en las respuestas de ChatGPT.
Según OpenAI, el modelo CriticGPT analiza el código generado por GPT-4, resalta errores, los comenta y sugiere soluciones correctas. CriticGPT fue entrenado en un conjunto de datos que contenía errores especialmente introducidos (los desarrolladores los agregaron manualmente al código ChatGPT). Las pruebas han demostrado que la implementación de CriticGPT mejora significativamente la calidad del trabajo de los formadores de IA, aumentando su productividad en un 63%.
Curiosamente, las capacidades de CriticGPT van mucho más allá de la simple revisión de código. Los experimentos aplicaron el modelo a una muestra de datos de entrenamiento de ChatGPT que previamente habían sido calificados como ideales por revisores humanos. CriticGPT identificó errores en el 24% de los casos, que posteriormente fueron confirmados por revisores humanos. OpenAI cree que esto valida la capacidad del modelo para adaptarse a una variedad de tareas no relacionadas con la codificación. Además, enfatiza su capacidad para identificar los errores más sutiles que pueden pasar desapercibidos incluso con una verificación cuidadosa.
La desventaja de CriticGPT de OpenAI es que está entrenado con una cantidad limitada de datos, lo que hace que el modelo sea efectivo solo para tareas relativamente simples. Entrenar sistemas de IA cada vez más complejos requerirá herramientas más avanzadas. En este sentido, la empresa planea ampliar modelos como CriticGPT e integrarlos en el proceso RLHF. Esto es parte de la estrategia para desarrollar mejores herramientas para evaluar el desempeño de los sistemas LLM, porque en un futuro cercano será extremadamente difícil para una persona realizar dicha evaluación sin apoyo adicional.