CriticGPT повысит точность ChatGPT
OpenAI представила инновационную модель искусственного интеллекта, созданную на базе технологии GPT-4, под названием CriticGPT. Она специализируется на поиске и исправлении ошибок в коде, генерируемом ChatGPT. Основная задача CriticGPT – ассистирование тренерам ИИ в процессе обучения с подкреплением (Reinforcement Learning from Human Feedback, RLHF). Результаты тестирования показали, что применение CriticGPT улучшает эффективность работы тренеров ИИ более чем на 60%.
В компании сообщили, что способности моделей генеративного ИИ к логическому мышлению и моделированию поведения постоянно улучшаются, поэтому ChatGPT становится более точным, а его ошибки – сложнее обнаружить. Это усложняет задачу тренеров ИИ в выявлении ошибок и замедляет процесс RLHF. Для решения этой проблемы специалисты обучили CriticGPT формулировать критические замечания, которые акцентируют внимание на неточностях в ответах ChatGPT.
Как утверждают представители OpenAI, модель CriticGPT выполняет анализ кода, созданного GPT-4, выявляет ошибки, комментирует их и предоставляет их исправления. Обучение CriticGPT проводилось на наборе данных, содержащих специально внесенные ошибки (разработчики вручную добавляли их в код ChatGPT). Испытания показали, что внедрение CriticGPT существенно повышает качество работы тренеров ИИ, увеличивая их продуктивность на 63%.
Интересно, что возможности CriticGPT простираются далеко за пределы простой проверки кода. В рамках экспериментов эта модель применялась к выборке данных обучения ChatGPT, которые были ранее оценены рецензентами-людьми как идеальные. CriticGPT выявил ошибки в 24% случаев, которые впоследствии были подтверждены рецензентами-людьми. OpenAI считает, что это подтверждает способность модели адаптироваться к разнообразным задачам, не связанным с кодированием. Кроме того, это подчеркивает ее умение выявлять самые малозаметные ошибки, которые могут ускользнуть от внимания даже при тщательной проверке.
Недостатком CriticGPT OpenAI называет ее обучение на ограниченном объеме данных, что делает модель эффективной лишь для относительно простых задач. Для обучения усложняющихся ИИ-систем потребуются более продвинутые инструменты. В связи с этим компания планирует масштабировать модели вроде CriticGPT и интегрировать их в процесс RLHF. Это часть стратегии разработки лучших средств для оценки результатов работы систем LLM, ведь уже в ближайшем будущем человеку станет крайне сложно давать такую оценку без дополнительной поддержки.