CriticGPT підвищить точність ChatGPT
OpenAI презентувала інноваційну модель штучного інтелекту, створену на базі технології GPT-4 під назвою CriticGPT. Вона спеціалізується на пошуку та виправленні помилок у коді, що генерується ChatGPT. Основне завдання CriticGPT – допомога тренерам ШІ у процесі навчання з підкріпленням (Reinforcement Learning from Human Feedback, RLHF). Результати тестування показали, що застосування CriticGPT покращує ефективність роботи тренерів ШІ на понад 60%.
У компанії повідомили, що здатність моделей генеративного ШІ до логічного мислення та моделювання поведінки постійно покращується, тому ChatGPT стає більш точним, а його помилки – важче помітити. Це ускладнює роботу тренерів ШІ стосовно виявлення помилок та уповільнює процес RLHF. Для вирішення цієї проблеми фахівці навчили CriticGPT формулювати критичні зауваження, які акцентують увагу на неточності у відповідях ChatGPT.
Як стверджує OpenAI, модель CriticGPT аналізує код, створений GPT-4, виділяє помилки, коментує їх та пропонує коректні рішення. Навчання CriticGPT проводилося на наборі даних, які містили спеціально внесені помилки (розробники вручну додавали їх у код ChatGPT). Випробування продемонстрували, що впровадження CriticGPT значно покращує якість роботи тренерів ШІ, підвищуючи їх продуктивність на 63%.
Цікаво, що можливості CriticGPT сягають далеко за межі простої перевірки коду. В рамках експериментів ця модель застосовувалася до вибірки даних навчання ChatGPT, які раніше були оцінені рецензентами-людьми як ідеальні. CriticGPT виявив помилки у 24% випадків, які згодом були підтверджені рецензентами-людьми. OpenAI вважає, що це засвідчує здатність моделі адаптуватися до різноманітних завдань, не пов'язаних із кодуванням. Крім того, це підкреслює її вміння виявляти помилки, які можуть залишатися непоміченими навіть при ретельній перевірці.
Недоліком CriticGPT OpenAI називає її навчання на обмеженому обсязі даних, що робить модель ефективною лише щодо простих завдань. Для навчання ШІ-систем, які постійно розвиваються та ускладнюються, будуть потрібні прогресивніші інструменти. У зв'язку з цим компанія планує масштабувати моделі на кшталт CriticGPT та інтегрувати їх у процес RLHF. Це частина стратегії розробки кращих засобів для оцінки результатів роботи систем LLM, адже вже у найближчому майбутньому людині буде вкрай складно давати таку оцінку без додаткової підтримки.