DetectGPT – новый инструмент для идентификации текста, созданного AI

Выдать написанную AI курсовую работу за свою теперь будет гораздо сложнее. Стэнфордские разработчики вооружат преподавателей инструментом DetectGPT, который сможет точно определить авторство.

Интенсивность использования больших языковых моделей (LLM) сегодня растет стремительными темпами. Дополнительное ускорение этому процессу придал получивший широкую известность чат-бот ChatGPT, созданный на основе языковой модели GPT-3.5. Оказалось, что он умеет писать текстовые домашние задания и курсовые работы для колледжа настолько качественно, что отличить сгенерированный им текст от написанного студентом практически невозможно. Осознав масштабы катастрофы, многие преподаватели выразили ожидаемый протест и озвучили потребность в системах, которые могли бы определять, кто автор текста – машина или человек.

Недавно исследователи-разработчики из Стэнфорда под руководством Эрика Митчелла презентовали детектор DetectGPT – один из первых инструментов для борьбы со сгенерированными AI текстами в сфере образования. В его основу легла модель ML "zero-shot learning" (способность системы распознавать то, с чем она еще не знакома). Она позволила DetectGPT точно определить текст, написанный искусственным интеллектом. Правда, без указания, какая именно языковая модель была использована для его создания.

Команда разработчиков подвергла DetectGPT тестированию на массиве данных о фальшивых новостях. Полученные результаты показали, что их детектор существенно превосходит иные методы выявления текста, сгенерированного AI. Высокая производительность DetectGPT дает основания полагать, что в будущем он вполне может стать самым многообещающим методом изучения и определения машинно-генерируемого текста.