Эра гигантских моделей AI подошла к концу

CEO OpenAI Сэм Альтман выступил в Массачусетском технологическом институте на мероприятии «Imagination in Action», посвященном AI-ориентированному бизнесу. Глава исследовательской лаборатории высказал предположение, что уже существующие гигантские модели искусственного интеллекта навряд ли станут еще больше. Скорее всего, сегодня можно наблюдать их предельную величину.

Один из главных факторов, препятствующих прогрессу крупных языковых моделей (LLM), – чрезвычайно высокие и нестабильные затраты на мощные графические процессоры. К примеру, для обучения широко известного чат-бота с искусственным интеллектом ChatGPT потребовалось свыше 10 тысяч таких процессоров, а для работы в режиме 24/7 ему нужно еще больше. Стоимость новых графических процессоров Nvidia H100, которые были разработаны специально для выполнения высокопроизводительных вычислений (HPC) и AI, может достигать $30 600 за одну штуку. По словам сооснователя и CTO компании Run AI Ронена Дара, на обучение LLM следующих поколений понадобится вычислительный ресурс, цена которого будет исчисляться сотнями миллионов долларов.

Как же тогда будут развиваться крупные модели AI? «Мы сделаем их лучше другими способами», – отметил в своем выступлении Сэм Альтман. В связи со стремительным увеличением финансовых затрат разработчики LLM вместо масштабирования станут улучшать их архитектуру, продвигать алгоритмические методы и повышать эффективность данных. Одним словом, они планируют перенести акцент с количества на качество. AI это пойдет только на пользу.