Era de los modelos gigantes de IA llega a su fin

El director general de OpenAI, Sam Altman, habló en el Instituto Tecnológico de Massachusetts en el evento «Imagination in Action», dedicado a los negocios orientados a la IA. El director del laboratorio de investigación sugirió que es poco probable que los modelos gigantes de inteligencia artificial existentes crezcan aún más. Lo más probable es que su tamaño actual ya esté en el límite.

Uno de los principales factores que dificultan el progreso de los modelos de lenguaje grandes (LLM) es el costo extremadamente alto e inestable de los potentes procesadores gráficos. Por ejemplo, para entrenar el conocido chatbot de IA ChatGPT, se necesitaron más de 10,000 de estos procesadores, y se necesitan aún más para operar 24/7. El costo de los nuevos procesadores gráficos Nvidia H100, diseñados específicamente para computación de alto rendimiento (HPC) e IA, puede llegar a $30,600 por unidad. Según el cofundador de Run AI, Ronen Dar, el entrenamiento de LLM de próxima generación requerirá recursos informáticos que cuesten cientos de millones de dólares.

Entonces, ¿cómo se desarrollarán los grandes modelos de IA? «Los mejoraremos de otras maneras», señaló Sam Altman en su discurso. Debido al rápido aumento de los costos financieros, los desarrolladores de LLM se centrarán en mejorar su arquitectura, avanzar en los métodos algorítmicos y aumentar la eficiencia de los datos en lugar de escalar. En otras palabras, planean cambiar el enfoque de la cantidad a la calidad, lo que solo beneficiará a la IA.