La plataforma Nvidia NIM acelerará la implementación del modelo de IA
En la feria tecnológica anual GTC 2024 celebrada recientemente, Nvidia anunció el lanzamiento de su última plataforma de software llamada NIM. El principal objetivo del nuevo producto es acelerar el proceso de introducción de modelos de inteligencia artificial en los procesos de producción, brindando a los desarrolladores la oportunidad de implementarlos de manera más eficiente.
Según los representantes de Nvidia, la creación de este tipo de plataformas suele llevar mucho tiempo, desde varias semanas hasta meses. Y esto con un equipo de especialistas en IA altamente calificados. El uso de NIM implica la formación de una infraestructura a partir de contenedores listos para usar con IA basados en equipos Nvidia. Como tal, la plataforma proporciona una base de software integral para las organizaciones que buscan acelerar sus misiones de IA.
Actualmente, NIM admite modelos directamente de NVIDIA, así como de empresas como A121, Adept, Cohere, Getty Images y Shutterstock. Además de ellos, admite modelos abiertos de Google, Hugging Face, Meta, Microsoft, Mistral AI y Stability AI. Nvidia está colaborando activamente con Amazon, Google y Microsoft para llevar microservicios NIM a las plataformas SageMaker, Kubernetes Engine y Azure AI. En el futuro, está previsto que se integren con Deepset, LangChain y LlamaIndex.
Manuvir Das, director de informática empresarial de Nvidia, señaló que sus GPU son un lugar ideal para ejecutar modelos de IA. Con NIM, los desarrolladores tienen el mejor entorno de software para crear aplicaciones empresariales. También destacó que Nvidia se encarga de los aspectos técnicos del trabajo, permitiendo a los autores de modelos de inteligencia artificial centrarse en lo más importante.
Para acelerar el desarrollo, Nvidia utiliza servidores Triton, TensorRT y TensorRT-LLM. Los siguientes microservicios de Nvidia están disponibles a través de NIM: Riva (para adaptar modelos de voz), cuOpt (para optimizar rutas) y Earth-2 (para pronóstico del tiempo). En el futuro, la corporación planea ampliar la funcionalidad existente. Por ejemplo, agregar un operador Nvidia RAG LLM para simplificar el desarrollo de chatbots generativos.