Власники карт Nvidia зможуть запускати моделі GenAI на ПК
Компанія Nvidia презентувала новаторський інструмент для користувачів GeForce RTX 30 та 40 серій – Chat with RTX. Він надає можливість працювати з чат-ботом на основі штучного інтелекту безпосередньо на персональному комп'ютері з Windows. Отримавши доступ до документів, файлів і папок, що зберігаються на пристрої, система дозволяє налаштовувати модель GenAI за зразком відомого ChatGPT від OpenAI.
Як підкреслили в Nvidia, Chat with RTX позбавляє необхідності ручного пошуку по файлах або архівах, пропонуючи натомість ставити питання чат-боту. Chat with RTX промоніторить вказані користувачем локальні ресурси та дасть релевантну відповідь.
«Розумний» інструмент підтримує не тільки модель від AI Mistral з відкритим вихідним кодом, але й інші текстові моделі, зокрема Llama 2 від Meta. Водночас його розробники попереджають про значний обсяг пам'яті, необхідний для повноцінної роботи – від 50 до 100 ГБ. У поточній версії Chat with RTX працює з такими форматами, як PDF, DOC, DOCX, XML. Крім того, він здатний завантажувати транскрипції відео з YouTube.
У чат-бота Nvidia є обмеження. Він позбавлений можливості запам'ятовувати контекст. Це означає, що він не враховує попередні запити під час формулювання відповідей на нові запитання. Наприклад, ви вирішили запитати його про результати футбольного матчу між командами «Манчестер Юнайтед» та «Баварія» у 2023 році. Якщо одразу після цього ви поцікавитеся, хто забив перший гол, чат-бот не зрозуміє, що йдеться про матч між цими двома командами.
Згідно зі звітом, оприлюдненим за результатами Всесвітнього економічного форуму, що відбувся на початку цього року, пристрої, здатні автономно працювати з моделями GenAI, набиратимуть все більшої популярності. Основні причини стрімкого зростання – їхні переваги. Серед найголовніших експерти назвали високий рівень конфіденційності обробки даних, меншу затримку відгуку та економічність у порівнянні з хмарними рішеннями.