Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.Приложение доступно для компьютеров под управлением Windows 11.
Пользователь может запускать с его помощью открытые большие языковые модели. В демонстрационном ролике компания показала пример работы с Llama и Mistral.
Кроме того, пользователь может указать в приложении путь к собственному датасету. Это могут быть документы или заметки, которые нейросеть будет учитывать во время генерации ответа.Помимо работы с локальными файлами доступна возможность передать приложению ссылку на YouTube-ролик.
Читать на habr.com