xAI открыла исходный код большой языковой модели Grok
Компания xAI, принадлежащая Илону Маску (Elon Musk), опубликовала на GitHub исходный код своей большой языковой модели Grok-1 объемом 314 млрд параметров под открытой лицензией Apache 2.0.В открытый релиз вошли базовые веса модели, сетевая архитектура и другие составляющие.
Как отмечается, Grok-1 не подвергалась специальной оптимизации или цензуре для конкретных задач вроде диалоговых систем.░W░E░I░G░H░T░S░I░N░B░I░O░Модель была обучена в течение четырех месяцев к октябрю 2023 года и предназначалась для генерации кода, текстов и ответов на вопросы.
Открытие кода позволит сторонним исследователям и разработчикам работать с моделью.Несмотря на открытие весов и других составляющих, Grok-1 поставляется без обучающего кода и воспроизводимых наборов данных.Grok weights are out under Apache 2.0: https://t.co/9K4IfarqXKIt's more open source than other open weights models, which usual come with usage restrictions.It's less open source than Pythia, Bloom, and OLMo, which come with training code and reproducible datasets.
Читать на gagadget.com
