xAI представила Grok-1.5V — свою первую мультимодальную модель, которая теперь обрабатывает и изображения

Стартап Илона Маска (Elon Musk) xAI анонсировал выход своей первой мультимодальной модели под названием Grok-1.5 Vision, или Grok-1.5V.

В отличие от предыдущих версий, эта модель не только понимает текст, но и способна обрабатывать визуальный контент, включая документы, диаграммы, графики, скриншоты и фотографии.По словам xAI, Grok-1.5V конкурирует с передовыми мультимодальными моделями в различных областях, таких как междисциплинарные рассуждения и понимание документов.

Компания продемонстрировала семь примеров, показывающих возможности модели - от преобразования наброска в код до создания сказки из детского рисунка.Тестируя Grok-1.5V в сравнении с аналогами вроде GPT-4V и Claude 3, xAI утверждает, что её мультимодальная модель превосходит конкурентов, особенно в новом бенчмарке RealWorldQA, разработанном для оценки понимания реального пространственного мира.Выпуск Grok-1.5V последовал вскоре после открытого исходного кода чат-бота Grok, представленного xAI в ноябре 2023 года.