Microsoft разработала систему для выявления галлюцинаций в ИИ-приложениях клиентов
Директор по продуктам Microsoft по ответственному ИИ Сара Бёрд рассказала, что её команда разработала несколько новых функций безопасности для клиентов Azure, которые позволят выявлять галлюцинации в работе служб искусственного интеллекта.
Эти инструменты на базе больших языковых моделей могут обнаруживать потенциальные уязвимости, отслеживать галлюцинации, «которые правдоподобны, но не поддерживаются», и блокировать вредоносные запросы в режиме реального времени для клиентов Azure AI, работающих с любой моделью, размещённой на платформе.Одна из функций будет блокировать вредоносные подсказки из внешних документов, которые провоцируют модели отойти от инструкций.
Другая будет оценивать безопасность, в том числе уязвимости модели.Скоро появятся две другие функции, позволяющие направлять модели к безопасным выводам и отслеживать подсказки для выявления потенциально проблемных пользователей.
Читать на habr.com