OpenAI открыла код Transformer Debugger — отладчика для моделей машинного обучения

OpenAI опубликовала код отладчика Transformer Debugger, предназначенного для работы с моделями машинного обучения. С его помощью проще понимать, почему языковые модели выводят определённые токены в ответ на запрос.Transformer Debugger, как и любой отладчик для моделей машинного обучения поддерживает функции пошагового вывода, перехвата активностей и их трассировки.

Разработчики компании отмечают, что утилита помогает понять, почему языковая модель уделяет внимание определённым токенам и почему выводит их в качестве ответа на запрос.Выпуск включает в себя следующие компоненты:Neuron viewer — React-приложение для вывода информации об отдельных компонентах модели, включая фокусы внимания и нейроны MLP.Activation server — сервер, который взаимодействует с моделью и извлекает данные для вывода.

Он же нужен для работы с общедоступными контейнерами Azure.Models — простая библиотека выводов для моделей GPT-2.Примеры наборов данных для нейронов MLP и фокусов внимания.Код Transformer Debugger написан на Python и доступен на GitHub.