Энтузиаст создал умные очки с Raspberry Pi Zero 2 W, способные переводить язык жестов в речь

Разработчик под ником Nekhil представил умные очки, которые могут переводить язык жестов в речь. Устройство на базе одноплатного компьютера Raspberry Pi Zero 2 W использует камеру Raspberry Pi Camera Module V2, а за распознавание жестов отвечает модель YOLOv8.По словам Nekhil, изначально он планировал использовать новейший Raspberry Pi 5, но затем остановился на Pi Zero 2 W, который при своей компактности вполне подходил для его задачи.Для разработки своего устройства Nekhil использовал открытую платформу VIAM, предназначенную для реализации проектов в области искусственного интеллекта.

За распознавание и интерпретацию языка жестов отвечает модель YOLOv8. После распознавания жеста модель определяет, какой букве он соответствует, и озвучивает её при помощи синтеза речи.

В деталях проекта Nekhil отмечает, что, хотя VIAM работает с Tensor Flow Lite, он выбрал YOLOv8, так как эта модель лучше справляется с распознаванием американского жестового языка (ASL).