Система машинного сурдоперевода на базе Microsoft Kinect

По материалам сайта http://www.pcworld.com. Бюро переводов Prima Vista, переводы с китайского языка.

Периферийное устройство к игровой приставке Xbox 360 было использовано разработчиками отдела Microsoft Research для считывания языка жестов пользователей с отсутствием слуха и перевода его в разговорный текст. На прошлой неделе они продемонстрировали некоторые результаты. Йин Дандан, глухой студент, принявший участие в презентации переводчика Kinect, выразил свои мысли с помощью рук: «Спасибо компании Microsoft, что превратила мою мечту в реальность».

Созданная технология не только переводит язык жестов в слова, проговариваемые компьютером, но и осуществляет обратный процесс: пользователь без недостатков слуха говорит или впечатывает слова в переводчик Kinect, а система затем воспроизводит слова на языке жестов с помощью виртуального аватара на экране.

Видео на английском языке про разработку Microsoft можно посмотреть здесь:

Презентация новой технологии была приурочена к празднованию 15-летия азиатского подразделения Microsoft Research. Языковой перевод является одним из главных приоритетов отдела компании. Разработчикам уже удалось создать ПО, искусственно повторяющее человеческий голос, причем на разных языках, включая китайский. 

В то же время, как сказал руководитель азиатского подразделения Гобин У, компания способствует распространению Kinect среди разработчиков ПО в Китае. В ходе использования данного гаджета Китайской академией наук, долгое время занимающейся технологией восприятия языка жестов, он зарекомендовал себя в качестве идеального устройства по распознаванию движений.

Ранее исследователи пробовали использовать камеры и даже так называемые «цифровые перчатки» для запечатления жестов глухих. Однако, объясняет Гобин У, такие устройства слишком дорогостоящие: цена камер варьируется от 10 000 юаней (1 632 долларов США) до 30 000 юаней. По сравнению с ними Kinect – допустимая альтернатива, поскольку стоит только 1 000 юаней.

В феврале 2012 г. Microsoft Research начал сотрудничать по данному проекту с Китайской академией наук и Пекинским Объединенным Университетом. Примерно через 18 месяцев разработок переводчик Kinect уже мог распознавать 370 наиболее часто используемых слов языка жестов Китая и США.

В планы исследователей входит сотрудничество с большим числом экспертов данной области. В настоящее время научная группа проводит исследование с участием глухих с целью узнать, в каких случаях переводчик Kinect наиболее полезен.

Задумано, что система сможет содействовать глухим пользователям в организации презентаций для аудитории без недостатков слуха. А пользователи, работающие за стойкой информации, смогут без особых трудностей общаться с нуждающимися в помощи посетителями.

Гобин У отметил, что точно неизвестно, когда новая технология появится на рынке. Microsoft еще работает над улучшением функции распознавания языка жестов, кроме того, необходимо расширить «словарный запас» системы машинного сурдоперевода.

Гобин У признал, что была проделана отличная работа: «Спустя полтора года мы уже создали прототип системы. Результаты были обнародованы в ходе ключевых конференций. Другие исследователи отметили, что результаты очень хорошие».