Специалисты из Университета Суррея создали компьютерный алгоритм, который может генерировать фотореалистичное видео с языком жестов на основе речи. Это поможет облегчить коммуникацию с людьми с ограниченными возможностями и устранить необходимость в специально обученных переводчиках.
Сообщается, что исследователи использовали нейросеть, которая конвертирует разговорный язык в язык жестов. Систему назвали SignGAN. Она способна создавать на основе данных по жестам 3D-модели человеческих рук, которые их воспроизводят на видео.
Разработчики обучили алгоритм на видеороликах с настоящими переводчиками с языка жестов. Благодаря этому они добились реалистичности.
Недавно разработчики Google создали систему, способную распознавать язык жестов в видеозвонках. Она может отличить случайные движения рук от осознанных жестов.