Переводчик Google научился имитировать речь пользователя

Разработанная компанией нейросеть принимает голосовой ввод, обрабатывает его как спектрограмму.

Американская компания Google разработала алгоритм, который может напрямую переводить речь на другой язык, не используя текстовое представления и сохраняя голосовые данные и темп речи говорящего. Об этом сказано в блоге Google.

Компания отказалась от перевода речи в текст в Google Translate, а после чего озвучивания ее, так как это зачастую приводит к ошибкам при переводе. Теперь речь говорящего сразу будет переводиться с одного на другой язык. Нейросеть с долгой краткосрочной памятью будет принимать голосовой ввод и обрабатывать его как спектрограмму, затем генерировать на этой основе новую спектограмму на целевом языке.

Разработчикам Google Translate удалось добиться того, что удалось сохранить оригинальный голос говорящего даже в переведенной речи. В настоящее время они «учат» алгоритм понимать векторное представление слов на обоих языках, а также грамматически верным формам и сочетаниям на большом примере.