Российская Газета 5 июня 2019

Говорит и показывает Мона Лиза

Фото: РИА Новости
Российские разработчики из компании Samsung и Сколковского института науки и технологий сумели буквально "оживить" фотографии, портреты и картины, наделить их движениями и даром речи.
Для создания модели говорящей головы нейронную сеть сначала пришлось учить с помощью череды кадров с изображением различных людей, а затем алгоритм можно было использовать для оживления конкретного портрета. Для обучения нейросети в качестве входных данных использовались интервью со знаменитостями.
Уникальная маска позволила переносить информацию между объектами, используя лишь один или два кадра
Созданная в результате обучения маска накладывается на говорящую голову и создает границы лица и базовую мимику. Связь маски с исходным видеорядом сохраняется в виде вектора, благодаря чему маска может быть перенесена на отдельные изображения лиц. Эта система позволила российским разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра.
Таким образом, ученым удалось "оживить" изображения Мэрилин Монро, Сальвадора Дали, Федора Достоевского и других выдающихся людей. Мона Лиза отныне уже не выглядит столь загадочно, а скорее напоминает непоседливую молодую девушку, которая вертится из стороны в сторону.
Ранее многие ученые из разных стран пытались создать нечто подобное. Однако сделать то же самое на основе 16, 8 или даже одного кадра до этого момента никому не удавалось. Воссоздать реалистичные образы крайне трудно по двум причинам. Во-первых, человеческая голова обладает рядом сложных параметров и пропорций, из-за чего трудности возникают уже в процессе обычного моделирования лица. Например, сложно воссоздать полость рта. Еще сложнее сопоставить эмоции героя с тем, что он говорит.
Вторым препятствием является восприятие зрителя. Если ему покажется, что робот чересчур нереалистичен, дальше смотреть результаты эксперимента уже не захочется. Человеку будет буквально противен этот экземпляр, поэтому ошибки быть не должно.
До этого ученые научились создавать фотографии несуществующих людей, изображения которых отличаются высокой реалистичностью. Нейросеть BigGAN подразделения компании Google делает картинку настолько правдоподобной, что хочется отыскать изображенного человека и познакомиться с ним.
Комментарии
Наука и техника , Технологии , Федор Достоевский , Мэрилин Монро , Google
Читайте также
Цикады под грибами превращаются в «секс-зомби»
Названа потенциальная форма разумных инопланетян
5
Последние новости
Биологи подвели итоги исследования загадочного поведения пчел
Дмитрий Рогозин: Испытания "Ангары" переходят в завершающую стадию
Хакеры похитили в НАСА информацию о миссии на Марс