Российская Газета 5 июня 2019

Говорит и показывает Мона Лиза

Фото: РИА Новости
Российские разработчики из компании Samsung и Сколковского института науки и технологий сумели буквально "оживить" фотографии, портреты и картины, наделить их движениями и даром речи.
Для создания модели говорящей головы нейронную сеть сначала пришлось учить с помощью череды кадров с изображением различных людей, а затем алгоритм можно было использовать для оживления конкретного портрета. Для обучения нейросети в качестве входных данных использовались интервью со знаменитостями.
Уникальная маска позволила переносить информацию между объектами, используя лишь один или два кадра
Созданная в результате обучения маска накладывается на говорящую голову и создает границы лица и базовую мимику. Связь маски с исходным видеорядом сохраняется в виде вектора, благодаря чему маска может быть перенесена на отдельные изображения лиц. Эта система позволила российским разработчикам переносить информацию между двумя объектами, используя лишь один или два кадра.
Таким образом, ученым удалось "оживить" изображения , Сальвадора Дали, и других выдающихся людей. Мона Лиза отныне уже не выглядит столь загадочно, а скорее напоминает непоседливую молодую девушку, которая вертится из стороны в сторону.
Ранее многие ученые из разных стран пытались создать нечто подобное. Однако сделать то же самое на основе 16, 8 или даже одного кадра до этого момента никому не удавалось. Воссоздать реалистичные образы крайне трудно по двум причинам. Во-первых, человеческая голова обладает рядом сложных параметров и пропорций, из-за чего трудности возникают уже в процессе обычного моделирования лица. Например, сложно воссоздать полость рта. Еще сложнее сопоставить эмоции героя с тем, что он говорит.
Вторым препятствием является восприятие зрителя. Если ему покажется, что робот чересчур нереалистичен, дальше смотреть результаты эксперимента уже не захочется. Человеку будет буквально противен этот экземпляр, поэтому ошибки быть не должно.
До этого ученые научились создавать фотографии несуществующих людей, изображения которых отличаются высокой реалистичностью. Нейросеть BigGAN подразделения делает картинку настолько правдоподобной, что хочется отыскать изображенного человека и познакомиться с ним.
Комментарии
Наука и техника , Технологии , Федор Достоевский , Мэрилин Монро , Google
Читайте также
Предсказана скорая катастрофа в Солнечной системе
5
Роскосмос назвал стоимость новой многоразовой ракеты
Последние новости
В Воронеже завершили стапельную сборку новейшего Ил-96-400М
"История советского атомного проекта" раскрыла новые странички в создании отечественного оружия
Открыта самая массивная нейтронная звезда из известных науке