В Центре социокогнитивных исследований дискурса (СКоДис) при Московском государственном лингвистическом университете (МГЛУ) ученые исследуют то, как жестикулируют носители русского, французского и немецкого языков и люди, говорящие на других изучаемых языках, когда рассказывают о повседневных событиях. Оказывается, русскоязычные люди, в отличие, например, от франкоговорящих, используют практически одинаковые жесты вне зависимости от форма произносимого глагола. Исследование поддерживается грантом Российского научного фонда (РНФ), а его результаты были представлены на ряде международных конференций и симпозиумов, в том числе на симпозиуме "Полимодальная коммуникация в языках и культурах", прошедшем в МГЛУ в октябре-ноябре 2017 года. Ученые исследовали, есть ли связь между грамматикой повествования и спонтанными жестами рук, которые это повествование сопровождают. В частности, исследователи предположили, что характер глагола (завершенность и незавершенность действия) будет связан с таким параметром движения руки, как резкость или плавность жеста. "Если французы употребляют глагол в завершенном времени, то они чаще делают резкий жест, а если используют прошедшее незавершенное время, то в основном производят более плавные жесты. Мы думали, что подобные различия будут обнаружены и в русском языке, где различаются глаголы совершенного и несовершенного вида. Оказалось, что вне зависимости от формы глагола носители русского языка жестикулируют практически одинаково, отдавая предпочтение резким жестам. В немецком языке ситуация также неоднозначна", — рассказал Алан Ченки, руководитель проекта, заведующий лабораторией ПолиМод Центра социокогнитивных исследований дискурса при МГЛУ, профессор Свободного университета в Амстердаме. Алан Ченки организовал в центре СКоДис когнитивную лабораторию полимодальной коммуникации. Полимодальная, или мультимодальная, лингвистика изучает не только вербальный язык человека, но и движения его тела, а также другие модальности (статичные изображения, видеоряд), которые используются в ходе общения. На первых этапах проекта проводился анализ жестов в речи с помощью компьютерной программы ELAN, разработанной в НИИ психолингвистики имени Макса Планка в Неймегене (Нидерланды) для аннотации видео- и аудиозаписей. Сначала в эту программу загружаются видео, после чего ученые создают несколько слоев, "дорожек", на каждой из которых отмечается определенная характеристика языковой единицы и жеста и их продолжительность. Жесты характеризуются по типу, функции, амплитуде и другим параметрам движения. Этот процесс многослойного описания называется аннотацией. Ученые также исследовали, как меняется жестовое поведение говорящих, когда они рассказывают о событиях на иностранном языке. Оказалось, что русские студенты, изучающие французский язык, начинают жестикулировать так же, как и французы: они производят больше плавных жестов с глаголами несовершенного вида. В настоящий момент участники международного проекта начали анализировать жесты в повествованиях с помощью аппаратуры MoCap (Motion Capture, что в дословном переводе – "захват движения"). На человека надевается устройство с датчиками, которые считывают его движения во время разговора. На основе показателей MoCap специальная компьютерная программа строит жестикулирующий "скелет" этого человека — аватар. Ученые загружают полученное видео в ELAN и проводят аннотацию жестов. Преимущество MoCap в том, что она точно отслеживает жесты человека, измеряет их ускорение, направление, распределение энергии, и, таким образом, появляется возможность получить более надежные и объективные результаты. "С помощью аватаров MoCap, можно построить роботов, движения которых будут больше походить на движения человека. Эту технологию также можно использовать в преподавании иностранных языков. Если мы будем лучше знать, как, например, жестикулируют французы во время речи, это может помочь студентам понять, как двигаться при разговоре, как "быть французом"", — пояснил Алан Ченки. Изучение жестов, сопровождающих речь, показывает, что сложная структура языка, включающая в себя разные аспекты, отражается не только в языковых выражениях, но и в жестах. Другими словами, у спонтанных жестов тоже есть своя "грамматика". При этом языковая и жестовые "грамматики" — не одно и то же, так как свойства жестов меняются в зависимости от того, о чем говорит человек в данный момент, какие цели преследует и в каких отношениях он состоит с собеседником. "По-видимому, подобные различия в жестикуляции связаны с тем, какие факторы в большей степени соотносятся с построением мысленного образа события у говорящих на разных языках: абстрактное грамматическое значение, конкретное лексическое значение, прагматические факторы", — заключил Алан Ченки.
