Онлайн-словарь языка жестов. Три проекта инженера для людей с ограниченным слухом
Общение с Алексеем Приходько — инженером и младшим научным сотрудником Новосибирского государственного технического университета (НГТУ НЭТИ) — решаем устроить по скайпу: это тот случай, когда перейти в онлайн пришлось не только из-за самоизоляции, но и из-за занятости. Приходько работает сразу над несколькими проектами, все так или иначе связаны с русским жестовым языком: программа по распознаванию и переводу жестового языка на письменный, программа распознавания индийского жестового, очень важный для Алексея образовательный проект для глухих детей "Математика в тишине" — онлайн-платформа, которая поможет школьникам готовиться к ЕГЭ по математике. В том, как непросто неслышащему человеку учиться, Алексей убедился на собственном опыте. Именно поэтому практически все его проекты — для людей со сниженным или отсутствующим слухом. Приходько уверен: более активное использование жестового языка в образовательном процессе сильно облегчает восприятие информации. Рассказывая через переводчика о своей научной работе и любви к волейболу, он вдруг поворачивается ко мне спиной и показывает надпись на своей толстовке — памятном подарке, полученном на конкурсе "Цифровой прорыв", после которого АНО "Россия — страна возможностей" пригласила Приходько на сессии проекта выступить перед Путиным. В третьем поколении Алексей родился в деревне Хатанга под Норильском. Слух у него отсутствует уже в третьем поколении, а может, даже в четвертом или пятом, говорит Алексей. При этом со стороны мамы родственники были глухие, по линии отца — все слышащие. "Дедушка по папиной линии был слышащий, он работал директором школы, был учителем математики, может быть, поэтому математика заинтересовала и меня", — рассказывает Приходько. Проблемы с коммуникацией мальчик ощутил в самом раннем возрасте. "В детский сад я ходил вместе со слышащими детьми. Получается, что никакого развития и воспитания не было, я просто играл, пребывал в одиночестве", — говорит он. Затем мальчика записали в специализированный детский сад, а после мама решила отдать сына в ачинскую школу для слабослышащих. Там в старших классах он настолько увлекся волейболом, что даже начал подумывать о карьере профессионального спортсмена. "Спортом я начал заниматься с 16 лет. В 10-м классе пришел новый преподаватель по волейболу, он нас очень заинтересовал. Мы начали выступать на соревнованиях, соревновались со слышащими. Сборная нашей школы участвовала в турнирах по городу Ачинску и по всему региону, мы занимали призовые места", — вспоминает он. Занимались столь серьезно, что Приходько сдал на разряд мастера спорта по волейболу. Математика тоже шла отлично: по этому предмету он стабильно получал хорошие отметки и побеждал в олимпиадах. А вот остальные предметы давались непросто. Сложности в обучении, вспоминает Алексей, вызывало то, что учителя практически не использовали жестовый язык. "Они с детьми общались при помощи устной речи, это связано с программой обучения. Я в семье постоянно общался с родителями, братьями и сестрами на русском жестовом языке, поэтому коммуникация в школе с педагогами была затруднена", — делится он. Победила наука После школы Алексея пригласили в Новосибирск: он участвовал в олимпиаде, организованной Институтом социальной реабилитации Новосибирского государственного технического университета, и хорошо себя зарекомендовал. "У меня был выбор — либо пойти в спорт, серьезно заниматься волейболом, либо в НГТУ. Мне больше нравился спорт, но все настаивали на том, чтобы я пошел в НГТУ", — делится Приходько. Сначала юноша поступилна уровень колледжа в Институт социальной реабилитации НГТУ по специализации "информатика". На тот момент у него не было не только представления о профессии программиста, но даже компьютера. "Финансовое положение моих родителей тогда не позволяло его купить. Я вообще не понимал, что такое компьютер, зачем он нужен", — вспоминает Алексей. Поскольку профильные предметы начались только на третьем курсе, сначала это не было большой проблемой, а потом на помощь пришел дедушка, на сбережения которого и купили столь важную для программиста вещь. Компьютерные программы Приходько освоил быстро и защитил диплом на "отлично". Потом было четыре года бакалавриата и очень-очень много тренировок. "Я участвовал в Сурдлимпийских играх в 2009 году в Тайбее, становился призером чемпионатов России по пляжному волейболу", — рассказывает собеседник. Математика и волейбол продолжали свое противостояние. Приходько уже в бакалавриате стал реализовывать свои первые проекты, но так как спорту он уделял больше внимания, то не смог попасть на бюджет в магистратуру. Пришлось поменять кафедру на том же факультете — автоматики и вычислительной техники, где Алексей легко прошел на бюджет. Однако его опять подстерегали проблемы: у преподавателей новой кафедры, в отличие от прошлой, не было опыта преподавания для глухих, а до зачисления о своей особенности Алексей решил никому не говорить. Несмотря на это, с программой в общей группе он справился: какие-то вопросы приходилось решать с переводчиком, где-то помогали одногруппники. Учась в магистратуре, Алексей принял участие в конкурсе Благотворительного фонда Владимира Потанина, где выиграл грант, попав в число 300 лучших магистрантов России по итогам рейтинга фонда. После успешно поступил в аспирантуру и окончил ее. Что же касается волейбола, сейчас Алексей уделяет ему значительно меньше времени, но и сегодня он играет за университет и факультет. А находясь в самоизоляции, заменил спорт бегом по лесному массиву. Жестовый полиглот Сейчас Алексей может общаться на четырех жестовых языках — немецком, американском, русском, освоил он и общение по международной жестовой системе, позволяющей обсуждать несложные темы. После аспирантуры юноша по программе обмена полгода жил в Германии, работал в Гамбургском университете — одном из крупнейших академических центров Германии. Именно этот опыт, считает Алексей, и стал одним из важнейших для его дальнейшей научной работы. "Я слышал о том, что в Германии существует исследование жестовых языков, что есть письменная система нотаций — то, что у нас не развито в русском жестовом языке. В немецком жестовом языке есть очень много технологий, которые подходят для программирования, это называется нотация жестового языка", — рассказывает Приходько. В Гамбургский университет новосибирский программист попал по переписке — общаться с европейскими IT-специалистами и зарубежными коллегами ему помогает знание письменного английского, который он постоянно совершенствует. "В университете есть подразделение, которое называется Институт исследований немецкого жестового языка. Как раз то, что нужно для моих компьютерных исследований. Немецкий жестовый язык иной, нам непросто пришлось общаться сперва. Но, к счастью, мне нашли переводчика, которая переводила с немецкого жестового на русский жестовый. В течение полугода я работал в Германии в Гамбургском университете", — рассказывает Приходько. В этот период Алексею удалось съездить в Мюнхен на престижную международную конференцию для глухих айтишников, где завязалось большое количество контактов, и Алексею даже предложили работу. Но Приходько решил вернуться на родину. Встреча с Путиным и черный "Мерседес" "Я принял участие во всероссийском конкурсе программистов "Цифровой прорыв", не попал в число призеров, но мне удалось пройти сначала в полуфинал, а затем в финал. Один из главных организаторов "Цифрового прорыва" пригласил меня на встречу с президентом Путиным", — рассказывает Алексей. Встреча состоялась на итоговой проектной сессии проекта "Россия — страна возможностей" в Сочи. "Я удивился, поскольку никаких заявок не подавал, но мне сказали: ты просто приезжай и все узнаешь. У меня было внутреннее чувство, что там будет очень важная встреча, но то, что эта встреча будет с президентом, я никак не ожидал", — вспоминает Алексей. На мероприятиях Алексей обычно выступает в привычной для себя одежде: толстовка или свитер, джинсы. "Но в этот раз опять-таки какое-то внутреннее чувство подсказало мне, что мероприятие важное. Я впервые в жизни взял с собой костюм и не ошибся. В аэропорту меня встречали на черном огромном шикарном "Мерседесе", — рассказывает Приходько. Все проходило на территории центра "Сириус". Здесь из всех участников отобрали молодых ученых, которым нужно было рассказать Владимиру Путину о своих проектах. Алексей Приходько попал в их число. О проектах Сейчас в работе у Приходько три проекта. Один связан с распознаванием индийского жестового, в этом проекте, который поддержал Российский фонд фундаментальных исследований, он исполнитель, работает под научным руководством профессора НГТУ НЭТИ Михаила Грифа. Активно ведется работа и над проектом по распознаванию и переводу жестового русского языка на письменный. Тут у Алексея тоже есть поддержка — президентский грант. Благодаря разрабатываемой системе глухим людям станет намного проще общаться — сейчас программа может распознавать отдельные жесты и переводить их на письменный язык. Можно работать на компьютере без помощи мыши — настроить яркость, громкость, управлять курсором. Чтобы испытать систему, достаточно иметь веб-камеру, также подойдет камера мобильного телефона. "Человек перед веб-камерой показывает отдельные жесты. Этот видеопоток отправляется на сервер, и там работают алгоритмы распознавания отдельных элементов жеста — лицо, руки, пальцы. Определяется начало жеста, конец жеста. Представленные жесты сравниваются с базой жестов. В случае значительного сходства на экране появляется письменное толкование жеста", — объясняет Приходько. Пока система направлена на распознавание отдельных жестов, а не жестовой речи, это будет следующим этапом. Сейчас Алексей проводит фонологический анализ русского жестового языка (РЖЯ), собирает видео на РЖЯ из видеословаря, создает фонологический датасет (размеченные наборы данных) РЖЯ для машинного обучения. "Моя цель в проекте от Фонда президентских грантов — создание онлайн-словаря с русского жестового языка на русский язык и другие функции по поддержке РЖЯ. Есть много словарей с русского языка на РЖЯ, а обратного перевода нет", — поясняет Приходько. В перспективе Алексей планирует вернуться к проекту по подготовке глухих школьников к ЕГЭ. "Проект пока приостановлен, но сама площадка, платформа онлайн доступна. Школьники сейчас по ней занимаются, мы работали над этим проектом в течение года командой волонтеров в рамках гранта, совместно с коллегой Дмитрием Кручининым из Томска. Я планирую продолжать этот проект, это могут быть и другие школьные предметы — физика, химия", — говорит он. Образовательные проекты для Алексея особенно важны. "Я всю жизнь учился в школе для глухих, я помню то не очень качественное обучение, которое у нас было, и понимаю, как глухим детям тяжело учиться. Дело в том, что есть дефектологи, которые занимаются с глухими детьми только устной речью и не используют жестовый язык. Малое количество использования жестового языка в образовательном процессе, на мой взгляд, затрудняет освоение знаний. Поэтому мои проекты все сделаны на жестовом языке", — говорит Приходько, добавляя, что не собирается спорить с дефектологами и менять систему обучения, его проекты позволят школьникам самостоятельно повысить уровень своих знаний. Вера Фатеева
