Искусственный интеллект и нейросети в картографии — 2: когда «народные» карты круче Google

Этот материал продолжает тему будущего картографических сервисов. На этот раз мы поговорим об автоматизированных решениях при создании дорожных автомобильных карт. То есть о так называемых автоматических методах маппинга. В первую очередь, автоматическими методами маппинга мы будем называть те методы, где человек выступает в роли разработчика и оператора, управляющего интеллектуальными системами автоматического картирования. Читайте также Искусственный интеллект и нейронные сети в картографии: будущее картографических сервисов 1. Автоматическое распознавание объектов по спутниковым снимкам с использованием нейросетей Это наиболее перспективный способ автоматического добавления и обновления информации о дорогах и зданиях на обширных участках планеты. Нейросети обучаются на базе уже распознанных вручную участков в OSM. О разработках в этом направлении на конференции OpenStreetMap в Сиэтле рассказала команда Facebook. Соцсеть использует на входе высококачественные коммерческие данные компании DigitalGlobe (до 30 см на 1 пиксель), и на базе заранее обученной на OpenStreetMap нейросети автоматически определяет на снимках дороги. Facebook использует OSM для сервиса Livemap, однако на поток технология распознавания еще не поставлена, поскольку требует доработки и согласования с сообществом OpenStreetMap (это необходимо, чтобы избежать массовых ошибок при распознавании и загрузке данных в OSM). Технологию машинного обучения и нейросетей использует также компания DigitalGlobe для своего коммерческого B2B продукта GBDX. Такой метод не идеален и может приводить к значительным погрешностям, поскольку исходные снимки каждой местности уникальны. В разных странах дороги и дома могут строить по-разному, вследствие чего нейросеть, обученная на базе информации об одной стране, может плохо справляться с распознаванием объектов в другой. Кроме того, качества спутниковых снимков не хватает, чтобы распознать на карте дорожные знаки, светофоры и прочие небольшие объекты. Проблему представляет и угол наклона исходного спутникового снимка, при котором часть объектов вообще не видно: они оказываются закрытыми плоской проекцией зданий. Ну и, конечно, спутниковые снимки не позволяют считывать названия улиц, организаций и прочую информацию: для этого нужно так называемое «локальное знание». Детектирование дороги для деревни в Египте Загруженные в OSM схемы автоматически распознанных дорог при помощи нейросетей, подсвеченные в зеленый цвет, для удобства проверки мапперами 2. Автоматическая обработка фото- и видеопотока с видеорегистраторов и смартфонов пользователей Метод подходит для распознавания рядности дорог, считывания дорожных знаков, светофоров и прочих объектов. Если фотокамера широконаправленная, то можно также попробовать распознать вывески вдоль улиц и названия заведений (однако определить тип заведения уже не получится). Этот способ сбора информации уже позволяет использовать системы компьютерного зрения, усиленные обучаемыми нейронными сетями, для улучшения точности распознавания не только дорожных знаков (с ними все как раз достаточно просто), но и прочих, более сложных объектов (вывески, пожарные гидранты, светофоры, заборы). Пример открытого проекта, который позволяет наносить объекты этим способом — Mapillary. С помощью обучаемых нейронных сетей можно распознавать, скажем, сетевые заведения с вывесками и автоматически наносить их на карту; однако через такой сервис почти невозможно наносить на карту организации, находящиеся, в основном, внутри здания и не имеющие вывески на улице. Определение скоростных ограничений на дороге по дорожным знакам 3. Коммерческое добавление информации об объектах. В последнее время набирают обороты компании, которые ранее собирали и продавали данные об организациях, а ныне оказывают этим организациям услуги по добавлению и обновлению информации о них на все карты мира. Также компании проверяют актуальность данных, создают отчеты о представленности. Такие сервисы (среди них, например, Navads и Brandify) получают непосредственно от организаций точную информацию о месте расположения, адресе, номерах телефонов и т.д., подключаются по API ко всем популярным открытым и закрытым картографическим базам и загружают туда актуальные данные о предприятиях в автоматическом режиме. 4. Автоматический сбор GPS-треков пользователей мобильных приложений. Используется для поиска отсутствующих участков дорог, закрытых дорог, ошибок в направлении движения по дорогам. Дальше всех в этом продвинулась коммерческая компания Mapbox, предоставляющая API/SDK на базе OpenStreetMap. Mapbox вкладывает немалые ресурсы в обработку обезличенных GPS-треков, поступающих через SDK, для улучшения точности дорог, добавления новых и устранения ошибок в OSM. Кроме того, около 40 штатных картографов компании постоянно работают над уточнением OSM-данных. К примеру, если на OpenStreetMap дорога обозначена как односторонняя, но по данным, поступающим по SDK, на этом участке дороги автомобили движутся в обоих направлениях, то, очевидно, на этом участке дороги было введено двустороннее движение — и картографы внесут соответствующие правки. То же самое касается свежепостроенных дорог, еще не обозначенных на карте: если набирается достаточное количество треков по участку, отсутствующему в OSM, такая дорога будет добавлена. Таким образом, клиенты Mapbox делают свой опосредованный вклад в развитие OpenStreetMap. 5. Автоматический сбор и обработка видео-/GPS-/LIDAR-данных автомобилей и прочих уличных роботов, оснащенных системами полного или частичного самоуправления Таким роботам требуются как обычные карты для базовой навигации, так и данные в реальном времени для уточнения маршрута. В недалеком будущем, когда самоуправляемые автомобили широко распространятся по миру и будут постоянно курсировать по дорогам, именно они будут генерировать наибольший объем полезной информации об изменениях на дорогах. На текущий момент в направлении самоуправляемых автомобилей движутся сразу несколько гигантов: Google, Intel, Tesla, Uber, Nvidia и еще ряд компаний. Для более точного распознавания различных дорожных объектов активно используются нейросети. Искусственный интеллект на базе этих нейросетей обучается действовать в различных дорожных ситуациях – обрабатывает входящую информацию и принимает решение о совершении маневра, основываясь на опыте других автомобилей в похожих ситуациях. На базе этих данных уже создаются специализированные карты, обеспечивающие более высокую точность, чем отрисованные по спутниковым снимкам. Сверхточные карты нужны для навигации роботов будущего, которое уже не за горами. Однако создание такой карты всего мира — весьма дорогостоящие занятие: скажем, Google в свое время потратил примерно $2 млрд на проект StreetView, запустив специализированные автомобили, оснащенные камерами с обзором в 360 градусов, при этом охвачены были только крупные города. Хочется верить, что компании-гиганты, создающие самоуправляемые машины, объединят свои усилия для создания открытых навигационных карт высокой точности, которыми смогут пользоваться любые роботы — скажем, уличный робот-уборщик или патрульный робот-полицейский. Комментарий CEO Idealab Билла Гросса к фото: «Самоуправляемый автомобиль Google собирает почти 1 Гбайт данных в секунду. И вот что он видит, совершая поворот налево» Выводы об автоматических методах маппинга Как видно из перечисленных выше методов, за счет развития технологий машинного обучения, нейронных сетей и компьютерного зрения автоматические методы маппинга позволят уже в перспективе 5-10 лет существенно уменьшить трудозатраты на создание и обновление карт. Поспособствуют этому несколько трендов: популяризация самоуправляемых автомобилей, оснащенных системами автоматического сбора огромного количества графической информации вокруг автомобиля, что позволит иметь самую актуальную информацию о дорогах и различных объектах вдоль дорог; популяризация и удешевление графических процессоров NVidia и других игроков, широко используемых для анализа графических объектов через нейронные сети, повышая качество и скорость распознавания; значительное снижение стоимости запусков гео спутников в космос (благодаря SpaceX), что позволит открыть дорогу на геолокационный рынок коммерческим компаниям и государствам; возможность купить доступ к снимкам поверхности от разных поставщиков одних и тех же мест с разных ракурсов, что позволит повысить точность автоматического распознавания; появление более свежих снимков менее популярных областей поверхности; совершенствование спутниковых систем (увеличение разрешения) позволит повысить разрешение снимков и увеличить точность распознавания более мелких объектов; нейросети постепенно научатся распознавать на более детальных спутниковых снимках более сложные объекты и делать это будут точно и быстро. Выводы о создании карт в целом Как видно, все перечисленные выше методы автоматического и ручного маппинга пока не решают двух больших проблем картографии: обеспечение актуальности и полноты данных по всему миру, а ведь пользователям нужны самые актуальные и полные карты уже сейчас. Сегодня недостаточно просто сделать детальную карту мира или региона: ее нужно регулярно обновлять, ведь все вокруг постоянно меняется. Эта масштабная и сложная задача не под силу одной коммерческой компании, поэтому такие карты надо создавать всем миром – и делать их открытыми. Вот наглядный аргумент в пользу открытости проекта: в Google Maps весьма неплохо отрисованы крупные города, однако чем меньше город, тем хуже данные. Компания Google привлекает профессиональных картографов для создания карт и тратит на это огромные деньги, но это не обеспечивает ей хорошего результата во всем мире. В то же время у открытого проекта OpenStreetMap очень развито сообщество редакторов, которые добавляют на карту сложные объекты – и делают это за идею. Это позволяет обеспечить полноту и актуальность информации на местах, куда не выгодно отправлять, скажем, автомобиль StreetView, а для маппинга пешеходных маршрутов не существует Google-людей которые бы ходили с оборудованием на голове по всем тропинкам мира, поскольку это было бы безумно дорого. Вернусь к моему личному примеру с парковкой в Петергофе, с которого я начал рассказ. Увидев новую парковку, я сразу же сделал несколько фотоснимков и вечером того же дня добавил ее на OSM. Парковка нанесена в OSM Парковка отсутствует в Google Maps Парковка видна на спутниковых снимках Google С момента добавления мной парковки в OpenStreetMap прошел год, а она до сих пор не появилась в Google Maps! Причем на спутниковых снимках Google она четко видна, просто никому нет до нее дела. Примерно так же я разметил в свое время родную деревню в Белоруссии (Осовец, Могилевская область). Там есть кладбище в лесу, которое на спутниковом снимке, разумеется, незаметно, но местные жители о нем знают. Я нанес его и еще несколько деревенских домов на OSM. Ни на одной карте мира, кроме тех, что работают на базе OpenStreetMap, этих объектов нет, и не факт, что они появятся там когда-либо. Деревня Осовец в OpenStreetMap Деревня Осовец в Google Maps Деревня Осовец в «Яндекс.Картах» Будущее открытых карт OSM Сила сообщества OSM в том, что каждый участник чувствует свой вклад в развитие общего дела. Каждый случай, подобный моему, повышает качество данных OpenStreetMap по сравнению с другими картографическими сервисами. При этом мэппинг домов, дорог, парковок и других подобных крупных объектов – относительно легкая задача. Во-первых, эти данные в принципе можно автоматически обновлять по свежим спутниковым снимкам с использованием искусственного интеллекта и нейросетей; во-вторых, они относительно редко строятся или сносятся. Гораздо сложнее дело обстоит со всевозможными предприятиями и заведениями: они открываются и закрываются гораздо чаще, и спутниковые снимки, равно как и снимки улиц, тут не помогут: нужны миллионы обычных пользователей, которые будут добавлять и обновлять эту информацию на картах. Огромный вклад пользователи делают в районах постоянного проживания. Если ты ходишь или ездишь одним и тем же маршрутом на работу, тебе легче замечать изменения вокруг: какой магазин закрылся, какой открылся, где поставили шлагбаум, где проложили новую пешеходную дорожку. OSM также силен данными, которые невозможно найти ни на одной другой карте мира. К примеру, OpenStreetMap часто используется пожарными для нанесения информации о размещении пожарных гидрантов. Таких данных в Google Maps просто нет, а в OSM есть и они, и еще много всего: мусорные баки, столбы линий электропередач, скамейки, туалеты, лесные и горные тропы, места для организации пикников, пункты расположения дефибрилляторов. Размышления о будущем картографии Собирая воедино всю картину в индустрии создания карт, можно с уверенностью сказать, как будет меняться этот рынок в ближайшие 10 лет. Снижение стоимости вывода спутников на орбиту вместе с ростом качества снимков (вплоть до видео), охвата и доступности снимков значительно повысит качество автоматического распознавания снимков, благодаря, в первую очередь, обучаемым нейросетям. Это позволит сформировать верхний уровень данных карт: с высокой точностью автоматически определять сами дороги, тип покрытия, количество полос, геометрию и высоту зданий, леса, поля и прочие хорошо различимые объекты. На снимках с новейшего спутника DigitalGlobe можно даже разглядеть игроков на футбольном поле. Рост точности и частоты получения снимков, вероятно, создаст высокую конкуренцию с дронами и квадрокоптерами за развивающееся направление ежедневной аэрофотосъемки, но произойдет это не быстро: разработка и вывод новых современных спутников занимает пару лет; кроме того, у спутника есть минус — облака, в то время как беспилотники могут летать и в плохую погоду. При этом в городах, как правило, жесткое регулирование или полный запрет на полеты, так что у аэрофотосъемки также есть ограничения. Повсеместное распространение самоуправляемых машин частично заберет хлеб у рынка спутниковых снимков в больших городах и пригородах. Там будет большой объем качественных данный высокой четкости, до которых спутниковые снимки вряд ли смогут приблизиться: экономически нецелесообразно создавать дорогой спутник с огромным телескопом и сложной оптикой для таких целей, в то время как большинство машин уже оборудованы недорогими камерами высокого разрешения (для работы автоматики по управлению машиной). Однако и у автомобилей есть недостатки: они передвигаются только по автомобильным дорогам и информация о заведениях внутри недоступна для сбора машинами. Так что на сегодняшний день и в ближайшей перспективе единственный надежный способ сбора актуальной информации о локальном бизнесе — краудсорсинг. В обозримом будущем (10-15 лет) многие станут постоянно носить устройства дополненной реальности (Google Glass и очки от Snapchat — это первый звоночек), позволяющие получать дополнительную информацию об окружающих объектах (дополненная реальность), за счет встроенной камеры и нейросетей, распознающих объект. С этого момента начнется эпоха автоматического маппинга объектов вне городов и внутри зданий, что также позволит значительно продвинуться по качеству и точности данных. Таким образом, машинное обучение и нейросети в ближайшие 20 лет проникнут во все направления в создании карт и анализе гео информации. Не устану повторять: в удивительное время живем, друзья! Фрагмент спутникового снимка высокой точности с новейшего спутника WorldView-4 от компании DigitalGlobe (30 см на пиксель)