Словарь: чем различаются машинное и глубокое обучение

Рынок искусственного интеллекта продолжает расти быстрее многих других — по данным аналитического агентства Tractica, в 2018 году мировой объем софтверного ИИ составил $9,5 млрд, а к 2025 году он вырастет в 12 раз до $118,6 млрд. Эта оценка учитывает 315 различных варианта применения ИИ в 30 индустриях, среди которых реклама, телекоммуникации, здравоохранение, ритейл и многие другие. Согласно прогнозам IDC, в 2019 году мировые затраты на ИИ-системы составят $35,8 млрд, на 44% больше, чем в прошлом году. Самыми востребованными на рынке будут решения для автоматизирования клиентского сервиса, рекомендательные системы для повышения продаж и продукты для предотвращения угроз. Gartner стабильно помещает ИИ в свой топ технологий и технологических трендов. Источник: Towards Data Science Что такое искусственный интеллект (Artificial intelligence) Сложности в определении искусственного интеллекта связаны с неоднозначностью понятий «интеллект» и «думать». В наиболее распространенном значении «искусственный интеллект» можно описать как способность машины выполнять когнитивные функции, которые свойственны человеку — умение рассуждать, обучаться и совершенствоваться на основе предыдущего опыта, решать определенные задачи, взаимодействовать с окружающей средой. В качестве научной дисциплины ИИ появился ещё в 1956 благодаря профессору Джону МакКарти, который собрал группу ученых для работы над проектом по созданию «умных» машин, способных выполнять присущие человеку функции. Ранние разработки в области ИИ были направлены в основном на решение абстрактных логических и математических задач. Однако уже в 1962 программа на основе ИИ обыграла профессионального игрока в шашки, а в 1965 система Dendral, созданная в Стэнфорде, смогла определить химические структуры с помощью анализа масс-спектрограмм. Ранние успехи на этом поприще мотивировали ученых продолжать изучение ИИ. Различают три вида ИИ в зависимости от его возможностей: ограниченный (способен решать только конкретный тип задач), общий (может обучаться любым навыкам и решать любые задачи) и сверхразумный (во всех сферах жизни превосходит человеческий). Единственный вид интеллекта, который пока удалось создать — ограниченный. Система, которая позволяет вам транскрибировать аудио в тексты, не может одновременно заказать пиццу или сыграть в шахматы — для каждой из этих задач необходима разработка отдельных алгоритмов. На данный момент все технологии, например, компьютерное зрение, обработка естественного языка, распознавание изображений и даже автономные автомобили, относятся к ограниченному ИИ (последние являются комбинацией нескольких «ограниченных интеллектов»). Известные примеры ограниченного ИИ — программа Deep Blue от IBM, которая в 1996 году обыграла в шахматы Гарри Каспарова, и программа AlphaGo от Google DeepMind, выигравшая в 2016 году в Го у корейского го-профессионала Ли Седоля. Понятие «искусственный интеллект» само по себе ничего не говорит о методах, позволяющих машинам выполнять когнитивные функции. Один из таких методов — машинное обучение, которое начало активно развиваться в 1980-х гг, когда стало понятно, что более ранние методы не работают для обработки естественного языка или распознавания картинок. Что такое машинное обучение (Machine learning) Машинное обучение — это класс методов для решения задач искусственного интеллекта. Алгоритмы машинного обучения распознают паттерны в больших массивах данных и используют их для самообучения. Каждый новый массив данных позволяет алгоритмам совершенствоваться и адаптироваться в соответствии с полученной информацией, что позволяет постоянно улучшать точность рекомендаций и прогнозов. Методы машинного обучения имитируют человеческое обучение. Представьте ребенка, который учится читать. Процесс обучения начинается не с зазубривания всех правил грамматики и орфографии: сначала ребенок читает простые, детские книги, затем переходит к более сложной литературе, из которой он получает новые знания и усваивает новые правила. По похожему принципу работает машинное обучение. С развитием алгоритмов стало понятно, что некоторые задачи, например, распознавание речи или текста, компьютер решить всё ещё не может. В результате возникла идея нейронных сетей, которые имитируют не просто процесс обучения человека, но само устройство человеческого мозга. Искусственные нейронные сети представляют из себя систему связанных между собой простых процессоров (искусственных нейронов), обменивающихся друг с другом сигналами (нервными импульсами). Нейронная сеть имитирует центральную нервную систему и может решать более сложные задачи машинного обучения — прогнозирование временных рядов, распознавание речи, компьютерное зрение и другие. Машинное обучение можно разделить на три группы: 1. Контролируемое машинное обучение, или обучение с учителем (supervised machine learning) — для обучения алгоритмов используются labeled data (размеченные, или маркированные, данные). В контролируемом машинном обучении входные данные (X) и выходные данные (Y) известны. На предоставленном датасете из данных X и Y алгоритм обучается, чтобы затем предсказать значение Y на новом массиве данных. Варианты применения: Прогнозирование цены на недвижимость в зависимости от процентной ставки, времени года и других факторов; Прогнозирование спроса на продукт и оптимизация цены на него; Прогнозирования оттока клиентов; Предотвращение разных видов мошенничества с банковскими картами. Источник: Edureka! 2. Неконтролируемое машинное обучение, или обучение без учителя (unsupervised machine learning) — алгоритмы обучаются на unlabeled data (немаркированные, или неразмеченные, данные). В этом случае алгоритм получает только сырые входные данные, которые не требуют первичной обработки. Алгоритм анализирует датасет и самостоятельно проводит кластеризацию данных, разделяя их на группы со схожими показателями. Варианты применения: Сегментация клиентов для проведения более эффективной маркетинговой кампании; Сегментация работников по вероятности профессионального выгорания; Рекомендации фильмов группе людей со схожими интересами; Рекомендации статей исходя из анализа прочитанных материалов. Источник: Edureka! 3. Обучение с подкреплением (reinforcement learning) — алгоритм обучается самостоятельно (на сырых данных), взаимодействуя с незнакомой средой и получая фидбек на свои действия. Основная задача алгоритма — методом проб и ошибок выбрать те тактики, которые позволят максимизировать общую выгоду агента. Популярная тестовая среда для обучения с подкреплением — компьютерные игры, работающие по такому же принципу. Например, в арканоидах игрок получает очки, когда разбивает блоки, и теряет жизни, если дает шарику упасть. В процессе обучения с подкреплением алгоритм машинного обучения научится всегда отбивать шарик и даже сможет выбрать оптимальную стратегию, которая позволит быстрее всего выбить все блоки. Варианты применения: Максимизация прибыли инвестиционного портфеля; Обучение промышленных и складских роботов; Оптимизация загруженности сетей электроснабжения в зависимости от спроса; Оптимизация вождения беспилотных автомобилей. Источник: Edureka! 4. Частичное обучение, или обучение с частичным привлечением учителя (semi-supervised learning) — алгоритмы обучаются одновременно на labeled и unlabeled data, причём количество неразмеченных данных обычно сильно превышает количество маркированных. У этого метода есть несколько преимуществ. Во-первых, маркировка огромного массива данных — долгий и дорогостоящий процесс. Во-вторых, маркировка всех данных в массиве может привести к появлению в модели систематической ошибки, вызванной человеческим фактором. Включение в модель unlabeled data одновременно снижает стоимость обучения алгоритма и позволяет сделать модель более точной. Варианты применения: Речевая аналитика; Классификация веб-страниц и веб-контента; Генетическое секвенирование. Что такое глубокое, или глубинное, обучение (Deep learning) Deep learning — набор методов машинного обучения, в которых используются нейронные сети с большим количеством нейронов и слоев для извлечения признаков. В многослойной нейронной сети помимо входного (принимающего данные) и выходного (выдающего результат) слоев есть один или несколько скрытых слоев вычислительных нейронов для обработки данных. При этом каждый последующий слой получает на входе выходные данные предыдущего. С помощью глубокого обучения можно анализировать огромные массивы данных, прикладывая меньше человеческих усилий для их первичной обработки. Deep learning позволяет получать более точные результаты, чем другие методы машинного обучения. Принцип глубокого обучения хорошо описан в блоге Oracle на живом примере. «Когда вам показывают изображение лошади, вы понимаете, что это лошадь, даже если никогда раньше не видели именно эту картинку. Не имеет значения, лежит ли лошадь на диване или одета как бегемот. Вы узнаете ее, потому что помните множество определяющих ее признаков: форму головы, количество и расположение ног и другие. Глубокое обучение тоже умеет распознавать эти признаки.» Это особенно важно для таких технологий, как беспилотные автомобили, которым необходимо «знать», что именно их окружает — люди, машины, велосипеды, дорожные знаки, бордюры и другие элементы. Традиционные методы машинного обучения не могут решить все задачи, необходимые для реализации этой технологии. Источник: beebom.com Глубокое обучение используют для решения задач, связанных с распознаванием лиц, речи, текста, фото и видео. Несколько примеров таких задач: Диагностика заболеваний по медицинским сканам; Обнаружение продуктов с дефектами на производственной линии; Генерация подписей к фотографиями; Анализ восприятия логотипа и бренда компании для повышения эффективности маркетинга; Перевод с одного языка на другой. Фото на обложке: Faithie, Depositphotos