Большой вопрос про большие данные
Как адаптировались ЦОД к эпохе больших данных Все началось еще в 2013 году, когда эксперты компании Gartner предсказали, что за ближайшие четыре года объем производства с применением центров обработки данных (ЦОД) в мировом масштабе вырастет со 102,4 до 118,1 млрд долларов. Это предсказание оказалось верным буквально до доллара. Толчком к росту сектора ЦОД стал феномен под названием big data (большие данные). В московском метрополитене уже работает система распознавания лиц. Это один из способов применения big data Большие данные захватывают рынок, и задача бизнеса — заставить их работать на себя. В 2018 году число ЦОД в мире увеличилось на 11% по сравнению с 2017 годом и достигло 430. Новые ЦОД запущены в 17 разных странах, наибольшее количество — в США и Гонконге. По данным на начало января 2019 года, в планах значилось открытие еще 132 центров обработки данных, и этому буму не видно конца. Что такое big data простыми словами Большие данные — это огромные массивы структурированной и неструктурированной информации, собранной из разных источников. Термин был введен в обиход в 2008 году Клиффордом Линчем, редактором журнала Nature. Но на сегодняшний день под большими данными понимают не только информацию, но и различные инструменты, подходы и методы для ее хранения и обработки, а также потенциальную пользу, которая будет получена при ее анализе. Как понять, что мы имеем дело именно с большими данными? Главные характеристики, которые отличают big data от других данных — это так называемые «три V»: Volume — большой объем информации (потоки данных свыше 100 Гб в день); Velocity — большая скорость накопления и необходимость в быстрой обработке; Variety — большое разнообразие данных. Для простоты понимания представим себе большой продуктовый магазин, где товары лежат в хаотичном порядке. Хлеб соседствует с замороженной рыбой, молоко с пивом, а рядом с шоколадными конфетами стоят шампуни и гели для душа. Big data расставляют все по полочкам и помогают быстро отыскать нужный продукт, например, ваш любимый сыр. А также дают дополнительную информацию: позволяют узнать его цену, срок годности, кто еще покупает этот сыр и чем он отличается от сыров других производителей. В ритейле big data состоят из различных сведений о покупателях: персональных данных, частоты посещения магазина, истории покупок, заинтересовавших скидках, данных из чеков. Их анализ позволяет создать детальный портрет покупателя, выявить его предпочтения и персонализировать рекламную рассылку. Финансовые структуры и страховые компании также собирают данные о клиентах, проводимых ими транзакциях, других финансовых действиях и даже перемещениях по стране и миру. Эта информация применяется для увеличения продаж и повышения уровня лояльности клиентов. Большие данные активно используются интернет-провайдерами, мобильными операторами, операторами поисковых систем, соцсетей и интернет-магазинов. Постепенно они внедряются в коммунальную сферу, медицину, автомобилестроение и другие отрасли производства, государственное управление… Большие данные помогают защитить клиентов от мошенничества в сети, денежных махинаций и вирусов. Еще в 2014 году Сбербанк внедрил алгоритм, позволяющий идентифицировать клиентов банка по фотографиям. Это дало возможность сократить количество случаев мошенничества в 10 раз. Big data как свет — найдет свой путь везде Большие данные преобразуют нашу жизнь, нашу работу, наше мышление. Делают сервисы интуитивно понятными, а услуги максимально персонализированными и доступными. Технология big data прочно укореняется в бизнесе. Даже в самых неожиданных сферах приходят к тому, что владеть информацией необходимо. Согласно данным компании IDC, к 2020 году человечество сгенерирует 40–44 зеттабайтов информации (1 Збайт = 1021 байт). Возникает логичный вопрос: как избежать катастрофической перегрузки центров обработки данных? Ответ один – они должны адаптироваться под big data. К каким изменениям привели big data Основные изменения коснулись периферийных вычислений. Новые требования предъявляются к тому, как перемещаются и обрабатываются большие данные. Умные дома и заводы, беспилотные дроны и автомобили содержат огромное количество устройств, которые передают по сетям гигантские объемы информации. Но первичные данные, принимаемые с датчиков, не помогут избежать затора на дороге или вовремя отремонтировать станок. Нужно обучить машину анализировать информацию в режиме реального времени, то есть требуется искусственный интеллект. Сейчас обработка данных осуществляется в крупных ЦОД, но скоро подключенные устройства будут генерировать настолько много информации и требовать настолько быстрого отклика, что облако просто перестанет справляться. Значит, главная цель — начать обработку вне облака, то есть на периферии. Узкое место — это полоса связи между периферией и облаком. Чтобы разгрузить этот канал, нужно переместить аналитический аппарат из облака максимально близко к конечным (периферийным) устройствам, которые в свою очередь должны быть интеллектуальными. Подталкивает к переносу данных на периферию и переход на мобильные сети 5G, который сделает возможным создание периферийных микро-ЦОДов рядом с новыми станциями 5G. Облака спускаются на землю: будущее за периферийными вычислениями Каждое периферийное решение должно быть создано под конкретные нужды, одновременно должна быть проработана и инфраструктура ЦОД, включая элементы электропитания и охлаждения, и все это не должно превращаться в «город техники». Будущее ЦОД — за модульными решениями Компаниям, которые работают с большими данными, необходимы производительные и гибкие ЦОД. Главные требования, предъявляемые к ним, — быстрое развертывание приложений, простое масштабирование без перерывов в работе, высокая энергоэффективность и рентабельность. Поставленным задачам отвечают модульные ЦОД. В них основные узлы (система питания, охлаждения и управления энергопотреблением) разбиты на отдельные компоненты. Каждый участок проектируется в соответствии с единым стандартом, что позволяет обеспечить безотказную, независимую работу дата-центра. Преимущества модульных ЦОД неоспоримы: Высокий уровень стандартизации делает возможным серийное производство, а это означает сокращение затрат и сроков изготовления, повышение качества и упрощение ремонта. Быстрый монтаж — в отличие от традиционного ЦОД, который строится от полугода до года, для развертывания модульного центра требуется от нескольких недель до нескольких месяцев. Масштабируемость и минимальные затраты на старте: интеграция дополнительных узлов производится по необходимости (с ростом объема данных). Сокращение среднего времени восстановления после отказа — за счет модульности и разъемных соединений любые ремонтные работы выполняются быстро. Кроме того, модульные ЦОД отличаются высокой стабильностью — стандартизованные компоненты идеально взаимодействуют друг с другом. Модульный ЦОД — это система, позволяющая быстро наращивать мощности по мере расширения бизнеса В связи с распространением периферийных вычислений не менее востребованными стали контейнерные ЦОД «все в одном» с гибкими системами питания и охлаждения. Они являются буфером для кэширования и накопления данных между пользователями и крупным ЦОД. Их главное преимущество — быстрое построение, мобильность и масштабирование для любых сфер применения и решаемых задач. Первоначально ЦОД на колесах стали применять американские военные. Первые коммерческие продукты такого типа появились в 2006 году. Это были металлические 20- и 40-футовые ISO-контейнеры для перевозки грузов, внутри которых располагались стойки с оборудованием. Спустя три года стало известно, что компания Google начала использовать контейнерные ЦОД еще раньше военных — в 2005 году. Сегодня технология контейнерных центров обработки данных стала доступна бизнесу. Теперь ЦОД можно легко перевозить автомобильным или железнодорожным транспортом и размещать рядом с уже существующими мощностями, используя общий резервный генератор. ЦОД больше не здание, у него появились колеса Вig data стали причиной преобразования архитектуры центров обработки данных, заставив их адаптироваться к новым условиям. Это естественный процесс развития цифрового мира, и главная задача бизнеса — скорее подружиться с большими данными и сделать их своими союзниками, призвав в партнеры обновленные ЦОД.
