Стали известны подробности инцидента с компанией CenturyLink

В декабре 2018 года произошел 37-часовой сбой в работе оптоволоконной сети компании CenturyLink, охвативший США и нарушивший работу служб 911 для миллионов американцев. Федеральная комиссия по связи США провела расследование и опубликовала результаты, описав подробности инцидента. По словам комиссии, перебои в работе CenturyLink затронули поставщиков услуг связи, корпоративных клиентов и потребителей, которые полагались на сеть CenturyLink, включая Comcast, Verizon и службу 911. В результате инцидента пострадали 22 млн клиентов в 39 штатах. Более 12,1 млн телефонных звонков были заблокированы, включая 886 звонков на 911. По результатам расследования, 37-часовой сбой был вызван отказом оборудования, который усугублялся ошибкой конфигурации сети. Проблемы начались утром 27 декабря, когда коммутационный модуль в узле CenturyLink в Денвере, штат Колорадо, самопроизвольно сгенерировал четыре искаженных пакета управления. Неправильные пакеты обычно отбрасываются немедленно из-за характеристик, указывающих на их недействительность, но этого не произошло в данном случае. Искаженные пакеты имели фрагменты подлинных пакетов управления сетью. Каждый искаженный пакет имел четыре общих атрибута, которые включали широковещательный адрес назначения, подлинный заголовок и контрольную сумму, отсутствие срока годности и размер больше, чем 64 байта. Модуль коммутации отправил эти искаженные пакеты «как инструкции по управлению сетью линейному модулю», а пакеты были доставлены на все подключенные узлы. Каждый узел ретранслировал пакет на все подключенные узлы, а те — по каналам управления. Экспоненциально возрастающая передача искаженных пакетов привела к бесконечной петле обратной связи, которая потребляла вычислительную мощность в затронутых узлах. Это привело к нарушению способности узлов поддерживать внутреннюю синхронизацию. В результате возникли многочисленные перебои в работе сети CenturyLink. Компания определила и удалила модуль, сгенерировавший искаженные пакеты, однако сбой продолжался из-за их постоянной репликации. Даже после восстановления узлов некоторые клиенты испытали остаточные последствия простоя, поскольку CenturyLink продолжала сбрасывать поврежденные линейные модули и заменять другие. Сеть стабилизировалась только к вечеру 29 декабря. После инцидента компания заменила неисправный коммутационный модуль и отправила его в Infinera для проведения криминалистического анализа, однако инженеры до сих пор не смогли воспроизвести проблему.