Перебои в работе Wialon Hosting

21 марта 2012 года нидерландский дата-центр, в котором размещены серверы Wialon, подвергся массированной DDoS-атаке. Перебои в работе Wialon Hosting начались в 15:55 по минскому времени и продолжались до 20 часов вечера — к этому времени оборудование и каналы связи были полностью восстановлены.

Важно отметить, что направлением DDoS-атаки был не непосредственно серверный центр Wialon, обладающий рядом фиксированных IP-адресов, а весь дата-центр нашего провайдера, маршрутизаторы которого были перегружены огромным количеством соединений и запросов и не позволяли данным от GPS и ГЛОНАСС контроллеров поступать в СЦ Wialon, а пользователям — подключаться к системе мониторинга Wialon Hosting.

В течение 4 часов технические специалисты компании Gurtam вместе с коллегами из Голландии смогли нейтрализовать атаку, а также обеспечить сохранность всех данных на наших серверах, используя встроенную систему резервного копирования данных. Причём на протяжении последнего часа мы занимались отладкой процедур автоматического переключения между основными и резервными маршрутизаторами — это обеспечит более надежную защиту в случае повторения подобного инцидента.

Уже к 20 часам по Минску клиенты смогли в нормальном режиме подключаться к системе и использовать Wialon Hosting. При этом большинство ГЛОНАСС и GPS устройств, зарегистрированных в системе, смогло сохранить данные о своём перемещении во встроенных чёрных ящиках и в полном объеме передать их на сервер сразу после восстановления связи.

Это видно на графике количества принятых сообщений, пришедших после восстановления связи. В течение 20 минут пиковых нагрузок мы смогли хорошо проверить пропускную способность коммуникационных серверов и производительность других элементов системы, которые со своей работой справились на славу. В это время они смогли принимать, обрабатывать и записывать в базу данных более 15 000 сообщений в секунду, суммарно приняв за это время 10.8 миллиона сообщений, т.е. примерно 1 гигабайт данных.

Важно ещё и то, что даже во время инцидента все наши сервера и установленное на них ПО Wialon Hosting продолжало работать в нормальном режиме и из строя не вышло. Но из-за отсутствия внешней связи с ними до них не доходили запросы, и поэтому загрузка процессоров (жёлтым на графике) и других ресурсов была близка к нулю. После же восстановления маршрутизации загрузка ресурсов на серверах достигала 82% (при обычном уровне — порядка 20%).

Стоит также отметить что Wialon Hosting — это далеко не первый известный веб-сервис, пострадавший из-за DDoS-атаки в последнее время. Особую известность получили серии DDoS-атак на Livejournal в прошлом году, которые более чем на сутки вывели из строя популярный Живой Журнал.

В связи с произошедшим группа компаний Gurtam приносит свои извинения всем операторам, использующим Wialon Hosting, а также всем пользователям, которые не смогли зайти в систему мониторинга транспорта по привычному адресу.