Безопасность коммерческих сайтов I-2015

Статьи Безопасность

Основные отличия исследования 2015

В конце 2014 года мы приняли решение проводить исследования на регулярной основе и развернули для этого постоянно действующую инфраструктуру, которая находится в облаке Amazon и представляет масштабируемый до сотен серверов кластер машин, объединенных диспетчером задач RabbitMQ и позволяющий осуществляющих мониторинг нескольких сотен тысяч сайтов. За первый квартал 2015 года мы собрали в и проанализировали 2,5 миллиона записей об инцидентах, обнаруженных в ходе постоянного мониторинга более 80.000 сайтов.

Дополнительно специально для данного исследования мы совместно с сервисом сбора аналитических данных iTrack провели единовременное сканирование 240 тысяч сайтов с доменами в зоне. ru, зарегистрированных юридическими лицами (предположительно для коммерческих целей).

Краткие итоги исследования 2014

По результатам исследования, проведенного в октябре 2013 — январе 2014, каждый седьмой сайт в Рунете подвержен риску финансовых потерь из-за проблем, связанных с безопасностью. И если крупные игроки рынка решают проблему наймом профильных специалистов и использованием промышленных систем мониторинга и защиты, то сектор СМБ в большей части просто не задумывается о решении подобных проблем заранее, и вынужден реагировать по факту уже понесенных убытков.

Основные итоги предыдущего исследования:

  • Сайты на бесплатных CMS заражаются в 4 раза чаще сайтов на платных
  • Обновление версии CMS снижает риск появления проблем в 2 раза
  • Яндекс заносит сайты в черный список в два 2 чаще, чем Google
  • Пересечение черных списков Google и Яндекс всего 10%
  • Более половины владельцев сайтов не знало о наличии проблем
  • Треть продолжали тратить средства на продвижение сайта
  • 15% бизнесов прекратили свое существование, а владельцам 10% сайтов в результате заражения пришлось переделывать свой сайт
После публикации этих данных мы получили много уточняющих вопросов, которые постарались учесть при доработке методологии и постановке задачи на проведение очередного исследования.

Ключевые результаты исследования 2015

Для начала приведем кратко основные результаты исследования, на которые нам показалось особенно важным обратить внимание аудитории.

Google и Яндекс все еще медленно определяют опасные сайты

В этом есть одновременно плохая и хорошая новость. Плохая новость для пользователей в том, что они могут попасть на опасные или зараженные вирусами сайты, не получив своевременно привычного предупреждения «Этот сайт небезопасен» от поисковой системы. Хорошая новость для владельцев сайтов – они могут успеть отреагировать и устранить проблему быстрее, чем сайт попадет в черный список поисковой системы, но при одном условии – если самостоятельно обнаружат наличие проблемы быстрее, чем это сделает поисковая система.

Наше наблюдение показало, что Google и Яндекс все еще медленно и не полностью выявляют наличие на сайте проблем с безопасностью и угроз пользователям. одном из следующих исследований мы проверим, кто быстрее — традиционные антивирусы или Google с Яндекс). По сравнению с прошлым годом Яндекс нарастил свои возможности – раньше он выявлял проблемы в два раза чаще чем Google, а сейчас – уже в 2,5 раза чаще. Тем не менее, владельцам сайтов недостаточно полагаться только на диагностику средствами для вебмастеров Яндекс и Google – когда поисковая система пришлет оповещение о проблеме, то сайт уже будет находиться в черном списке, а значительная часть трафика на сайт будет потеряна и каждый час или день до решения проблемы будет приносить потери лидов, продаж и репутации сайта.

Доля сайтов, не обнаруженных поисковиками

Следует оговориться, что приведенная на графике статистика была получена в ходе единовременного сканирования сайтов, поэтому мы не можем сейчас достоверно сказать, сколько времени было у владельцев сайтов на устранение проблемы до того, как сайты попали в черные списки поисковой системы. Мы планируем узнать это в ходе наших дальнейших исследований.

7 дней — среднее время нахождения сайта в черных списках поисковых систем

Устранение выявленных проблем требует значительного времени – в среднем сайт находится в черном списке неделю

Это эквивалентно потере четверти месячной выручки для интернет-бизнеса. Среднее время реакции владельца сайта или вебмастера на обнаруженную поисковыми системами проблему и выведение сайта из черного списка — 1 неделя. То есть интернет-бизнес испытывает неделю простоя, а интернет-магазин лишается четверти месячной выручки. И это без учета потерь средств, вложенных в рекламу (по результатам предыдущего исследования, подтвержденным и в этот раз, около половины владельцев интернет-бизнеса продолжали вкладывать средства в продвижение сайта, который имел проблемы с безопасностью, приводящие к блокировке сайта поисковыми системами).

Яндекс и Google выявляют не все заражения на сайте

Топ-3 проблем

1. Наиболее распространенная и опасная по нашему мнению проблема — это редирект на внешние сайты, включая как мобильный, так и обычный редирект. В 90% всех случаев наличия редиректа, мы определили что это был редирект на зараженный сайт. Таким образом, страдает не только интернет-бизнес, который теряет перенаправляемый на другие сайты трафик, но и пользователи, которые попадают на зараженные сайты. А если факт перехода на зараженный сайт детектирует установленный у пользователя антивирус, то пострадает и репутация сайта, на которые он хотел зайти изначально. Как мобильный, так и обычный редирект нелегко поддаются обнаружению, потому что как правило используют техники скрытия и вдобавок срабатывают не для всех IP-адресов и типов мобильных устройств.

В нашей выборке из более 300.000 сайтов Google определил менее 20% имеющихся проблем, а Яндекс определил только 33% редиректов, которые были установлены на сайты в то время, когда мы проводили их сканирование. В то же время, в случае определения вредоносного мобильного редиректа Яндексом, в 100% случаев сайт будет занесен в черный список.

Выше мы уже отмечали, что только около 10% владельцев и администраторов самостоятельно устраняли редиректы до их выявления Google и Яндекс.

2. Второй по распространенности проблемой являются динамические ссылки на зараженные сайты. Стоит обратить внимание, что в 100% случаев после обнаружения такой ссылки сайт попадает в черный список Google значит, будет блокироваться и в веб-браузерах, которые используют для определения небезопасных сайтов Google SafeBrowsing API).

Динамические ссылки на зараженные сайты самостоятельно выявляли и устраняли только 20-30% всех сайтов, попавших в исследование.

3. На третьем месте по популярности статическая внешняя ссылка на зараженный сайт. Данный тип проблемы оказался наиболее простым в выявлении и устранении – от 40% до 50% всех сайтов смогли справиться с проблемой, не дожидаясь ее обнаружения поисковыми системами.

Одного лечения недостаточно. Наблюдение и профилактика

Большинство из всех сайтов, которые устранили обнаруженные проблемы с безопасностью, успели попасть в черные списки поисковых систем, а затем выведены оттуда. Наибольшего успеха владельцы сайтов и администраторы добиваются в борьбе со ссылками на зараженные сайты. Почти половина всех таких инцидентов была устранена до обнаружения поисковиками. Мы связываем это с тем, что при продвижении сайта часто используются инструменты для контроля за статическими внешними ссылками, а динамические внешние ссылки как правильно обнаруживаются настольными антивирусами, и информация об этом попадает к владельцам сайтов. Труднее всего выявлять редиректы, причем мобильный редирект самостоятельно могли выявить только менее 10% владельцев сайтов. Это объясняется тем, что вредоносные редиректы способны скрывать свое присутствие и значительно хуже выявляются «подручными средствами», в то время как поисковые системы, заботящиеся о защите пользователей, наоборот, достаточно эффективно научились определять в том числе и сложные мобильные и маскирующиеся редиректы.

Доля сайтов, успевших исправить проблему до занесения в черные списки поисковых систем

В целом же это означает, что бизнесы, не имевшие достаточных собственных средств по контролю за безопасностью сайта, успели понести существенные потери – в среднем неделя простоя, как было отмечено выше, без учета потерь трафика от редиректов с момента их появления на сайте до момента обнаружения поисковой системой. Если бы у владельцев сайтов и веб-мастеров были средства проактивной диагностики и профилактики сайтов, этих потерь можно было бы избежать, используя обнаруженную нами медлительность поисковых систем — проблему можно обнаружить и устранить до того, как поисковый робот зайдет на сайт и пометить его как опасный.

Влияние типа CMS на безопасность оказалось не таким большим для бизнес-сайтов

В прошлом исследовании, где участвовали случайно выбранные сайты, мы обнаружили явную зависимость – сайты на бесплатных CMS заражались вирусами в четыре раза чащей сайтов на коммерческих системах. Оставив в выборке только бизнес-сайты, мы обнаружили, что доля сайтов на основе коммерческих CMS в черных списках всего лишь в два раза меньше доли сайтов на бесплатных CMS. Таким образом, коммерческие сайты на бесплатных CMS «в среднем» можно назвать более безопасными по сравнению с со всеми сайтами на бесплатных CMS вообще.

Тип CMS сайтов

CMS сайтов

По нашему мнению, многие случаи взлома и заражения сайтов возникают из-за общих проблем с безопасностью – слабых паролей, неконтролируемого доступа к коду сайта, привлечения непроверенных фрилансеров и других системных проблем веб-разработки, связанных с общим состоянием безопасности веб-разработки. С этим мы свсязываем такой факт как отсутствие явных лидеров среди платных и бесплатных CMS по количеству проблем. В целом, доля проблемных сайтов на выбранной CMS соответствует доле, занимаемой этой CMS на рынке.

По отношению к графикам выше необходимо сделать пояснение: по техническим причинам, нам не удалось определить CMS у некоторой части сайтов из выборки, поэтому данные получены в предположении, что ошибка неопределения CMS была распределена случайным образом. В списке сайтов не присутствуют многие известные CMS, такие как NetCat и Umi, потому что мы показываем только топ распространенных CMS, из обнаруженных в исследовании, и этот топ в целом совпадает со статистикой популярности CMS, публикуемой сервисом iTrack.

Владельцам интернет-бизнеса по-прежнему не хватает осведомленности

Даже сократив выборку до коммерческих сайтов, мы обнаружили в ней сайты, которые находились в черных списках поисковых систем длительное время. Так, среди сайтов интернет магазинов мы обнаружили более 300 инцидентов, которые не были устранены на протяжении всего периода наблюдения (3 месяца). Большая часть из них – мобильные редиректы, которые могут приводить к потерям от 25% до 40% трафика в зависимости от распространенности мобильного доступа к сайтам в конкретном регионе России. Схожая картина наблюдалась и в выборке сайтов зоны. ru, входящих в топ 1 млн сайтов, зарегистрированных на Alexa. Однако практически не было таких сайтов среди исследуемой группы Топ-10000 по счетчику Liveinternet, что мы склонны связывать с повышенным вниманием к посещаемости сайта со стороны владельцев сайтов, участвующих в рейтинге.

Основные факты исследования 2015

Рейтинг угроз и ситуация с повторными и многократными заражениями

По результатам проверки сайтов на наличие заражений мы составили рейтинг популярности заражений определенного типа. Довольно часто (более чем в 40% случаев) встречаются случаи многократного заражения – двойное и тройное. Под многократным заражением мы в данном случае понимаем различное по способу выполнения внедрение опасного объекта на сайта (например, статическая ссылка и мобильный редирект, динамическая ссылка и статическая ссылка – разные способы). При этом стоит отметить, что повторные случаи попадания сайта в черные списки редки, особенно у интернет магазинов. Вероятно, это объясняется повышенной важностью, которую придают владельцы и администраторы коммерческих сайтов защите после попадания сайта в черные списки.

Рейтинг распространенности типовых заражений сайтов

Статистика по срезу «Интернет-магазины»

Всего выявлено 2247 инцидента, затрагивающих 5% сайтов.

  •  247 интернет магазинов находились в блэклистах, 68 из них – на протяжении всего хода исследования
  •  Среднее время нахождения сайта в блэклисте – 1 неделя
  •  Повторные заражения редко, но случаются (3 случая из 247)
  •  243 сайта имели обычный редирект на зараженный сайт (более чем половину из этих сайтов Google или Яндекс не посчитали опасными, хотя на самом деле они опасные)
  •  372 сайта имели динамические ссылки на зараженные сайты (На момент проведенного нами сканирования Google не успел заметить 75% таких сайтов, Яндекс — только 60%)
  •  У более чем 50% нет SSL-сертификата
SSL-сертификаты есть только у 50% магазинов

Топ проблем, не устраненных на протяжении всего периода наблюдения

  1. Мобильный редирект на другой сайт 72% случаев — на зараженный)
  2. Динамические ссылки на зараженный сайт
  3. Статический редирект на зараженный сайт

Топ активных проблем за весь период наблюдения

  1. Динамическая ссылка на зараженный сайт
  2. Мобильный редирект на внешний сайт
  3. Обычный редирект на зараженный сайт

Статистика по срезу «Tоп-10000 Liveinternet»

Всего выявлено 1166 инцидентов, затрагивающих 10% сайтов

Топ активных проблем за весь период наблюдения

  1. Динамическая ссылка на зараженный сайт
  2. Мобильный редирект на внешний сайт
  3. Статическая ссылка на зараженный сайт

Статистика по срезу «Сайты в зоне. ru, входящие в Топ 1млн сайтов Alexa»

Всего выявлено 3292 инцидента, затрагивающих около 8% всех сайтов

Сайты в два раза чаще находились в блэклистах, чем интернет-магазины

Топ активных проблем за весь период наблюдения

  1. Мобильный редирект на внешний сайт
  2. Статическая ссылка на зараженный сайт
  3. Динамическая ссылка на зараженный сайт

Сводная статистика по всем срезам

Таким образом, в ходе исследования наличие проблем выявлено у 10% сайтов из списка LiveInternet, у 8% сайтов из списка Alexa и 5% интернет-магазинов. Доля сайтов, имеющих проблемы, в этом исследовании снизилась, по сравнению с прошлым исследованием, потому что мы исключили проблемы с внесением в черные списки рассылки спама и сосредоточились только на наиболее опасных проблемах, напрямую приводящих к потере трафика, заражению пользователей или утрате репутации интернет-бизнеса. Однако в дальнейшем мы планируем вновь включить в исследования проблемы, связанные со списками рассылки спама, так как они, в некоторых случаях, тоже могут приводить к простоям сайта из-за отключения хостинг провайдером, к потере лидов и снижению конверсии из-за недоставки писем с подтверждениями заказов в интернет-магазинах или сайтах, активно используемых для лидогенерации.

Выводы и рекомендации

Увеличение глубины и продолжительности наблюдения, а также сужение выборки до сайтов, которые можно считать коммерческими, позволили нам уточнить и немного скорректировать результаты предыдущего исследования. Однако в целом мы наблюдаем те же, в том числе и тревожные тенденции, касающиеся проблем безопасности сайтов как источника простоев и потерь для интернет-бизнеса.

Основываясь на результатах проведенного ранее исследования состояния безопасности веб-разработки в студиях, а также на данных только что проведенного исследования, мы усиливаем наши рекомендации все студиям веб-разработки, не зависимо от типа используемой CMS-системы, обратить повышенное внимание на соблюдение базовых мер безопасности, таких как регулярная смена паролей, отказ от небезопасных протоколов типа FTP в пользу SSH, защита доступа к панели администрирования при помощи SSL сертификата, и других, а также рекомендуем проводить подготовку выделенных специалистов в области реагирования на инциденты безопасности – выведения сайтов из черных списков, укрепления защиты путем настроек окружения CMS и сервера и других мер противодействия взломам и заражениям сайтов, приводящим интернет-бизнесы к убыткам.

Проблемы с безопасностью способны приостановить или существенно нарушить работу сайта, а традиционно заказчики сайтов по возникающим проблемам обращаются, как правило, к своим разработчикам. Такие инциденты способны создавать незапланированную внезапную нагрузку на персонал студии, поэтому мы рекомендуем заранее проводить с заказчиками разъяснительную работу о необходимости проактивно заботиться о безопасности сайта, в том числе путем выделения бюджетов на обновление CMS, укрепление защиты сайта и регулярный мониторинг состояния угроз. Мониторинг, позволяющий заблаговременно – до поисковых систем, узнать о проблемах с безопасностью, позволит предотвратить возникновение простоев сайта, связанных с попаданием в черные списки поисковых систем, а также возникновение авральных ситуаций, вызванных необходимостью срочно вывести сайт из блокировки поисковиком.

По данным исследования, в 40% инцидентов имели место многократные заражения сайтов. Поэтому даже если устранение проблемы прошло легко и быстро, мы рекомендуем прибегать к использованию специальных инструментов, таких как сканеры безопасности или проводить аудит безопасности сайта, чтобы убедиться в отсутствии «дыр» на сайте, через которые вирусы и хакеры могут проникнуть повторно.

В заключении, объединяя два факта, обнаруженных в ходе исследования – относительную медлительность поисковиков в обнаружении угроз и при этом крайне высокую (до 100%) вероятность попадания в черные списки сайтов, на которых были выявлены проблемы, мы рекомендуем в качестве одной из самых простых и малозатратных мер предосторожности, использовать инструменты регулярного наблюдения и мониторинга за сайтом, дополнительные к популярным инструментам для вебмастеров, предоставляемым поисковыми системами. Профилактика лучше лечения. Заказчикам коммерческих веб-сайтов, учитывая высокую стоимость возможных последствий заражения сайта и его блокировки поисковой системой, мы рекомендуем включать в требования к своим исполнителям сайта соблюдение базовых мер безопасности при разработке и поддержке сайта (уже упомянутые ранее организационные меры по выбору стойких паролей, их регулярной смене, проверке фрилансеров, а также технические меры по защите соединения, в том числе с использованием SSL сертификатов).

Производителям CMS, учитывая относительное равенство различных CMS перед интернет-угрозами, в этот раз мы рекомендуем проводить больше разъяснительной работы как среди заказчиков, так и среди разработчиков сайтов, в целях повышения осведомленности в вопросах защиты и необходимых простых и доступных мерах по ее реализации. В целом мы склонны считать, что в интересах развития индустрии безопасной веб-разработки всем участникам рынка (заказчикам, производителям CMS и разработчикам) стоит выработать единый подход к определению стороны, ответственной за безопасную эксплуатацию веб-сайта. Наблюдающиеся в настоящее трудности с определением ответственности затрудняют объединений усилий всех сторон для обеспечения бесперебойной и безопасной работы интернет-бизнесов.

Кратко о методологии исследования

Для проведения исследования была специально создана выборка около 320.000 сайтов:

  •  Более 80.000 сайтов для исследования в динамике в течение 1 квартала 2015 года
    •  36.750 интернет-магазинов
    •  37.233 русскоязычных сайтов из топ 1 миллиона сайтов Alexa
    •  Топ 10.000 рейтинга LiveInternet
  •  Около 240.000 сайтов коммерческих фирм, выбранных случайным образом из всего числа активных (делегированных) доменных имен в зоне. ru, зарегистрированных на юридические лица для единовоременного сканирования аналогично исследованию 2014 года

В ходе исследования наблюдались следующие параметры

  •  Тип CMS, на которой сделан сайт
  •  Наличие сайта в черных списках Google и Yandex
  •  Наличие на сайте редиректов (серверных и клиентских)
    •  Мобильный редирект на внешний или зараженный сайт
    •  Поисковый редирект
  •  Внешние ссылки на зараженные сайты
    •  Статические
    •  Динамические
  •  Состояние SSL сертификата
    •  Есть или нет
    •  Имеет ли ошибки в конфигурировании

Наблюдение за 80.000 сайтов первой части выборки велось постоянно в течение квартала. К этой выборке сайтов мы применяли различные подходы анализа исторических данных, для определения корреляций различных обнаруженных нами событий. Вторая часть выборки сканировалась однократно и к ней применялись только статистические методы анализа.

Описания проблем, которые мы анализировали в ходе исследования:

  • Редирект на зараженный сайт мы определяли как автоматическое перенаправление пользователя обычного браузера на сторонний сайт, который уже внесен в черные списки поисковых систем
  • Мобильный редирект мы определяли как автоматическое перенаправление пользователя мобильного устройства на сторонний сайт, который уже внесен в черные списки поисковых систем
  • Статическая ссылка на зараженный сайт – это ссылка, непосредственно прописанная в коде страницы, лежащем на веб-сервере.
  • Динамическая ссылка на зараженный сайт – это ссылка, возникающая в ходе отображения веб-страница в браузере пользователя как результат исполнения, например, Javascript кода.

Оригинал обзора — sitesecure.ru

сайтбезопасностьаналитика 

15.08.2015, 690 просмотров.