Последнее время значительно возросла активность web-ботов, индексирующих трафик. Помимо корректно работающих ботов распространение получили "неистовые" боты, игнорирующие правила индексирования robots.txt, лезущие с десятков тысяч разных IP, притворяющиеся легитимными пользователями и не придерживающиеся разумной политики интенсивности отправки запросов. Данные боты создают огромную паразитную нагрузку на серверы, нарушают нормальную работоспособность систем и отнимают время администраторов. Активность подобных ботов воспринимается многими как вредоносные действия.
В качестве меры для замедления работы подобных ботов, а также ботов, сканирующих неисправленные уязвимости в типовых web-приложениях, один из администраторов предложил метод "zip-бомбы". Суть метода в том, что web-боту в ответ на запрос страницы передаётся содержимое, эффективно сжатое методом "deflate", размер которого при распаковке многократно превышает размер переданных по сети данных. Например, при использовании метода "deflate" содержимое из /dev/zero, упакованное в 10 МБ, при распаковке потребует 1 ГБ дискового пространства. При использовании метода сжатия "brotli" удалось добиться уровня, при котором передача 81 МБ приводит к распаковке 100 ТБ данных.
Активировать подобную защиту можно через создание ловушек, которые доступны по невидимым ссылкам, отмечены флагом 'rel="nofollow"', исключены из индексации через robots.txt и срабатывают при достаточно высоком уровне рекурсии для ботов, пытающихся притворяться обычными пользователями. На практике предложенный метод применять не рекомендуется, так как сайт может быть занесён Google в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом "Safe Browsing".
Источник: https://www.opennet.ru/opennews/art.shtml?num=63163
