«борьба с коррупцией — это лишь повод украсть денег» - шикарнистее ))

Все-таки с антибиотиком сравнение хромает, по-моему. Это скорее вопрос принципиального подхода к покупке страхового полиса. За несколько сотен долларов в месяц любой нормальный датацентр тебе предоставит ddos-резервирование нужного объема. Да, в год набегает пара тысяч, а для фиговины размера ЖЖ - наверно, единицы десятков. И тут площадка сама решает, позволить себе полежать пару дней забесплатно - или потратиться на случай аварии.

У фейсбука несколько десятков тысяч серверов. Интересно, как им подстраховаться на случай DDoS атаки и какой датацентр способен это сделать? И если можно при желании положить даже их - то что нужно делать другим, чтобы от этого защититься?

никогда не слышал про лежащий хоть солько-нибудь заметное время Фейсбук. Или Гугл. Или Амазон, ибэй и пр., которые при проектировании закладывают нормальный SLA. У большнства из них, кстати,собственные датацентры. В том числе и для таких ситуаций.

http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=DDoS+facebook

Вы сами-то прочитали? То, что FB был объектои атак - очевидно.  Где там написано, что падал хоть раз?

http://techcrunch.com/2009/08/06/ddos-attacks-crush-twitter-hobble-facebook/

Я задал непонятный вопрос? Там написано, что падал ФБ? И где, кроме одного случая 2 года назад, есть еще упоминания о каких бы то ни было сложностях с ddos?

<<Rival Facebook faced a similar attack (likely related), but for the most part managed to remain online. Some users couldn’t access the site or post content, but the site remained online for most users.>>

Т.е. частичный отказ сервиса все же был. Понятно, что фейсбук положить сложно, с таким количеством ресурсов. Да и потом, гугл, фейсбук - они итак обслуживают в день столько запросов, что в принципе расчитаны на обслуживание всего мира. 

Я лишь говорил о том, что если даже фейсбук положили частично, что говорить о других и какой датацентр сможет обеспечить защиту?

ЖЖ тоже должен быть рассчитан на соотв нагрузку.  Датацентр с SLA 99,995% - обычное дело. Любая трейдинговая площадка, телеком и т.п. закладываются на это.

Начиная с уровня Tier-3 датацентры имеют должный уровень redundancy, за что и берут деньги.

По моему ЖЖ по сравнению с фейсбуком, это теплоходик и океанский лайнер (у первого 2 млн. уников в день, у второго 300 млн). 

Да и я, если честно, не вижу в этом смысла. О чем здесь уже высказались другие участники дискуссии (и про антибиотики, и про бронежилет). ЖЖ - это не биржевая площадка. Твиттер периодически лежит, и ничего. А уж популярность и значимость у него куда больше, чем ЖЖ.

К слову сказать, недавно положили и амазон, и пэйпэл, и визу с мастеркардом: http://www.computerworld.com/s/article/9200639/Anonymous_attack_on_Amazon.com_appears_to_fail

Я полагал что должна быть возможность отличить много запросов одновременно от сознательной DDoS атаки

Между ними должна быть разница

Тут такая сиутация: предотвращать такую атаку это как ходить по улице в бронежилете, боясь быть застреленным. Защита в принципе есть, но она обычно не нужна и не эффективна на 100%.

речь не идет (никогда не идет) о стопроцентной защите

речь идет о том, что Вы с большой вероятность, идя навстречу большой толпе на улице, можете понять: это очень людный день или это - демонстрация :)

Можно отличить, если с одного адреса идет череда запросов (например, обычный пользователь не будет жать page-refresh 30 раз в секунду). Но атаку можно производить с большего количества рабочих станций, и тогда отличить будет сложнее. И любой алгоритм защиты будет порождать новые алгоритмы атаки.

Если человек с большой  вероятностью может предположить, что это атака, а не "много запросов", то и машину можно научить. 

В том, чтобы понять, что производится атака - не проблема. Проблема в том, чтобы понять, какие запросы атакующие, какие нет. И это далеко не так просто, как вы полагаете. Иначе бы такой проблемы просто не существовало. 

Я не в одном месте не писал, что "это просто"

<<Если человек с большой  вероятностью может предположить, что это атака, а не "много запросов", то и машину можно научить. >>

если человек легко отличает кошку от собаки, это не значит, что и машину можно этому научить.

Евгений, человек с большой вероятностью понимает слитный рукописный текст и различает слитную речь. Этому можно научить машину, но это очень трудная задача. Как и задача отличить кошку от собаки, а фразу 

<<Если человек с большой  вероятностью может предположить, что это атака, а не "много запросов", то и машину можно научить. >>

от фразы

"это очень простая задача" :)

Еще раз, если бы задача была простой, то никто бы ее и не обсуждал. Очевидно даже мне, что это сложная задача :)

Я не знаю, можно ли научить машину отличать кошку от собаки, но пока не научили распознавать даже элементарные capcha - это когда просят ввести буквы и/или цифры показанные на картинке. Распознавание речи тоже хромает - посмотрите любой ролик с автосубтитрами на ютюбе.

Поэтому утверждение "и машину можно научить" - довольно спорно. Особенно чтобы отличить среди запросов атакующие от обычных. Гугл не научился надежно распознавать роботизированные клики от настоящих (по рекламным баннерам), ютюб довольно легко обмануть с накруткой просмотров.

P.S. и я не говорил, что вы написали "это очень простая задача". Я сказал что вы полагаете, что это проще, чем это является на самом деле.

И на мой взгляд, следует из ваших постов "... то и машину можно научить" и "неужели до сих пор нет приемлемого решения".

Машину можно научить - не значит, что можно научить легко и что можно научить в ближайшее время. 

Еще раз, я лишь утверждал, что задача должна быть в принципе решаема и интересовался у "знатоков", если ли прогресс в этой области и пытаются ли ее решить на современном уровне знаний. 

То, что многие задачи сегодня не плечу ни одному компьютеру (искусственно созданному) мне известно. 

должна быть возможность отличить много запросов одновременно от сознательной DDoS атаки

Просто DoS, идущую с одного адреса различить и блокировать (скажем через добавление IP адреса в black list) не так сложно.. С DDoS хуже из-за Distributed- характера атаки (как написал Антон - трояны исполняющие команды сидят на компьютерах ничего не подозревающих заражённых пользователей).. Ведущие компании в сегменте сетевой безопасности как например Barracuda Networks и ряд местных стартапов, тем не менее, постоянно оптимизируют алгоритмы защиты и rule-based функционирование своих firewalls..

Мой друг по компании 3Com только что стартовал компанию решающую именно эту задачу.. венчурные капиталисты финансируют подобные проекты с большой охотой, ввиду очевидности проблемы и высокой вероятности востребованности новых решений.. Другими словами, они пытаются устранить саму дилемму - вложить гигантские средства в защиту своих серверов up front или только по факту атаки..  

Вообще это большая тема, в индустрии много чего происходит и есть принципальные методы исключения подозрительного трафика не только на уровня владельца дата-центра, но и на уровне Broadband-провайдеров..

Российская же проблема, где DDoS атаки прямо коррелируют с оппозиционностью объектов нападения, вообще должна решаться другими методами, - достаточно одного реального парламентского расследования чтобы прекратить это грязное использование денег налогоплательщиков околокремлёвскими гопниками.. 

Действительно, хорошее наблюдение. The Economist в инфографиках про революции на Ближнем Востоке (http://www.economist.com/blogs/dailychart/2011/03/unrest_middle_east) выделяют "процент населения моложе 25 лет" в отдельную категорию. 

Монетизация ботнетов

Существует несколько моделей монетизации ботнетов, от продажи спам-рассылки и заказных DDoS атак до использования бот-сети для кражи банковского доступа у заражённых пользователей..

Классическую историю ликвидации подобной сети - BredoLab Net (созданной неким злодеем из Армении) силами голландской службы борьбы с киберпреступностью можно прочитать на ComputerWorldUK.. Голландцы сразились с Бредонетом их собственным оружием - перехватив контроль за сервером контроля и запустив в эту же сеть "хороший" бот, который проинформировал жертв о заражении и сообщил им как начать уголовное преследование киберпреступников.. 

Ура! Наконец-то можно и побездельничать...