Update DDoS

We hebben op 2 februari om 22:00 uur een zware DDoS aanval gehad die redeijk veel overlast heeft veroorzaakt. Hierdoor heeft een deel van onze websites gedurende 45 minuten niet goed gefunctioneerd. Lees hier informatie over hoe wij dit probleem verholpen hebben.

Update op 07-02-2011 om 18:51 uur

Vandaag zijn wij van 14.45 tot 15.05 aangevallen met hetzelfde type DDoS als waar wij de laatste twee weken last van hebben. De filters hielden het meeste verkeer tegen maar er zijn voor ongeveer 20 minuten 256 websites geblokkeerd. Deze aanvallen zijn bijzonder hinderlijk omdat er hele ranges worden aangevallen en niet individuele IP-adressen die makkelijk geblokkeerd kunnen worden. Ook zorgde het type pakketje en de hoeveelheid verkeer ervoor dat de filters op onze routers niet optimaal werkten en sommige doelwit servers down gingen. Onze maatregelen van de afgelopen dagen wisten de meeste reboots deze keer te voorkomen.

Wij denken nu ook de definitieve oplossing voor het down gaan van servers onder dit type DDoS gevonden te hebben. We hebben vorige week het complete getroffen cluster binnen onze test ruimte nagebouwd en zijn hier de laatste 5 dagen mee bezig geweest. Het probleem bleek een overbelasting van de CPU te zijn die er uiteindelijk toe leidde dat de verbinding met de (SAS-controler van de) lokale harde schijf verbroken werd. Onze oplossing is een extra filter binnen de server zelf die schadelijke hoeveelheden pakketjes tegenhoudt voordat deze problemen kunnen veroorzaken. Deze oplossing hebben wij het afgelopen uur op alle servers geimplementeerd. We gaan nu ook andere exotische types DDoS testen en additionele filters implementeren indien nodig. Hiernaast zullen wij doorgaan met het verder verbeteren van de DDoS-filters op onze routers.

We hebben de afgelopen week continu aan dit probleem gewerkt en hebben een aantal significante verbeteringen aan ons systeem weten te maken. Een voorbeeld hiervan is een update van de kernel die het flexibel managen van dit soort situtaties makkelijker maakt.

Wij verwachten dat de meeste overlast tot het verleden zullen behoren. Wij zullen u verder updaten als er nog verdere ontwikkelingen zijn.

Update op 06-02-2011 om 23:41 uur

Wij zijn de afgelopen dagen bezig geweest uit te zoeken waarom bepaalde Dell servers bij een extreem zware ddos down gingen en om een oplossing hiervoor te vinden. Na uitgebreid testen is het gebleken dat het down gaan onder extreme load met het gedrag van de CPU te maken heeft. We hebben enkele manieren om de CPU hier beter mee om te laten gaan en gaan deze morgen testen.

Update op 04-02-2011 om 22:12 uur

Na het updaten van onze filters en het afscheiden van onze IP ranges zijn wij vandaag voornamelijk bezig geweest het down gaan van servers bij een extreem zware ddos te voorkomen. Wij hebben het probleem onder enkele scenarios weten te repliceren en gaan daar vanavond en morgen mee verder. In de loop van morgen verwachten wij u met een oplossing te presenteren samen met een plan voor implementatie.

Update op 03-02-2011 om 22:13 uur

Vandaag hebben wij het volgende gedaan:

* Wij hebben onze filters verbeterd en zijn nu met het US support team van Foundry (onze routerleverancier) om ze verder te optimaliseren.
* We hebben maatregelen genomen om doelwit IP ranges af te scheiden van de rest van het cluster.
* Ondanks uitvoerig testen hebben wij het down gaan van de servers nog niet weten te reproduceren onder het ddos scenario dat hier van toepassing is. Wij gaan vanavond door met testen.

We hebben de kans dat een aanval tot grote overlast leidt met onze acties vandaag behoorlijk weten te beperken. Vanavond en morgen gaan wij door met het zoeken naar een oplossing voor het down gaan van de servers als dit type ddos er toch door komt. Morgen zullen wij u opnieuw van onze vorderingen op de hoogte stellen.

Update op 03-02-2011 om 15:45 uur

Wij vermoeden dat dit door de SAS-controllers in de Dells of door Xen 4.0 of door een combinatie van beiden wordt veroorzaakt.

Wat wij aan het doen zijn om dit op te lossen:
* We zijn bezig met mensen van Foundry en een externe consultant om de DDoS filters te verbeteren.
* We zijn bezig met Dell en Xen experts om uit te vinden waarom de machines down gaan. We hebben een compleet cluster nagebouwd en zijn nu aan het testen daarmee.

Wij bieden onze excuses aan voor de overlast. Dit is niet de performance die u van ons kan verwachten en wij zullen niet rusten totdat we een oplossing gevonden en geimplementeerd hebben.

U krijgt vandaag nog een update van ons samen met de stappen die wij gaan nemen om dit op te lossen.