Een datacentrum van ING heeft 10 uur stilgelegen door een hard geluid

Het centrale datacentrum van ING, dat in de Roemeense hoofdstad Boekarest staat, is afgelopen weekend beschadigd tijdens een brandoefening in het gebouw. Het harde geluid dat de uitstoot van inert gas maakte, zorgde ervoor dat een aantal harde schijven sneuvelden. Het gevolg hiervan is dat de site van de bank 10 uur lang offline was en lokale klanten al die tijd geen gebruik konden maken van hun betaalpassen. Verder moest de bank volledig vertrouwen op het backup-datacentrum dat een paar kilometer verderop ligt.

Het doel van de oefening was om te kijken of het systeem voor het blussen van branden werkte. Datacentra maken vaak gebruik van inert gas voor het beschermen van spullen bij brand, omdat de substantie geen chemische schade aan de electronica toebrengt, en het gas brengt de temperatuur maar een beetje omlaag in het datacentrum.

Het gas wordt bewaard in cilinders en komt in geval van nood met hoge snelheid vrij uit sproeiers die over het datacentrum zijn verdeeld. Volgens mensen die het systeem goed kennen was de druk op deze cilinders bij het datacentrum van ING groter dan verwacht. Het gevolg was een ontzettend hard geluid toen het gas met grote vaart door een klein gaatje moest (zoals je bijvoorbeeld ook hoort bij een stoommachine).

De bank heeft het geluid gecontroleerd en een bron vertelde ons dat het verschrikkelijk hard was: "Het geluid was nog harder dan onze apparatuur kon registeren, oftewel meer dan 130dB."

De harde schrijven gingen kapot door de trillingen die het geluid veroorzaakte. De HDD kastjes begonnen te trillen, waardoor die trilling werd doorgegeven aan de lees- en schrijfkoppen, die daardoor van de datasporen afraakten.

"Het uitstoten van inert gas heeft er verrassend genoeg voor gezorgd dat een aantal servers en opslagruimte zijn aangetast," meldde ING in een persverklaring.

Er is nog steeds weinig bekend over de manier waarop geluid ervoor kan zorgen dat de harde schijf faalt. Ingenieur Brendan Gregg deed hier in 2008 een experiment mee. In een video legt hij uit hoe het kan dat schreeuwen in een datacentrum kan zorgen voor een storing met de harde schijven.

Bij ING was het "alsof je een opslagsysteem naast een lopende motor van een vliegtuig houdt," vertelde een bron.

Bij IBM wordt ook onderzoek gedaan naar het geluidsprobleem in datacentra. "De HDD kan maar 1/400,000 van een centimeter afwijken van de datasporen – meer afstand zorgt ervoor dat het lezen en schrijven stopt," schreven experts Brian P. Rawson en Kent C. Green in een paper. "Bij oude opslagschijven was er veel meer afstand tussen de datasporen omdat er minder data op stond. Daarom was dit voorheen niet echt een probleem."

Siemens publiceerde een jaar geleden ook een witboek waar uit de tests bleek dat "buitensporig geluid een negatieve impact kan hebben op de HDD." Volgens onderzoekers kan er zelfs al sprake zijn van deze negatieve impact onder de 110dB.

"Het is vrijwel zeker dat fouten in de opslagsystemen door het sproeien met inert gas te wijten zijn aan de harde geluiden die hierbij vrijkomen," aldus Siemens.

Door de grootte en complexiteit van de schade, duurde het 10 uur om het systeem opnieuw op te starten, volgens een woordvoerder van de bank. "Om de integriteit van de data te behouden, hebben we een kopie van de database gemaakt voordat we het systeem herstelden," staat in de persverklaring van ING.

De komende weken moet de status van alle apparatuur opnieuw worden beoordeeld. Het datacentrum van de ING is "voor het grootste deel" namelijk aangetast, vertelde een bron aan ons.