Un suono assordante ha mandato in tilt l'intero data center di una banca

Questo fine settimana, il data center della ING Bank di Bucarest, in Romania, è rimasto gravemente danneggiato durante un test antincendio. Il rumore, causato dal rilascio di un gas inerte, ha distrutto decine di hard disk. Al momento il sito della banca è offline, il data center di backup, a qualche chilometro di distanza, invece, è attivo.

"Il test si è svolto al meglio, ma si sono verificati dei danni imprevisiti," mi ha raccontato il portavoce di ING in Romania. Sabato tra le 13:00 e le 23:00, i clienti locali non hanno potuto utilizzare le carte di debito e eseguire le operazioni di online banking. "Il nostro team sta indagando sulle cause dell'incidente," ha dichiarato il portavoce.

Lo scopo del test era verificare il funzionamento del sistema antincendio del data center. Di solito, i data center sfruttano i gas inerti per proteggere le apparecchiature in caso di incendio. Queste sostanze, infatti, raffreddano le componenti elettroniche senza danneggiarle dal punto di vista chimico.

Il gas viene conservato all'interno di cilindri e viene diffuso attraverso dei bocchettoni uniformemente distribuiti. Una fonte che conosce bene il funzionamento del sistema ci ha spiegato che, nel data center della ING Bank, la pressione era superiore al previsto e la fuoriuscita del gas dai fori minuscoli ha prodotto un suono a elevato volume (immaginate il rumore di un motore a vapore.)

Il volume del suono rilevato dalla banca era molto potente, ci ha svelato una fonte vicina al data center. "Superiore a quanto potessero rilevare le loro attrezzature, oltre 130 dB."

Il suono ha prodotto delle vibrazioni così potenti da danneggiare i dischi rigidi. I case degli HDD hanno iniziato a vibrare, e la vibrazione è stata trasmessa alle testine di lettura/scrittura, impedendole di leggere le tracce dei dati.

"La procedura che prevedeva l'intervento del gas inerte ha inaspettatamente danneggiato i nostri server e le nostre apparecchiature," si legge in un comunicato della ING.

Si sa ancora poco di come il suono possa causare guasti ai dischi rigidi. Uno dei primi esperimenti in tal senso è stato condotto nel 2008 dal tecnico Brendan Gregg, che lavorava per il team Fishworks della Sun. Gregg ha pure diffuso un video in cui mostra come provocare un malfunzionamento ai dischi rigidi di un data center gridandoci dentro.

Nel caso della ING Bank era "come se un sistema di storage fosse stato piazzato vicino a un motore a reazione [acceso]," mi ha spiegato una fonte.

I ricercatori stanno studiando anche i danni causati ai data center dai gas inerti. "Un HDD può tollerare meno del milionesimo di un pollice di offset dal centro delle tracce—qualsiasi spostamento superiore interrompe la lettura e scrittura", hanno scritto in un paper Brian P. Rawson e Kent C. Green. "I primi dispositivi avevano una maggiore spaziatura tra le tracce di dati, perché ne contenevano una quantità minore. Probabilmente è per questo motivo per cui il problema non è risultato evidente fino a poco tempo fa."

Un anno fa, Siemens ha addirittura pubblicato un documento ufficiale, in cui si spiega che grazie ai loro test hanno stabilito che "il rumore eccessivo può avere un impatto negativo sulle prestazioni dell'HDD". I ricercatori hanno spiegato che questo impatto negativo può manifestarsi anche a livelli inferiori ai 110 dB.

"Possiamo sostenere con un elevato grado di certezza che i guasti nei sistemi di storage a seguito dell'emissione di un gas inerte sono stati causati dall'impatto esercitato dal livello elevato di rumore sulle unità a disco rigido," scrive Siemens.

La banca ha dichiarato che sono state necessarie 10 ore di lavoro, attraverso un cold start degli impianti, per riavviare la struttura a causa dell'estensione e della gravità del danno. "Inoltre, per garantire la piena integrità dei dati, abbiamo prodotto una copia aggiuntiva del nostro database prima di ripristinare il sistema," si legge sul comunicato stampa di ING.

Nel corso delle prossime settimane dovranno riesaminare ogni singolo componente. Al momento, infatti, il data center della ING Bank è "in gran parte" compromesso, ci ha raccontato una fonte.