Een team vrijwilligers archiveert SoundCloud voordat het kopje onder gaat

De internetarcheologen van The Archive Team komen de wereld weer redden.

|
17 juli 2017, 10:33am

Wat gaat er gebeuren met SoundCloud? De negen jaar oude Duitse webdienst om muziek en audio op te streamen is over de hele wereld populair (Chance The Rapper is een uitgesproken fan) en werd eerder als rivaal van Spotify gezien, maar heeft het de laatste tijd zwaar te verduren.

Deze maand kwam het bericht dat het bedrijf 40 procent van zijn werknemers heeft moeten ontslaan en kantoren sluit in Londen en San Francisco. En volgens The Financial Times en TechCrunch zou ook het geld nog eens bijna op zijn (hoewel SoundCloud het laatste bericht heeft aangevochten in Variety). Als SoundCloud daadwerkelijk failliet gaat, wat gebeurt er dan met de ruim 135 miljoen audiobestanden die toegankelijk zijn voor de 175 miljoen maandelijkse gebruikers?

De mensen van The Archive Team, een groep van 150 vrijwillige programmeurs die "ons digitale nalatenschap" wil redden, gaan in ieder geval niet wachten tot het zover komt. Afgelopen donderdag zei coördinator Jason Scott op Twitter dat hij en zijn tientallen mede-archivarissen zeer binnenkort op grote schaal backups van SoundCloud gaan maken – met of zonder de zegen van het bedrijf. En inderdaad, kort daarna kwam er een pagina voor SoundCloud op de website van The Archive Team waarop stond dat ze binnenkort, vanaf 18 juli, zouden beginnen met hun pogingen om de bestanden van SoundCloud te kopiëren.

Scott waarschuwde op Twitter dat The Archive Team niet alles van SoundCloud zou kunnen redden, vanwege de gigantisch hoge kosten voor serverruimte om alle bestanden op te slaan.

Dus hoe kiezen ze welke bestanden ze opslaan? "Als we erachter komen dat we maar een deel kunnen opslaan, gaan we vaak voor de eerste jaren (om historische redenen, minder waarschijnlijk dat ze ergens anders bestaan) en de meest populaire bestanden (als deze verdwijnen zorgt dat voor de meeste kapotte links op andere sites)," zei Scott in een e-mail aan Motherboard.

Scott schat dat de hele bibliotheek van SoundCloud ongeveer 1 petabyte (een miljoen gigabyte) groot is. Maar een pagina op de Web Service solutions-site van Amazon belicht SoundCloud als case study en zegt dat SoundCloud 2,5 petabyte aan data opgeslagen had.

"Ik denk dat die pagina op de AWS-site van Amazon oude getallen gebruikt, en ze zullen niet geneigd zijn om naar beneden af te ronden," schreef Scott.

Motherboard mailde ook naar de persvoorlichting van Amazon en SoundCloud om de getallen te bevestigen, maar ontving niet op tijd een reactie voor de publicatie van dit artikel.

We hebben het hoe dan ook over een hoop geld. Scott zei dat als het echt om een petabyte gaat, het tussen de $1,5 miljoen en $2 miljoen zou gaan kosten om alle bestanden voorlopig op te slaan op een gehuurde server. Afgaande op Scotts schatting van $1500 per terabyte om dingen op die server op te slaan, zou 2,5 petabyte in totaal ongeveer $3,75 miljoen kosten.

In ieder geval komt The Archive Team er binnenkort achter hoe groot dit project daadwerkelijk is.

"We proberen meestal te achterhalen wat er precies op een site staat," schreef Scott. "In de meeste gevallen is het een relatief kleine site (minder dan een paar terabyte) en kunnen we alles in een keer opslaan. We krijgen niet vaak 'reuzen' als SoundCloud, hoewel we wel eerder een paar van dit soort gevallen hebben gehad. In het geval van een 'reus' doen we een assessment van wat er op de site staat, proberen we de grootte te bepalen en doen we een paar tests om te zien hoeveel data we van de stervende website kunnen redden. Op het moment zijn we dat met SoundCloud aan het doen."

Zelfs maar een deel van de gigantische geluidsbibliotheek archiveren wordt duur. Daarom roept Scott iedereen op die geïnteresseerd is in het archiveren van SoundCloud om te doneren aan Archive.org.

"We slaan de data op en proberen die op de een of andere manier afspeelbaar te maken, hoewel we geen 'nieuw SoundCloud' gaan hosten," schreef Scott. "Onze grootste zorg is dat artiesten en makers straks merken dat al hun werk verdwenen is, en ervoor zorgen dat ze niet vergeten worden."