De geluidssculpturen van REIFY maken muziek die je kunt horen, zien en voelen

Bij REIFY krijgt muziek weer een fysieke vorm. Voorheen hadden we vinyl en muziekbandjes, nu wordt er gewerkt aan een 3D-geprinte vorm van muziek. REIFY zet muzikale data om in klanksculpturen. De zogeheten totems van REIFY spelen in op muzikale ervaring en overtreffen welk afspeelmedium dan ook, door hun interactieve visuals en driedimensionale oppervlakken.

Eerder dit jaar spraken we met REIFY over hun werk voor het NEW INC-incubatorproject. Sindsdien is de CEO en zelfbenoemde muziekfreak Allison Wood hard aan het werk om de visie van haar bedrijf af te stemmen op de recente technologische ontwikkelingen, zoals streamingsdiensten. “We proberen via crowdsourcing een nieuwe visuele taal voor geluid te ontwikkelen, die gebaseerd is op de emotionele ervaring van geluid in plaats van zijn wetenschappelijke kenmerken,” vertelt Wood me op ​de bank van haar studio. "Ik vind dat we de multi-zintuiglijke ervaring van geluid onderweg verloren zijn. Bij REIFY proberen we een brug te slaan tussen de analoge wereld van vroeger en de digitale wereld van nu door het fysieke van muziek te herstellen.

Zoals te zien is op hun Kickstarter pagina, die vanaf vandaag online staat, zal de rockband HEALTH als eerste hun muziek op een REIFY-totem uitbrengen. Deze maand komt de band met hun nieuwe single Dark Enough van het album Death Magic (Loma Vista). De single zal volledig te beluisteren zijn in een augmented reality (AR)-ervaring.

De Dark Enough-totem is ook meteen een goed voorbeeld van wat er allemaal bij het ontwerp van een totem komt kijken. Zoals: de rauwe audiodata van HEALTHs track, de inbreng van de band zelf, de concrete creatieve input van Allison Wood en REIFYs uitzonderlijke 3D-printmethode. Na het printen van het eerste prototype, ging het totemontwerp opnieuw naar de tekentafel. Zowel HEALTH als REFIY sparden samen over hoe de geluidboodschap nog beter over zou kunnen komen. Het ontwerpen van totems is altijd een continue proces, die te vergelijken is met het ontwikkelen van een lexicon voor een nieuwe technologische toepassing. "We kijken niet alleen naar de golflengte van geluid, of de amplitude,” belicht Wood. “We stellen ook vragen als: wat is de contour of dichtheid van het geluid? Is de sculptuur asymmetrisch of symmetrisch? Hoe vaak moeten bepaalde elementen zich herhalen?”

Wood wijst naar de Dark Enough totem voor ons. "Voor deze totem was het van essentieel belang dat we het bombastische geluid van Dark Enough intact hielden. We moesten de melodieën en ritmes in kaart brengen en opslaan in onze software,” legt ze uit. “Het geluid moest gekoppeld worden aan de structuur van de totem. Je kunt zien dat de richels van de totem bovenin uitgesprokener en meer gekarteld zijn dan onderin.” De kobaltblauwe totem steekt prachtig af tegen de bleekhouten tafel. De opwaartse spiraal lijkt op een plastic bonsaiboom. "De vorm van de totem is voor ons belangrijk omdat het de manier is om de audio te visualiseren en vast te leggen wat er daadwerkelijk gebeurt in het nummer."

Wood pakt haar iPhone van tafel en opent de Stylus-app. Met één druk op de knop komt de totem tot leven op het beeldscherm. "Alle zintuigen worden via onze technologie geprikkeld. Bij REIFY stellen we onszelf altijd de vraag of we authentieke digitale synesthetische ervaringen kunnen creëren. Dat is een hele mond vol, maar het is de enige manier hoe ik het in één zin kan verwoorden.”

De AR-elementen in de app, zo ook voor het lied Dark Enough, worden met gaming-software ontwikkeld en daarna in lijn gebracht met de fysieke wereld. "Ik wil mensen weer met hun realiteit verbinden, door die te verbeteren. Het is alsof je door een gespiegeld glas naar de werkelijkheid kijkt,” legt Wood uit. “We maken de visuals zodanig interactief dat we luisteraars altijd weten te verrassen. Mijn interpretatie van een nummer is altijd anders dan die van jou, maar de totem stelt ons in staat om de dingen die ons opvallen te bespreken. Daardoor worden de visuals telkens op een andere manier benaderd.”

Wood en HEALTH bouwen samen de visuals voor Dark Enough

Wood richt haar telefoonscherm op het beeldje en na enkele seconden komt deze plotseling tot leven op het scherm. Terwijl de donkere synthesizer-riffs van Dark Enough de studio vullen, verschijnt er een post-apocalyptische wereld die om de spitse toren heen danst.  Met aanstekelijk enthousiasme vertelt Wood verder over alle interactieve functies van de app. “Uiteraard hebben we een pauzeknop ingebouwd. Niet alleen om de muziek te stoppen, maar ook om de animatie wat verder te kunnen verkennen. Als je goed kijkt zie drones waarmee je door de stad kunt vliegen. Het hele lied heeft een open verhaallijn, waardoor je genoeg tijd hebt om de gehele animatie uitvoerig te bekijken.”

Nu de Kickstarter-lancering van Dark Enough afgerond is, neemt REIFY een hele reeks artiesten op sleeptouw, zoals Yacht, Mae en de violist Tim Fain. “We werken aan een Cloud-dienst die groot genoeg is om alle nieuw data aan te kunnen,” zegt Wood. “Door alle nieuwe muziekervaringen weer te terug te laden in de database creëren we een referentiekader voor de computer waaruit weer andere totems voortvloeien. Het lijkt mij ontzettend interessant om te kijken of we correlaties kunnen vinden in de menselijke ervaring van geluid. Met andere woorden: kunnen we een overeenstemmende geluidssmaak herkennen? Is er bijvoorbeeld een fundamenteel element van een bepaald genre? In de toekomst zouden we misschien binnen een oogopslag kunnen zien of iets hip-hop is of niet. Of vaststellen dat iets toch tot rock behoort, omdat de animatie asymmetrische attributen bevat. Ik vind het echt geweldig dat de technologie ons in staat stelt om daarmee te experimenteren,” concludeert Wood. “Het klinkt nu misschien als sciencefiction, maar met een beetje geduld en ontzettend veel data is het allemaal mogelijk.”

De muzikanten van Yacht luisteren naar de Dark Enough totem via de Stylus-app.

Check REIFY’s kickstarter pagina of bezoek hun website voor meer informatie.