De ongrijpbare bewegingen van tijd worden onderzocht door algoritmes

In welke richting verloopt de tijd op dit moment? Weet je het zeker? Natuurlijk weet je het zeker, het leven is gewoon een constante opeenvolging van oorzaken en gevolgen. Dingen gebeuren na andere dingen, en als die eerste dingen niet gebeurd zouden zijn, zou dat het gevolg voorkomen hebben. Niemand denkt constant aan het concept tijd, want het is niet aantoonbaar hoe het echt zit, en hoe je denkt dat het zit, zit begraven in je diepste intuïtie: je bent geboren voordat je dood gaat, en het zal moeilijk andersom gaan.

Zoals het vaak gaat met je diepste intuïties, is het moeilijk om het je anders voor te stellen. Je kan je misschien wel een variëteit in informatiestelsels of andere dimensies voorstellen, die de richting van de tijd minder duidelijk maakt. In de kleinste vormen van natuurkunde is dit het geval, de deeltjes hebben werkelijk geen interesse in vooruit of achteruit gaan in de tijd. Ze gaan net zo goed allebei de kanten op. Tijd, en de richting van tijd, doen er pas toe als de schaal groter wordt en complexer. Maar als je inzoomt, tot dat je niet meer in kan zoomen, blijft er niet zoveel meer van het concept tijd over: oorzaak-gevolg, gevolg-oorzaak, gevolg-gevolg, oorzaak-oorzaak, ofzo.

Maar zelfs op de schaal van complexe organismes is het mogelijk om trucjes uit te halen met de tijdsbeleving. Bijvoorbeeld door informatie te beperken en door sommige oorzaken en gevolgen verbergen. Als je een slim gekozen (of misschien niet zo slim gekozen) stukje van een filmpje laat zien, gewoon een stukje beeld en een beetje beweging, worden dingen al anders. Als je een computerprogramma zou zijn, die niet dezelfde basiskennis heeft over hoe menselijke bewegingen eruit zien, zou het al een uitdaging zijn. En voor een robotmaker die dit onderscheid aan een computerprogramma aan moet leren, is het al helemaal moeilijk.

Een onderzoeksteam aan de MIT presenteerde afgelopen vrijdag een nieuw onderzoek op de IEEE Conference on Computer Vision and Pattern Recognition, waarin drie nieuwe algoritmes worden beschreven, die allemaal het tijdswaarneming-probleem op een andere manier tackelen, met 90 procent kans op succes. Zoals met de meeste algoritmes die grip proberen te krijgen op gedrag en beweging in onze chaotische wereld van macroscopische oorzaken en gevolgen, is het moeilijk om de wereld op te delen in kleinere delen van betekenis. Wij mensen hoeven dit niet te doen omdat we grote hersenen hebben met daarin genoeg van de benodigde kennis, maar computers kunnen niet anders dan de wereld ontleden door het op te delen in onderliggende logica.

“Om in een filmpje te kunnen zien dat een klok achteruit loopt, moet je op gedetailleerd niveau weten hoe een klok normaal gesproken beweegt,” zegt co-auteur William Freeman in een persbericht van MIT. “Maar wij willen weten of we de bewegingsrichting kunnen voorspellen aan de hand van kleine aanwijzingen, door gewoon te kijken hoe de wereld zich beweegt. Eigenlijk alsof je de structuur van de wereld steeds beter probeert te begrijpen”.

Om de beleving van vormen te onderzoeken, kan je een foto omkeren zodat alles dat wit is, zwart wordt, en andersom. Vervolgens kijk je wat je nog steeds herkent, en wat niet,” vertelt Freeman. “Hier doen we eigenlijk hetzelfde, door de tijd achteruit te laten lopen, en te onderzoeken wat er nodig is om dit verschil te detecteren. We proberen de aard van het tijdsafhankelijke signaal te bestuderen.”

De meest succesvolle van de drie algoritmes probeert eigenlijk een soort woordenboek van bewegingen te maken, bestaande uit ongeveer 4000 ‘woorden’. Elk woord is opgeslagen in een raster van vier bij vier, waarin elke cel de eigenschappen van de beweging beschrijft, de richting en de hoek. Het woordenboek is samengesteld door individuele beelden van het filmpje onder te verdelen in honderdduizenden kleine vierkantjes die vervolgens verder onderverdeeld worden in de curciale vier hokjes. Elk van de kleinste hokjes in relatie tot zijn drie buren in een ‘woord’ geeft informatie over de richting en de afstand waarmee de pixels bewegen. Door deze gigantische set aan gegevens was het mogelijk om de informatie te generaliseren in een ‘woordenboek’.

Uiteindelijk werd elk ‘woord’ van de 4000 ingedeeld op basis van waarschijnlijkheid op het vooruit of achteruit bewegen. Het is best wel heftig om de beelden zo ver te ontleden om tijd te kunnen detecteren, maar het werkt. Een mooie eigenschap van het algoritme is dat het de verschillende cellen die in de beoordeling gebruikt werden uitlicht. De onderzoekers geven aan dat dit misschien aanwijzingen kunnen zijn voor de cruciale gegevens waar de beoordeling in het menselijk brein op gebasseerd is.

Het tweede algoritme is simpeler; het is gebaseerd op het feit dat vooruitgaande bewegingen geneigd zijn om naar buiten te bewegen, in plaats van naar binnen. Het algoritme krijgt punten voor eenvoud, maar heeft maar een betrouwbaarheid van 70 procent.

Het laatste algoritme probeert causale verbanden te definiëren door middel van statistieken. Oorzakelijkheid, als een concept in experimentele wetenschap, is tricky. “Er is een heel wetenschapsveld dat causale verbanden onderzoekt,” zegt Freeman. “En dat is heel belangrijk, bijvoorbeeld voor de medische wereld. Daar kan je een experiment niet even twee keer uitvoeren, maar je ziet dat dingen tegelijkertijd voorkomen en je wil weten of het ene het andere veroorzaakt. Er is een heel onderzoeksgebied binnen de statistieken dat onderzoekt hoe je kan bepalen of het een het ander veroorzaakt. En dat relateert op een indirecte manier ook aan dit algoritme.”

Het oorzakelijke algoritme probeert de ruis in visuele elementen te detecteren, de haperingen in de data of de visuele signalen. Een voorbeeld hiervan is een bal die van een heuvel afrolt, tegen een steen aanbotst en door de lucht verder vliegt. Als je de video achteruit af zou spelen, zou je de bal zonder reden door de lucht zien vliegen. De bal ‘landt’ pas als hij tegen de steen aanbotst. Maar als je het fragment vooruit afspeelt zie je de logica in de opeenvolging van gebeurtenissen. Dit algoritme komt aan de basis van het algemene tijdsprobleem, maar je begrijpt dat het systeem zijn beperkingen heeft. Het werkt bijvoorbeeld alleen met lineaire bewegingen, terwijl die zeldzaam zijn in het geval van menselijke aansturing.

De onderzoekers suggereren dat dit soort algoritmes kunnen helpen om games en geanimeerde films realistischer te maken. Maar het is misschien beter om het als iets conceptueels te zien, omdat de richtingsgevoeligheid van tijd in de echte wereld vooral een conceptueel probleem is.