Dit algoritme helpt je je meest memorabele selfie uitzoeken

"Fuck yes," denk je, terwijl je je nieuwe profielfoto op Tinder uploadt. "Laat die matches maar binnenstromen." Het is een foto van jou op de Dam. Je hebt een brede grijns en gooit je handen in de lucht, alsof je het geweldig vindt om tussen de schijtende duiven te staan.

Je ziet er goed uit en het is een prima locatie – kan niet missen.

Je krijgt een aantal matches, maar helaas maar weinig berichtjes. Helaas, vriend – je hebt verloren met Tinder roulette. Maar hé, misschien is het niet jouw schuld. Het kan zelfs aan die mooie foto liggen, want waarschijnlijk onthouden je potentiële matches je gezicht gewoon niet. Dat is misschien even slikken, maar gelukkig is de oplossing hier.

Een nieuw systeem kan je uit je misère halen door te helpen voorspellen welke van je foto's het best zal worden onthouden. Dit systeem heet MemNet en is ontwikkeld door onderzoekers in het laboratorium van computerwetenschappen en kunstmatige intelligentie (CSAIL), aan het MIT. MemNet analyseert je foto's en vertelt je hoe memorabel je deze is, gebaseerd op een vergelijking met een database van foto's die goed bleken te scoren in een onderzoek naar de gedenkwaardigheid. Het systeem legt ook een filter over je foto's, waarin de delen worden gehighlight die mensen het meest waarschijnlijk onthouden. Dit komt er op neer dat als je foto on fire is, je vooral roodgekleurde delen zal zien. Is je foto saaier dan een stilleven van een stofwolk, dan wordt het hele beeld blauwgekleurd.

"Wanneer we een foto hebben gezien en deze onthouden, betekent dat niet dat we ook alle kleine details onthouden," vertelt Aditya Khlosa, de PhD student computerwetenshappen die het onderzoek leidde. "Als ik je bijvoorbeeld een foto van mij laat zien en later de belichting ervan een beetje zal veranderen, zul je waarschijnlijk zeggen dat je de foto eerder hebt gezien. Dat komt omdat je focus op mijn gezicht lag en dat is wat je dan onthoudt. Dat is precies wat we met dit system proberen achter te halen: welke onderdelen van een foto zijn het belangrijkst?"

Als je al staat te springen om je Tinderfoto's te laten analyseren, dan kun je dat alvast doen op de demowebsite die de onderzoekers hebben gemaakt.

Volgens een paper die het systeem beschrijft presteert het net zo goed als de proefpersonen in onderzoeken. Dit paper zal deze week worden gepresenteerd bij de Internationale Conferentie over Computer Vision in Chili. Bovendien blijkt dat foto's waarin het focuspunt op het gezicht ligt veel memorabeler zijn dan foto's met een wijd landschap. "Ik was positief verrast over de resultaten," zegt Khlosa.

Khlosa en zijn collega's gebruiken een slimme truc, genaamd "fine tuning", dat gebruik maakt van de kracht van neurale netwerken – lagen van digitale "zenuwen" en "zenuwbanen", waardoor complexe berekeningen kunnen gemaakt over de data, zoals foto's. Zo komen zij steeds dichter bij een gewenste output, terwijl ze ondertussen "leren" over de stroom aan nieuwe data. Dit is een veelbelovende nieuwe technologie en Elon Musk en zijn rijke vrienden zijn hier al bovenop gesprongen, door onlangs een investering van 1 miljard dollar te doen in een nieuw non-profit onderzoeksbedrijf.

Bij de fine tuning wordt gebruik gemaakt van twee verschillende digitale neurale netwerken. De onderstel lagen van MemNet zijn uit een systeem genomen dat objecten en instellingen herkend, en zijn ingesteld aan de hand van een groot aantal foto's. De bovenste twee lagen zijn ingesteld aan de scores die proefpersonen gaven aan foto's in onderzoeken.

Wanneer je een foto aan MemNet presenteert, zullen de onderste lagen herkennen of het om een hond of een mens gaat, en of bijvoorbeeld deze op een fiets of op een stoel zit. Wanneer is vastgesteld wat er te zien is, geven de bovenste twee lagen de foto een algehele memorability ranking. Om het filter dat over de foto wordt gelegd te genereren, onderzoekt het netwerk de afzonderlijke delen van het beeld, in plaats van het geheel. Onderzoekers hebben al eerder algoritmes gebruikt om te onderzoeken hoe memorabel objecten, zoals gezichten, zijn, maar nog nooit eerder was een onderzoek zo succesvol. Khlosa denkt dat dit komt doordat het CSAIL team gebruik maakte van deep learning, in plaats van gelimiteerde algoritmes. Maar MemNet is niet perfect.

Wanneer een compleet grijs beeld in MemNet werd gestopt, gaf het netwerk het een medium score qua gedenkwaardigheid – dezelfde score die ik kreeg op mijn profielfoto's op Facebook. Het netwerk gaf dezelfde score aan een compleet wit beeld. Dit komt doordat het netwerk niet getraind was compleet blanco beelden te herkennen, zegt Khlosa. Ook zou het een "beperking van de database" zijn, zo legt hij uit.

Maar het ontwikkelen van MemNet is nog lang niet klaar. Khlosa en zijn collega's hebben hun database van foto's en hun scores, online gezet zodat deze te downloaden zijn. Andere onderzoekers kunnen de gegevens nu gebruiken voor hun eigen onderzoek naar kunstmatige intelligentie en gedenkwaardigheid, en op deze manier misschien zelfs MemNet voorbij streven. Het CSAIL tem zal ook gaan werken aan een manier om MemNet voor meer doelen in te zetten dan alleen het analyseren van je Tinderfoto's. Khlosa denkt bijvoorbeeld dat het netwerk mogelijk handig kan zijn op school.

"Toen we jong waren hebben we een heleboel diagrammen enzo moeten onthouden en dat is veel werk," zegt Khlosa. "Als we er voor kunnen zorgen dat wetenschappelijke diagrammen visueel makkelijker te onthouden zijn, maakt dit het werk van studenten en docenten een stuk makkelijker." Het zou zelfs gebruikt kunnen worden om teksten interessanter te maken, volgens Khlosa. Maar hoe dan?

"Ik weet het nog niet zo goed, om eerlijk te zijn," vertelt Khlosa. "Maar we zijn al tot zover gekomen en hopelijk komen we we nog veel in de komende jaren."