Dit algoritme maakt filmpjes van Google Street View-afbeeldingen

Dit lijkt op een een film, maar het zijn Google Street View-afbeeldingen die door een "deep learning" algoritme achter elkaar zijn gezet.

Het filmpje is gemaakt door onderzoekers van Google die het algoritme hebben gebouwd. Wanneer je twee afbeeldingen die dicht bij elkaar zijn geschoten aan het algoritme toevoegt, zorgt het er zelf voor dat de afbeeldingen vloeiend in elkaar overlopen. Zodoende zijn er geen knullige stop-motion effecten te zien.

De onderzoekers hebben hun algoritme, die zij DeepStereo noemen, gepubliceerd in een paper op Arxiv.

De moeilijkheid ligt hem in het renderen van compleet nieuwe afbeeldingen. Afbeeldingen die dus ook niet in Google Street View zijn vastgelegd. Dit kan nog eens moeilijker worden wanneer objecten in de afbeeldingen elkaar blokkeren, waardoor sommige delen van de afbeelding kunnen vervormen.

Maar zoals je in de video kunt zien zorgt dit algoritme voor filmpjes waarbij de afbeeldingen soepel in elkaar overlopen.

"Onze methode zorgt ervoor dat details vervagen, waardoor het er grafisch veel beter uitziet dan wanneer je bepaalde details herhaalt," schreven de onderzoekers. De nieuwe afbeeldingen hebben hierdoor niet zo'n hoge resolutie, maar de transities tussen de afbeeldingen verlopen wel veel beter.

MIT Technology Reviewlegt het principe kort uit: "De computer bepaalt de diepte en de kleur van iedere pixel in de nieuwe scène. Deze wordt berekend aan de hand van de diepte en de kleuren van de vorige afbeelding."

De onderzoekers testen hun algoritme door nieuwe afbeeldingen te maken van een omgeving die de computer nog niet eerder had gezien. Zij schreven: "Over het algemeen produceert ons model nieuwe afbeeldingen die moeilijk van het origineel zijn te onderscheiden.

Zij concluderen dat hun werk laat zien dat het mogelijk is om door middel van deap learning totaal iets nieuws te produceren. De onderzoekers zijn zich wel bewust van het feit dat de methode nog erg traag is en een aantal afbeeldingen nodig heeft om iets nieuws te produceren.

De onderzoekers zijn van plan om deze methode te gebruiken bij films, virtual reality en teleconferenties.