Het 4D Research Lab van de Universiteit van Amsterdam is gespecialiseerd in het bouwen van 3D-modellen van historische panden en archeologische sites, waarin tijd als vierde dimensie is toegevoegd. Door zo veel mogelijk informatie over de locaties te verzamelen – foto’s, video’s, documenten, dronebeelden, laserscans – ontstaat een zo zorgvuldig mogelijk onderbouwde reconstructie van verschillende periodes in de geschiedenis.

Verborgen verhalen

Het project Kattenburg Virtual Memories, onder leiding van bijzonder hoogleraar Militaire geschiedenis Floribert Baudet, gaat een stapje verder door ook de herinneringen en ervaringen van mensen in de reconstructie te verwerken. Op deze manier ontstaat een geheel nieuwe manier van verhalen vertellen over het verleden. Baudet: ‘Het Marineterrein kent een enorm rijke militaire en economische geschiedenis. Wij maken niet alleen reconstructies van de fysieke werkelijkheid in verschillende periodes van de geschiedenis, maar verwerken daarin ook de talloze verhalen van mensen die er gewerkt of gewoond hebben.’

In samenwerking met het UvA Visualisation Lab en diverse externe partners uit de creatieve industrie, waaronder Studio Bertels, Autres Directions en Total Design, ontwikkelen de onderzoekers een methodiek die in de toekomst opschaalbaar is naar andere (stedelijke) contexten. Essentieel hierin is het aspect van citizen science: bewoners die als mede-onderzoeker kennis en ervaringen inbrengen, en op die manier een actieve rol spelen bij het vormgeven van zowel het verleden als de toekomst van hun wijk.

Synthetic Memories: van verhalen naar beelden

Als eerste stap werden interviews afgenomen met bewoners van Kattenburg en oud-militairen van het Marineterrein. Hun verhalen werden omgezet in prompts voor generatieve AI, dat er visuele representaties van maakte. Dit leverde beelden op van dingen die nooit gefotografeerd zijn, maar wel bestaan in het geheugen van de betrokkenen.

Samen met de geïnterviewden werden de AI-beelden iteratief bijgesteld tot ze overeenkwamen met hun herinneringen. Zo ontstonden synthetic memories: visuele vertalingen van het collectieve geheugen.

Visualisatie: van archief tot 3D-stad

Parallel hieraan werden alle beschikbare archiefbeelden en databronnen over Kattenburg systematisch verzameld. Op grond daarvan kon het gebied in 3D worden opgebouwd: als reconstructie, niet als interpretatie. De visualisaties zijn vervolgens gedeeld met het UvA Visualisation Lab en Studio Bertels ten behoeve van de VR- en AR-applicaties. Dankzij een financiering van CLICKNL, het topconsortium voor Kennis en Innovatie van de Creatieve Industrie, kan de visualisatiesoftware nu ook met spraak worden aangestuurd.

Ook studenten van de onderzoeksmaster Geschiedenis en de master Militaire geschiedenis werken mee aan het project. Onder leiding van Floribert Baudet en Djoeke van Netten doen zij onderzoek naar een aantal 'ankerpunten' in de geschiedenis van Kattenburg. Doel is het maken van een digitale Kattenburg Atlas, waarin de bewogen geschiedenis van het stadseiland wordt verteld aan de hand van een serie gedigitaliseerde kaarten, van de 17e eeuw tot nu. De kaarten laten zien hoe het gebied eruitzag ten tijde van de ankerpunten en worden verrijkt met historische verhalen en beeldmateriaal. Voor deze vorm van storytelling wordt gebruikgemaakt van het Allmaps-platform van Jules Schoonman van TU Delft Library.

Publieksapplicatie: de werkelijke én beleefde geschiedenis

In een volgende stap worden gebruikers in augmented reality meegenomen langs een aantal ‘touch points’ aan beide zijden van de muur die het militaire van het civiele deel van Kattenburg scheidt. Gebruikers zien de contouren van de oude situatie  over de huidige stad heen gelegd. Deze visuele laag wordt aangevuld met interpretaties van bewoners en militairen, via audiofragmenten uit de interviews.

Uiteindelijk moet het project leiden tot een door AI aangestuurde XR-omgeving waarin meerdere gebruikers tegelijkertijd via natuurlijke taal met de omgeving communiceren. Een AI-agent interpreteert de gesproken opdrachten van een gebruiker en zet deze om in realtime acties. De applicatie wordt gebouwd door Ashutosh Singla, die als postdoctoraal onderzoeker verbonden is aan het Visualisation Lab.

Amsterdam Humanities Hub

Dankzij de samenwerking tussen de UvA, de geesteswetenschappelijke instituten van de KNAW en de gemeente Amsterdam, is er binnen de Amsterdam Humanities Hub veel expertise aanwezig over het reconstrueren van het verleden, en in het bijzonder dat van Amsterdam. De instellingen beschikken over inhoudelijke expertise, unieke collecties, grote hoeveelheden data én de infrastructuur om deze doorzoekbaar te maken. Samen met een breed netwerk van partners in de creatieve industrie wordt in verschillende projecten gewerkt aan (publieks)applicaties die de geschiedenis tot leven brengen.