Immersive medier er lett tilgjengelege på mobilen, og kan skapa sterk innleving i forteljingar med sin kombinasjon av 360-video, 3D-animasjon og lyddesign.

Sommaren 2017 skulle familien Wendelbo Nyre på bade- og kulturferie til Normandie. Kollega Anders Fagerjord fekk nyss om ferieplanane og tipsa meg om det nye mediedesignet til Gunnar Liestøl. Det er ein augmented reality-app som tek for seg D-dagen i 1944 på Omaha Beach i Normandie. Anders foreslo naturleg nok at eg skulle ta med familien dit og prøva appen. Ja, kvifor ikkje. Mor og far er i førtiåra, og me har tre barn på 10, 14 og 18 år. Dette måtte me vel kunna få til. Alle saman lasta ned Omaha Beach-appen på telefonen før me drog frå Bergen, og me psyka oss opp til å vera teknologiske testkaniner.

Nedanfor følgjer ein introduksjon til Gunnar sitt virke, og deretter følgjer det ein epostdialog mellom Lars og Gunnar. Gunnar er oppfinnar og teknolog, medan eg er testbrukar og fenomenolog, og saman går vi gjennom grensesnittet i detalj. Til slutt hevdar vi at AR- og VR-grensesnitt bør brukast til å formidla samfunnets viktigaste historiske tema. Enten det er krigs-, arbeidar- eller religionshistorie så vil historia nå godt fram til unge folk som alt er vande med immersive medier, så lenge produksjonskvaliteten er høg. Mediedesignet om dei allierte sin landgang i Normandie på D-dagen i 1944 viser at du kan ha folkeopplysning på stranda med mobilen i handa.

Om Sitsim-teknologien

Sitsim (situated simulations) er eit evigvarande designprosjekt som Gunnar drifta ved Universitetet i Oslo. Sitsim er ein testplattform som er operativ på nett til eikvar tid, og som kan reagera raskt på nye teknologiske muligheiter for mobil og nettbrett. Målet med dei forskjellige appane er alltid at brukaren skal kunna leva seg inn i ei anna historisk tid på ein realistisk måte. Tidlegare har Gunnar hatt prosjekt i Roma, Aten og Falasarna. Han har jobba med slik lokasjons-basert medieteknologi i mange år, og samarbeider med utviklarane Tomas Stenarson i CodeGrind AB og Šarūnas Ledas i Tag of Joy (Haugen, 2016).

Figur 1:

Øverst: Omaha Beach i Normandie, Frankrike, juli 2017. (Foto: Nils Wendelbo Nyre). Nederst: Same strandområde sett gjennom Omaha Beach-appen. (Illustrasjon: Liestøl 2018).

Forsterking av verkelegheita

«Augmented reality» (AR) inneber at brukaren får eit supplement til den noverande verkelegheita gjennom skjermvisning og lyd på mobilen. På norsk vert AR ofte omsett til nynorsk som Auka Røynd. I Omaha Beach-appen vert verkelegheita forauka med forteljingar i lyd, video og 3D-animasjon om det som skjedde akkurat her i juni 1944. Omaha Beach-appen vil få deg til å føla det omtrent som at du står på stranda då soldatane kom ut av vatnet den morgonen i 1944.

Eg siterer frå ei nyheitssak ved UiO i 2016: «Programmet bruker sensorer som finnes i nettbrett og smarttelefoner. Disse sensorene kjenner din posisjon og registrerer hvordan du beveger deg. Dermed kan appen vise deg hvordan omgivelsene ville sett ut i en annen tid» (Haugen, 2016). Figur 1 viser korleis dette er gjort i den aktuelle SitSim-appen.

Gunnar lagar dei mest avanserte teknologiane blant norske medieforskarar i dag. Han har eit opplysningsprosjekt som eg også har meldt meg på. Både Gunnar og eg jobbar med ei tilnærming kalla «mediedesign». For min del har det dreid seg mykje om lokativ journalistikk for mobiltelefonar (Nyre et al., 2012; Tessem et al., 2015; Hoem & Nyre, 2018). Vi forsøker å forstå teknologiske og perseptuelle prosessar så nøye som råd, og å bruka desse forståingane i design av nye medium. Her vert teknologiar og metodar frå informasjonsvitskap kombinert med teoriar frå samfunnsvitskapane og humaniora. Gunnar er spesielt opptatt av hvordan en kan utvikle metode der analytiske og teoretiske begreper kan brukes som konstruksjonsregler for nye narrative og retoriske grep (Liestøl 2013).

Mediedesign baserer seg på å laga provisoriske medier som vi testar saman med relevante målgrupper. For kvar studie vi gjer, undersøker vi stadig nye kvalitetar ved dei teknologiske muligheitane, og skjønar betre kva som kan komma til nytte for samfunnet.

Kan berre brukast på Omaha Beach

Familien Wendelbo Nyre hadde allereie vore på ferie i ei veke då me kom nordover frå Saint Malo og følgte stadig mindre vegar til me parkerte ved Omaha Beach ein fin ettermiddag i juli ved lågvatn. At me skulle oppsøka ei strand på denne måten, skapte forventningar. Me visste jo at heile poenget med Omaha Beach-appen er å bruka den på ei av strendene der krigshandlingane faktisk foregjekk, med historisk korrekte detaljar.

Me måtte gå langt utover på den landgrunne stranda. Til slutt var me einige om at me stod rett ved det punktet instruksjonsmanualen anbefalte, og dermed hadde optimale vilkår å byrja testinga. Me brukte appen i ca. ein halvtime, mellom ca. kl. 14.30 og 15.30 lokal tid. Dette var nok til at alle fekk prøvd appen grundig, og kunne seia noko om opplevinga etterpå.

Om brukarane

  • Lars (48) brukte iPhone6 med iPhone-øyretelefonar, ca. 15 minutt i fyrste økt. Lars gjekk tom for straum og brukte difor Isak sin telefon i ei økt på ca. 10 minutt til.

  • Barbara (47) brukte IPhone SE med iPhone-øyretelefonar. Ho brukte appen ca. 8 minutt.

  • Nils (18) brukte iPhone 5 med noise-cancelling øyretelefonar Bose. Nils brukte appen i ca. 12−15 minutt.

  • Isak (14) brukte iPhone6 med store øyretelefonar, ca. 10 minutt.

  • Agnes (10) brukte IPhone SE med iPhone-øyretelefonar. Ho brukte appen ca. 8 minutt.

Figur 2:

Øverst Lars og Isak; nederst Agnes og Barbara. (Foto: Nils Wendelbo Nyre).

Dialog om grensesnittet

I dagane før og etter familien Wendelbo Nyre køyrde til Omaha Beach, hadde eg ein livleg e-postkorrespondanse med Gunnar i Oslo. Han forklarte korleis me skulle finna fram og få appen til å fungera, og etterpå skreiv eg ein grundig evaluering som Gunnar i sin tur kommenterte. Gunnar var veldig nysgjerrig på innspela våre. Sjølv om han sat i kontrollrommet i Oslo og plotta alla tekniske detaljar om vår brukaråtferd, kunne han ikkje vita kva me syntest om det heile.

Her følgjer vår faglege dialog frå desse junidagane i 2017. Eg er både begeistra og kritisk. Utover å skildra innlevinga påpeikar eg ting som ikkje fungerte så bra, eller som kunne vore annleis. Gunnar svarar med løysingsforslag og oppklaring av misforståingar. (Merk: Det følest rett at Gunnar sine poeng står på bokmål).

Umiddelbar og sterk innleving

Lars: Alt som hadde med bevegelse og perspektiv å gjera, fungerte veldig godt. Når eg snudde meg mot land, kunne eg løfta blikket over mobilen og sjå den samme åskammen som var på skjermen, og det var likeeins når eg vrei mobilen utover på stranda. Veldig god effekt!

Gunnar: Bra at sensorene fungerte som de skal. Det er viktig for helhetsopplevelsen av forholdet mellom nå og da at det er sammenfall mellom det fysiske og kunstige perspektivet.

Lars: Appen skapte ein veldig tydeleg kontrast mellom notida og fortida. Me var der på ein strålande soldag med masse badeliv rundt oss, medan appen sette oss i ein dyster og mørk stemning med tunge skyer og skodde i ei «svart-kvitt»-verd. Denne kontrasten føltest veldig riktig. Me vart nesten indignerte på alle menneska som lo og leika seg på stranda, når me såg kor forferdeleg det var der 6. juni 1944. Ingen av ungane hadde lyst å bada etterpå, me gjekk opp til minnesmerket og hadde ei stille stund. Dette er appen sin aller sterkaste kvalitet, etter mitt syn.

Gunnar: Detter er veldig god tilbakemelding. Viser at det grunnleggende fungerer, ikke bare rasjonelt, men også emosjonelt.

God introduksjon før opplevinga byrja

Lars: Slideshowet i byrjinga var veldig lurt. Det er ein stor overgang å gå inn i den «immersive verda», og dette var pedagogisk. Det kom godt fram at me skulle få ei oppsummering av det som skjedde om morgonen 6. juni 1944. Barbara og Agnes rapporterer at dette var det mest interessante av alt.

Gunnar: Poenget med slideshowet er å starte i en etablert genre slik at brukeren lett føres inn i tematikken og har litt drahjelp i overgangen til den brukerstyrte delen.

Lars: Kanskje det skulle seiast tydeleg akkurat kor lenge opplevinga er meint å vara, og også skapast ein tydeleg slutt. Då ville det bli ein betre «closure» for brukaren.

Gunnar: Informasjon om lengden på sekvensen var mangelfull i versjonen dere prøvde ut. I siste versjon er det nå lagt inn løsninger som varsler brukeren når hun beveger seg ut av simuleringsområdet eller når slutten av den rekonstruerte sekvensen. Informasjon om simuleringens utstrekning i både rom og tid er svært viktig.

Sollys skapar vanskar

Lars: Det er ei åtvaring mot sollys på dei fyrste skjermsidene; før sjølve appen vert starta. Men potensielle brukarar vil truleg komma hit om sommaren, og difor er det litt dumt å åtvara mot å bruka appen i sterk sol midt på dagen. Dette er nettopp det tidspunktet vanlege brukarar truleg vil komma hit, og rådet kunne like gjerne dreia seg om korleis du brukar den under nettopp slike vilkår. Eg tok ei T-skjorte over hovudet for å stenga sola ute, og det fungerte fint.

Gunnar: Solskinn er alltid et problem med dagens skjermteknologi. En får håpe at et selskap plassert i California også ser nødvendigheten av mer lyssterke skjermer for utendørs bruk. I kontrollerte tester har vi tidligere brukt paraplyer/parasoller. En fordel med Omaha er at det faktisk er relativt mye overskyet vær der.

Lars: Kva med å laga det for VR-briller som kunne stenga alt lys ute?

Gunnar: Det er et relevant spørsmål. Med en immersiv VR-løsning lukker vi imidlertid ikke bare sollyset ute, men også de fysiske omgivelsene vi ønsker å berike. VR er altså ikke egnet for lokasjonsbasert formidling der stedet er en integrert del av opplevelsen. Vi har derimot store forventninger til kommende AR-teknologi i form av smartbriller som er i stand til å representere omgivelsene digitalt i sanntids 3D. Da er det mulig å få til sømløs integrasjon mellom fortid (eller framtid) og nåtid.

Figur 3:

Lars tek T-skjorta over hovudet for å sjå det digitale uttrykket best mogeleg. (Foto: Nils Wendelbo Nyre).

Batterislukar

Lars: Appen brukte veldig mykje batterikraft. Eg hadde skjermen på full styrke, og i løpet av ei økt på 10-15 minutt gjekk eg frå ca. 70 % til under 10 %. Resten av familien kom med liknande rapportar. Kanskje dette kan informerast om − sjølv om dette kanskje ikkje er appen sin feil.

Gunnar: Appen er svært grafikkrevende, og vi har med hensyn presset maskinvaren til det ytterste for å kunne få fram noe av kompleksiteten i angrepet etter at soldatene ankommer, i hvert fall på en mindre del av stranda (med optimal ytelse menes 60 fps og et stort antall animasjoner). Derfor la vi oss på støtte for Apples to siste prosessorversjoner A9 (2015-) og A10 (2016-). Av telefonene dere har brukt, er iPhone SE A9 og dermed de som nok har hatt best ytelse, og kanskje også batteritid (de andre benytter A8). På 6s- og 7-versjonene går også batteriet relativt raskt, men nok litt seinere enn på de eldre modellene.

Funksjonar som ikkje vart forstått

Lars: Eg såg ikkje landgangsfartøy og tanks som kom opp på stranda. Eg skulle gjerne hatt meir bevegelse, motordur, beltebandlydar og knirking frå farkostane. Igjen rapporterte Isak om ei litt anna oppleving, meir i pakt med figur 5 som viser korleis landgangen foregjekk.

Gunnar: Det er tydelig at du ikke har benyttet globalmenyen under ‘tekanten’. Der finnes den spesielt tilpassete ‘Tide view’ som sender kamera 300 m (hvis du står ved HWM) ut til vannkanten der soldatene og stridsvognene settes i land. Du kan da gå opp og ned langs med stranda ved høyvann, men likevel ‘være’ ute ved vannkanten rundt H-Hour. I globalmenyen er også de andre ‘views’ som er nyttige: zoom, bird’s view, og map view, i tillegg til snapshot, der du kan ta bilder med både det virtuelle og det fysiske kameraet og dele nå/da-bildet på FB, mail eller lagre til eget fotoalbum, uten å gå ut av appen.

Figur 4:

Her peikar appen ut i havet, og brukaren ser og høyrer landgangsfartøy og eksplosjonar. Illustrasjonen er frå Liestøl (2018).

Gunnar: Merker meg også at du ikke nevner de romlig plasserte hypertekst-lenkene som blir synlige når sekvensen pauses ved skjermberøring. Der en får tilgang på 3D-modeller med voice-over på korte illustrerte artikler og lenker videre til detaljert informasjon på nettet (arkiver/databaser). Det er ca 15 av dem i området omkring startstedet. Som du skjønner, er det mye å ta tak i. Og en utfordring er brukerkompetansen. Konvensjonene er ukjent. Det hjalp mye med Pokémon GO i fjor, men det er nok et godt stykke fram til at våre, eller liknende, konvensjoner eventuelt blir etablert. I mellomtiden er prosessen svært interessant, og som alltid er det først når en versjon er implementert og gjort til objekt for erfaring og opplevelse, at en virkelig ser svakhetene og mulighetene.

Forteljestemmene

Lars: Barbara og Agnes høyrde meir på forteljestemma enn dei såg på den visuelle augmenteringa. Dette kan truleg skje med mange brukarar i lyst vêr, og det betyr at lyddesignet er veldig viktig. Etter slideshowet og dei innleiande forklaringane var det periodar med lite monolog (kanskje avhengig av korleis ein beveger seg). Det vart heilt stille i lengre periodar. Det bør vera meir musikkbruk og dialog for å støtta opp under forteljinga.

Gunnar: Bruk av voice over må forbedres. Planen er å ha alternative segmenter som aktiveres avhengig av posisjon og hendelsen(e) en befinner seg i nærheten av. Musikk har jeg så langt vært skeptisk til i den brukerstyrte delen. Idéen har vært å være så ‘reell’ som mulig.

Soldatar som døyr

Lars: I mi oppleving er det for lite «død og elende». Utifrå monologen så vart hundrevis av soldatar skotne og drepne på stranda, både med maskingeværild og «mortar»-skot. Men det var svært få menneske med i opplevinga mi. Eg såg soldatar på avstand, og gjekk bortover mot dei, men dei forsvann.

Figur 5:

Eit utsnitt som viser soldatane si framtoning i appen.

Lars: Forvirrande nok rapporterte særleg Isak, men også Nils, at soldatar sprang forbi dei og blei skotne. Dette opplevde ikkje eg, sjølv om eg gjekk omkring i minst 25 minutt her og der i akkurat det same området. Med dette atterhaldet så rår eg deg til å gjera opplevinga langt meir blodig og menneskeleg smertefull, gjerne med skrik av panikk, dødsangst og andre uttrykk for menneskeleg lidelse som passar inn. Her vil lydlege grep vera viktige. Dersom du tenkjer på ei aldersgrense i AppStore, så skjønar eg at det kan vera eit dilemma, men slik lidelse vil vera akkurat det brukaren forventar. Og dette ville passa godt med dei skjebnane som minnesmerka oppi åsen viser til, med namna på hundrevis av dødsoffer.

Gunnar: Soldatene forsvinner uansett om de dør eller overlever. Det er brukers avstand til animerte modeller som avgjør transparensen. Slik løsningen nå er, blir alle menneskeskapte objekter (inkl. soldater) transparente på en viss avstand fra brukeren. Dette av flere grunner: a) for å hindre litt bisarre grafikkopplevelser der en f. eks. plutselig befinner seg inne i 3D-modeller (f. eks. stridsvogner, forsvarsverk etc.), b) for å ikke avsløre soldatenes enkle uniforme utforming på nært hold (overlate mer til fantasien), og c) den gradvise transparensen gir forhåpentligvis rekonstruksjonen, spesielt soldatene, et flyktig, drømme-/erindringsaktig preg, som kanskje passer med fortidige hendelser. Det er ikke brukt en eneste rød piksel for å vise blod, heller ikke en lydfil for å formidle lidelse, og ingen historisk personlige trekk (ansikter) på soldater. Dette er virkemidler som med hensikt er holdt tilbake. Temaet er delikat, så dette er noe vi vil se an og benytte etter hvert. Slik sett kan du si at prioriteringen i denne første implementeringen har vært det helhetlige; å få rammene rundt hendelsene på plass før en går ned på detaljerte effekter.

Det manglar ein slutt

Lars: Etterkvart slutta monologen, og same kor eg gjekk, så var det slutt på forteljinga. Då var det hovudsakleg skytelydar utan særleg mykje som skjedde rundt. Det hadde vore betre med ein tydeleg slutt, og «closure» som nemnt ovanfor.

Gunnar: I den siste versjonen er dette endret med en klar melding når den sekvensielle delen av rekonstruksjonen opphører. Vi har også unngått en fortellermessig lukking da målet er å utvide så en får med seg hovedmomentene i slaget, ikke bare landsettingen, men også de mange timene med harde kamper som fulgte før de amerikanske soldatene omsider greide å bryte gjennom de tyske forsvarslinjene.

Folkeopplysning for vår tid

Folkeopplysning er framleis viktig. Unge folk må læra seg viktige ting som dei kanskje ikkje er interessert i, for då ser dei verkelegheita i eit meir kritisk lys etterpå. Omaha Beach-appen viser at mediedesign kan støtta opp under denne dygda. Forteljinga om landgangen i Normandie skapte empati og alvor hjå både barn, tenåringar og vaksne. Det er lurt å fortelja historie med immersive grensesnitt kjent frå dataspel, 360 og VR.

Det mest interessante med Omaha Beach-appen er den sterke menneskelege innlevinga som vart skapt. Ingen i Wendelbo Nyre-familien ville bada etter at me var ferdig å testa, sjølv om me alltid pleide å bada, og mange andre openbart var komne til staden for å nyta strandlivet. Vi tok det nesten ille opp at dei fleste andre på stranda oppførte seg som at det var ei heilt vanleg strand. Vi var sterkt prega av det historiske alvoret i landgangen på stranda og det voldsomme tapet av menneskeliv som hadde foregått midt blant oss. God mediedesign får den immersive teknologien til å forsterka det menneskelege dramaet som allereie ligg i historia. SitSim-appen om dei allierte sin landgang i Normandie på D-dagen i 1944 er folkeopplysning for vår tid.

For mer informasjon om Sitsim–prosjektet se <www.sitsim.no>

Litteratur

Haugen, T. (2016). Opplev D-dagen på smarttelefonen. Apollon nr. 3/2016, 10−13. Hentet fra http://www.hf.uio.no/imk/forskning/prosjekter/sitsim/apollon-2016-utgave3-opplevd-d-dagen-gunnar-liestol.pdf.

Hoem, J. Ø. & Nyre, L. (2018). Tilhører. En prototype på fremtidens omsluttende radio. Norsk medietidsskrift, 25(1), 1−19.

Liestøl, G. (2013) 'Topics of Innovation. Towards a Method of Invention and Innovation in Digital Media Design'. I Storsul, T. & Krumsvik, A. H. (Red.), Media Innovations. A Multidisciplinary Study of Change (s. 61–74). Gothenburg: NORDICOM. https://www.academia.edu/4418462/Topics_of_Innovation._Towards_a_Method_of_Invention_and_Innovation_in_Digital_Media_Design_2013_.

Liestøl, G. (2018). Storytelling With Mobile Augmented Reality On Omaha Beach. Paper at Museums and the Web, Vancouver, Canada – April 18−21 2018. <https://mw18.mwconf.org/paper/storytelling-with-mobile-augmented-reality-on-omaha-beach-design-considerations-when-reconstructing-an-historical-event-in-situ/>

Nyre, L., Bjørnestad, S., Tessem, B.& Øie, K. Vaage (2012). Locative journalism: Designing a location-dependent news medium for smartphones. Convergence, 18(3), 297−314.

Tessem, B., Bjørnestad, S., Chen, W. & Nyre, L. (2015). Word Clouds for Locative Information. Journal of Location-based Services, 9(4), 254−272.