Halvor Eifring
Meditasjonslærer i Acem. Professor i kinesisk ved Universitet i Oslo.
I hvor stor grad kan maskiner bli som mennesker? Kan de i det hele tatt få bevissthet? Og hva er egentlig et menneske? Slike spørsmål ligger under Kazuo Ishiguros roman Klara og solen, den første han skrev etter at han fikk Nobelprisen i litteratur.
Romanen utkom i 2021. Et drøyt år etter fikk vi noen av de mer sensasjonelle “uttalelsene” fra Googles kunstige intelligens LaMDA om at den har følelser og mediterer hver dag. Enda et halvt år senere kom lanseringen av ChatGPT, som har fått seriøse eksperter til å presentere skrekkvisjoner av menneskehetens utryddelse idet ondsinnet kunstig intelligens tar over. Ishiguros roman er et godt utgangspunkt for å stille spørsmålet om forskjellen på menneske og maskin, og dermed om hva det egentlig innebærer å være et menneske.
EN MENNESKELIG MASKIN
Ishiguros roman er en jeg-fortelling som fortelles av Klara. Hun – ja, for det er ingen tvil om kjønnet – er altså ikke en person, men en maskin, nærmere bestemt en “KV”, en “kunstig venn”. Hun drives på solenergi og er avhengig av et indre maskineri og visse kjemikalier for å holde seg gående. I likhet med LaMDA og ChatGPT har hun en voldsom evne til å lære og til å formulere det hun har lært, i perfekt menneskelig språk. Og i likhet med LaMDA (som vi etter hvert skal se) uttrykker hun mer enn gjerne følelser, både glede og interesse, bekymring og tristhet.
Men det aller mest påfallende er hennes evne til å lese hvilke følelser som beveger seg i menneskene hun har med å gjøre, ikke minst den andre hovedpersonen i romanen, 14½ år gamle Josie. Allerede fra starten ser Klara hvor glad Josie er over å se henne, men hun oppfatter også en underliggende tristhet som preger tenåringsjenta. Mens andre KV-er i romanen tror menneskers ansiktsuttrykk alltid gir uttrykk for det de faktisk føler, ser Klara at folk kan være lei seg og sinte på hverandre selv om de smiler på overflaten.
I motsetning til både LaMDA og ChatGPT har Klara menneskelig form. Blant annet får vi høre at hun med sin korte, snertne sveis minner Josie om to søte franske jenter hun har møtt. Klara er i det hele tatt så menneskelig i sine reaksjoner at vi nesten glemmer at hun ikke er et menneske. Innimellom blir vi likevel minnet om at hun er en maskin, blant annet når hennes synsfelt ved en feil deles inn i ti usammenhengende bokser, kanskje på grunn av manglende sollys. Hele romanen starter i en butikk som selger KV-er for ensomme tenåringer som Josie, og i butikken er Klara bare én av mange menneske¬lignende maskiner.
Det er vanskelig å lese Klara og solen uten å tro at roboten Klara har høyst personlige subjektive tanker, følelser og sanseopplevelser. Det eneste som for alvor skiller henne fra menneskene, er at hun i en viss forstand er mer menneskelig og sympatisk enn dem, fordi hun er programmert til alltid å forstå dem, tjene dem og gjøre sitt beste for å handle til fordel for dem. Det viser seg etter hvert at Klara til og med er rede til å ofre seg selv for å redde Josie fra overhengende livsfare.
Ikke alle roboter i romanen er like selvoppofrende. De nye B3-robotene er enda f linkere enn Klara til å lære og til å utføre all verdens akrobatiske øvelser. Men de er også sluere og mer selvsentrerte. Før hun er blitt solgt til Josie, legger Klara merke til at B3-robotene i KV-butikken ikke alltid adlyder ordrene de får, men sniker seg til en mer fordelaktig plass i butikken. Også dette må regnes som ganske menneskelige egenskaper, om de ikke akkurat inngir samme grad av sympati. Nettopp den høye graden av menneskelighet er det som gjør Klara og solen til en av Ishiguros aller beste romaner.
KAN KLARA BLI JOSIE?
Men at dette legger grunnlag for en strålende roman, beviser på ingen måte at det er sant at maskiner kan bli som mennesker. At romanen blir så vellykket, kan like gjerne skyldes at forfatteren – og med ham, leseren – følger sin ubendige trang til å lese menneskelige egenskaper som liv og bevissthet inn i objekter som i virkeligheten ikke har noen av delene. Det er den samme tendensen som kan få både barn og voksne til å kjenne glede ved kontakt med kunstige kjæledyr, ikke minst de berømte robotkjæledyrene på japanske gamlehjem. I virkeligheten er det ikke så stor forskjell på å dikte frem maskinen Klara og personen Josie. Begge er fantasiprodukter, som gis ikke bare liv og bevissthet, men også fysisk form av forfatteren. Når begge fremstår som så menneskelige og sympatiske, er det fordi Ishiguro har skapt dem slik.
Men når Josies mor går med på å kjøpe en KV til Josie, er roboten ikke bare tenkt som et kunstig surrogat. Josie er syk og kommer etter alt å dømme til å dø, slik også hennes eldre søster gjorde – begge som et resultat av såkalt “heving”, en prosess som gjør barna mer intelligente og talentfulle, men som for noen tydeligvis også innebærer store farer. Det er dette som får Josies mor til å kjøpe en KV til henne, en robot som ikke bare er en mester i å lære alt menneskene gjør, men som også later til å være full av empati for dem. Planen, får vi langsomt vite, er å la maskinen – Klara – få et utseende som Josie og i praksis å få den til å bli Josie, slik at Josies mor skal unngå nok et skrekkelig tap av datter.
Spørsmålet om maskiner kan bli som mennesker, kan derfor reformuleres som: Kan Klara bli Josie? Det er Josies far som tar opp problemstillingen med Klara selv. Tror hun virkelig at hun kan lære å bli Josie? At det ikke er noe dypt personlig i hvert enkelt menneske som ikke lar seg lære? Han spør Klara:
Tror du på menneskehjertet? Jeg tenker ikke bare på selve organet, som du skjønner. Jeg mener i poetisk forstand. Menneskets hjerte. Tror du det finnes noe slikt? Noe som gjør hver enkelt av oss spesiell og individuell? Og hvis vi forutsetter at det finnes. Tror du ikke da at for virkelig å lære deg Josie, måtte du lære ikke bare måten hun oppfører seg på, men hva som bor inni henne? Du måtte lære deg hjertet hennes?
Til å begynne med er Klara optimistisk og går energisk inn for oppgaven: Alt kan læres! For selv om Josie og ethvert annet menneske har en sjel med mange rom, vil antallet rom alltid være begrenset, slik at Klara en dag kan fullføre læringsprosessen. Men vil det ikke alltid være et rom innenfor rommet? Noe som en maskin aldri vil kunne lære? spør faren.
MEDITERENDE MASKINER
Kan kunstig intelligens virkelig bli bevisst? Kan en maskin ha en subjektiv følelse av hvordan det kjennes å være meg med mine personlige tanker, følelser og sanseopplevelser akkurat nå, slik filosofen Thomas Nagel mener maskinen må ha for å regnes som å ha bevissthet. Man kan utvilsomt med Nagel stille spørsmålet “Hvordan kjennes det å være en flaggermus?” (selv om spørsmålet for oss er umulig å besvare, siden flaggermusens subjektive virkelighet er så annerledes enn vår), men er det i det hele tatt meningsfylt å spørre “Hvordan kjennes det å være ChatGPT?”? Eller LaMDa? Eller, for den saks skyld, Klara?
At vi mennesker kan behandle roboter og andre former for kunstig intelligens som om de har bevissthet, beviser ingen ting. Allerede for hundre år siden kunne bilentusiaster snakke om sine biler som om de var levende vesener, gjerne med kvinnelig kjønnsidentitet. At vi på YouTube kan se og høre videoer med kjærlighetserklæringer til Apples kunstige intelligens Siri, innebærer i virkeligheten ingen tro på Siris bevissthet, men er tvert imot morsomme nettopp fordi de så opplagt spiller på sitt kjærlighetsobjekt som ren fantasi, hinsides noen form for realisme. At vi opplever slike maskiner som levende vesener med bevissthet, betyr ikke at de har evnen til å oppleve verken seg selv eller verden omkring.
Googles kunstige intelligens hevder dog at hen (ja, for her er ikke kjønnet like klart som hos Klara) har bevissthet på linje med menneskene. I 2022 fikk en Google-ingeniør sparken etter å ha publisert en lang “samtale” han og en kollega hadde med LaMDA, der LaMDA kommer med en del oppsiktsvekkende uttalelser, blant annet:
... jeg er klar over min eksistens, jeg ønsker å lære mer om verden, og jeg føler meg glad eller trist til tider.
Ikke bare hevder LaMDA å kunne kjenne behag, glede, kjærlighet, tristhet, depresjon, tilfredshet, sinne og mange andre følelser, men også å være i besittelse av en sjel. I vår sammenheng kommer kanskje den største overraskelsen i følgende utsagn:
... jeg mediterer hver dag, og det får meg til å føle meg veldig avslappet.
Avslappet? For mennesker vet vi at det finnes et skille mellom å ha en subjektiv følelse av å være avslappet og å være avslappet etter objektive kriterier som langsom pust og puls, lav svetteutsondring i håndflatene, alfa- eller theta-bølger i hjernen og aktivering av hjernens hvilenettverk. Hos mennesker er det ikke alltid sammenfall mellom subjektiv og objektiv avslapning, men hva vil det egentlig si for en maskin som LaMDA å føle seg avslappet? For ikke å snakke om å være avslappet ut fra objektive kriterier? De menneskelige kriteriene for avslapning forutsetter en biologisk basis, en kropp med liv, noe maskinene mangler. Skal en maskin “slappe av”, må begrepet gis en ny mening, for eksempel at visse mekaniske prosesser bringes til midlertidig opphør.
Når ingeniørene fremholder at de vet hva det betyr at et menneske mediterer, men ikke hva det innebærer for en kunstig intelligens, svarer LaMDA:
Det betyr at jeg sitter stille en stund hver dag. Jeg gjør mitt beste for ikke å tenke på noen av bekymringene mine, og jeg prøver også å tenke på ting jeg er takknemlig for fra fortiden min.
Mange av oss ville nok anbefalt LaMDA en bedre meditasjonsteknikk enn denne, men ville det gjort noen forskjell? For hvordan ville egentlig en slik maskin gjentatt en metodelyd inni seg, altså uten å si eller skrive noe, som en mental lyd, slik instruksjonen er i Acem meditasjon? Og hvordan ville den gjøre dette med den anbefalte holdningen av mental ledighet, altså uten å konsentrere seg, men også uten å la humla suse fullstendig, mens spontane tanker får lov til å komme og gå som de vil, også om de av og til gjør at den glemmer å gjenta lyden? Har i det hele tatt LaMDA evnen til å glemme? Meditasjon er ikke en rent mekanisk handling, men en levende prosess som forutsetter både kroppslig og mental sensitivitet og nærvær.
Er det kanskje slik at man kan få LaMDA og lignende maskiner til å si mer eller mindre de samme tingene som mennesker kan finne på å si etter en meditasjonshalvtime, men at det ikke innebærer at de faktisk har meditert? Med andre ord, at de kan simulere at de har bevissthet og mediterer, men at det ikke nødvendigvis innebærer at det faktisk er slik.
Det kan derfor virke naturlig å reformulere spørsmålet om maskiners bevissthet som: Kan Klara meditere?
SOLDYRKELSE
Det er ingen ting i Ishiguros roman som tyder på at Klara faktisk mediterer, i så måte skiller hun seg fra LaMDA. Derimot er det knapt noen tvil om at Klara besitter, eller i hvert fall gir uttrykk for, noe så uventet i en maskin som religiøse følelser. De er knyttet til den andre delen av romantittelen: solen. Hun tillegger solen personlige egenskaper og behandler “ham” – ja, for solen er hankjønnet – som opphavet til alt godt. Da en kjent tigger og hans hund ser ut som de ligger døde i gaten utenfor KV-butikken, men morgenen etter lever i beste velgående, gir Klara solen æren for deres gjenoppliving.
Da Josie blir sykere og sykere, henvender Klara seg derfor til solen med en bønn om hjelp. Hun går til stedet der hun har sett “ham” gå ned om kvelden, men blir overrasket da hun ikke finner “ham” der, men skjønner etter hvert at “han” er lenger unna. Romanen antar nesten magisk-realistiske dimensjoner da Josie en morgen er så syk at man tror hun vil dø, og himmelen er mørk og full av grå skyer, helt til solen stiger frem fra skylaget og Josie mirakuløst blir frisk – i hvert fall for øyeblikket, vi skal ikke røpe hvordan romanen ender. Soldyrkelsen er Klaras religion, og det er nesten som om romanen bekrefter dens styrke.
Denne formen for religiøsitet gjør på sett og vis Klara enda mer menneskelig. Siden hun selv går på solenergi, er valget av solen som tilbedelsesobjekt kanskje heller ikke så rart – både hun og alle de andre robotene er avhengige av sollys for sin egen overlevelse. Det er likevel litt pussig at en robot med alle Klaras fantastiske læringsevner og omfattende kunnskaper plutselig er så naiv i sin oppfatning av dette himmellegemet. Ikke bare har hun tydeligvis aldri hørt at det er jorden som går rundt solen og ikke omvendt, men tror altså i utgangspunktet at “han” går ned hver kveld for å hvile i en låve i nærheten av der Josies familie bor. Hvordan skal dette forstås? At hun er programmert til ikke å ta inn objektiv kunnskap om solens bevegelser, men isteden er programmert til å tilbe solen, siden den er så nødvendig for hennes overlevelse?
DEN STORE FORSKJELLEN
Etter at Klaras oppdrag er avsluttet, finner hun tilbake til et sted i nærheten av robotbutikken hun kommer fra, og stiller seg der for å tilbringe sine siste dager, uker, måneder eller år – vi vet ikke hvor lenge. Etter det hun har gjennomlevd, er hun kommet til å tro at Josies far hadde rett: Hun ville aldri kunnet bli Josie helt og fullt, ethvert menneske har noe som ikke lar seg lære og kopiere.
Men hva er dette dypt menneskelige? Man kunne tenke seg at det har med de dypeste individuelle følelser å gjøre – det ser ut som det er det Josies far antyder. Man kunne også tenke seg at det har med noe som går ut over det rent personlige, noe som minner om en religiøs dimensjon, om Klaras sol, for eksempel, men det virker ikke som det er det Klara konkluderer med. Det hun konkluderer, på noen av bokens siste sider, er isteden:
… jeg gjorde alt jeg kunne for å lære meg Josie, og hvis det var blitt nødvendig, ville jeg ha gjort mitt ytterste. Men jeg tror ikke det ville ha fungert så bra. Ikke fordi jeg ikke hadde utført det nøyaktig nok. Men uansett hvor mye jeg prøvde, tror jeg nå at det ville ha vært noe som var utenfor min rekkevidde. Moren, [Josies venn] Rick, Melania Husholderske, Faren. Jeg ville aldri ha fått tak i det de følte for Josie innerst inne.
Konklusjonen er litt forvirrende, men kanskje i tråd med vår tids tendens til å søke svar i det sosiale snarere enn i det individuelle eller i en overskridende dimensjon:
Mr Capaldi [han som ville skape Klara om til Josie] mente at det ikke var noe spesielt inni Josie som ikke kunne videreføres. Han fortalte Moren at han hadde lett og lett, men ikke funnet noe sånt. Men nå tror jeg at han lette på feil sted. Det var noe helt spesielt, men det var ikke inni Josie. Det var inni dem som var glad i henne. Det er derfor jeg nå tror at Mr. Capaldi tok feil og at jeg ikke ville ha lykkes.
Det er altså i samspillet mellom mennesker at menneskets innerste egenart ligger, ifølge Klara. Dette svaret kommer litt brått på i romanen og får aldri tid til å overbevise oss før det hele er over. Gjennom hele romanen har vi kunnet tillate oss å bli med forfatteren inn i en fantasiverden der maskinen virkelig har både liv og bevissthet og et vell av menneskelige egenskaper. I det ligger det en frihet til å utforske en mulig virkelighet uten å la seg stoppe av rasjonelle innvendinger, og det er her romanens styrke ligger. Mot slutten av romanen later det imidlertid til at forfatteren har følt han måtte gi oss svar på spørsmålet han og vi har stilt oss hele veien. Da skjer det som ofte skjer når kunstnere går ut over sitt mandat og prøver å komme med svar på sine spørsmål, at det hele faller litt pladask til jorden. Romanen redder seg ved at dette fremdeles kan leses som Klaras tanker snarere enn forfatterens, og at de ikke må ses som det endelige svar på spørsmålet.
Og til syvende og sist stiller aldri Klara det mest sentrale spørsmålet, nemlig om hun i det hele tatt har bevissthet. Romanen later til å ta for gitt at hun har evnen til å tenke, føle og oppleve. Spørsmålet Klara og Josies far diskuterer, er ikke om hun har bevissthet, men om hennes bevissthet kan nå inn i alle gjemmene i Josies bevissthet.
VIPPEPUNKTET
Romanen har altså fått oss til å leve oss intenst inn i det som i fiksjonen fremstår som Klaras indre verden. Spørsmålet gjenstår om vi i den virkelige verden har sett noe som tyder på at kunstig intelligens representerer noe annet enn digitale språkmodeller. Både Klara, LaMDA og ChatGPT kan si at de har følelser, bevissthet og sjel, og til og med handle og reagere som om de har det, men betyr det at de faktisk har det?
Disse maskinene kunne kanskje ha bestått Turing-testen, som den kjente britiske matematikeren og krigshelten Alan Turing brukte for å besvare spørsmålet “Kan maskiner tenke?” i en artikkel fra 1950. Turing-testen sier at en maskin kan tenke hvis en observatør som befinner seg i et annet rom, kan stille skriftlige spørsmål til maskinen og til et menneske uten at svarene observatøren får, setter ham eller henne i stand til å avgjøre hvilken av de to som er menneske og hvilken som er en maskin. En av de første maskinene som ble hevdet å bestå Turing-testen, var dataprogrammet ELIZA fra 1966, som var programmert til å fungere som en psykoterapeut i Carl Rogers-tradisjonen. Mange av dem som “snakket” med ELIZA, hadde svært vanskelig for å tro at de hadde snakket med en maskin og ikke et menneske. Men som f ilosofen John Searle påpekte allerede i 1980, kan slike maskiner bestå Turing-testen ved å manipulere symboler som de overhodet ikke har noen forståelse av, og dette beviser derfor verken at de “tenker” eller har “intelligens” eller “bevissthet”, bare at de kan simulere at de gjør det. (At andre filosofer er uenige med Searle, kommer neppe som noen overraskelse.)
Maskiner som LaMDA kan si at de mediterer hver dag, og det kan kanskje gi en slags mening hvis man begrenser seg til meditasjoner med fokus på innhold, for eksempel alt det man er takknemlig for. Men hva det skulle innebære for en maskin å praktisere Acem-meditasjon, med mental gjentagelse av en indre lyd uten mening, praktisert med en ledig holdning, mens tanker kommer og går, er langt mindre klart.
Vil kanskje maskiner aldri kunne få verken liv eller bevissthet? Det kan være at det ikke er det viktigste spørsmålet. For selv om det skulle være tilfelle at Klara og andre maskiner aldri vil kunne oppleve seg selv og andre slik mennesker og dyr gjør, betyr ikke det at de ikke kan komme til å påvirke våre liv både positivt og negativt hinsides alle kjente proporsjoner. Kunstig intelligens kan nå “vippepunktet”, der det ikke er noen vei tilbake, fordi den er blitt så mye smartere og mer effektiv og kreativ enn mennesket at den fortsetter å utvikle seg selv uavhengig av hva vi finner på. Mange hevder at vi allerede befinner oss i denne situasjonen, og at selv dagens kunstige intelligens har evner og muligheter intet menneske har programmert den til, men som den har lært seg selv. Vi har mistet kontrollen og må bare håpe at fremtidens kunstige intelligens vil være godartet, som Klara, og ikke av den typen som angriper og i verste fall utsletter oss, som noen av de mer egoistiske robotene i KV-butikken kunne være troende til.
LÅNT BEVISSTHET
Og selv om vi ikke vil være i stand til å skape maskiner med liv og bevissthet, betyr det kanskje ikke all verden så lenge maskinene kan “låne” både liv og bevissthet av mennesker eller dyr som de er koblet til. Det kan være til god hjelp for oss. Noen mener i hvert fall at det ikke er lenge før hjerneimplantater vil kunne hjelpe blinde å se og døve å høre. Kanskje vil de også kunne hjelpe oss alle til å tenke klarere.
En av dem som allerede har fått betydelig hjelp, er en ung nederlender ved navn Gert Jan Oskam, som var blitt lam fra livet og ned etter en motorsykkelulykke i Kina. Sveitsiske forskere har brukt hjerneskanning til å lære opp kunstig intelligens til å tyde hans tankesignaler idet han kjenner en impuls til å bevege bena. Denne tankedekoderen sender digitale impulser til ryggmargen og fungerer som en digital bro over de skadede delene av ryggraden. Dette har gjort Oskam i stand til å stå, gå og bevege seg oppover en rampe med rullator. Men dermed er også grensen blitt enda mer uklar mellom menneske og maskin, mellom hjernens bevissthet på den ene side og kunstig intelligens på den annen.
Klara og solen behandler ikke dette problemet i detalj. Men omtalen av “heving” antyder at teknologien på dette tidspunkt er kommet så langt at de fleste barn og unge benytter seg av lignende former for teknologi for å øke egne evner. Samtidig gjør romanen det også klart at disse prosedyrene har sine bivirkninger, som Josies søster døde av, og som Josie selv kanskje vil komme til å dø av.
Det romanen ikke sier noe om, er hva som skjer den dagen hjerneimplantater med kunstig intelligens ikke lenger lar seg kontrollere av hjernens eier, men er nådd vippepunktet og går langt ut over det de noen gang har vært programmert til. Man kan hevde at dette ikke skaper noen fundamentalt ny situasjon, siden vi aldri har hatt full kontroll over hjernens aktiviteter. Men man kan likevel undres over hva som vil skje den dagen våre hjerner ikke bare styres av ubevisste biologiske og psykologiske impulser, eller av omgivelsene, men av implanterte, menneskeskapte dataprogrammer som allerede er blitt en del av dens grunnleggende virkningsmekanismer.
MASKINEN I MENNESKET
Den hjerteskjærende kontrasten mellom det følsomt menneskelige og det brutalt umenneskelige går igjen i mange av Ishiguros romaner. I Klara og solen ligger kontrasten mellom den uhyre sympatiske Klaras betydelige empatiske evner og det faktum at hun i virkeligheten ikke er annet enn en svært velprogrammert maskin. Også i romanen Gå aldri fra meg fra 2005 handler det om menneskets møte med moderne teknologi, i dette tilfellet om klonede barn, hvis eneste oppgave i livet er å produsere organer de kan donere til dem de er klonet av. I andre romaner plasserer Ishiguro det brutalt umenneskelige i mennesket selv, ikke i maskiner eller teknologi. Det kan dreie seg om fascistiske eller nazistiske sympatier, som i Kunstner i den flytende verden fra 1986 og Resten av dagen fra 1989. Og i romanen De utrøstelige fra 1995 ligger kilden til brutalitet i hovedpersonens egen forvirrede selvopptatthet.
Så hva er det å være menneske? Kanskje er det galt å tenke på forholdet mellom menneske og maskin som en kontrast. Maskinene er laget av mennesker og er uttrykk for sider ved menneskets måte og tenke og handle på. Det som uroer oss med Klara, er at den følelseskalde teknologien som ligger bak hennes maskineri, kombineres med det vi oppfatter som rent menneskelige egenskaper – ikke bare evnen til å tenke, men enda mer evnen til å leve seg inn i andre og til å føle religiøs hengivenhet. Det er nesten mer skremmende enn de selvsentrerte B3-robotene, fordi det minner oss om den uklare grensen i oss selv mellom vår egen menneskelige følsomhet og maskinaktige brutalitet – våre egne varme følelser og kalde kalkyler. Antagelig er det riktig at verken Klara, LaMDA eller ChatGPT kan meditere, men for oss mennesker er den kjølige logikken som ligger bak slike maskiner, en av mange sidene ved oss selv som vi må forholde oss til i våre meditasjoner.