Als ik een non-fictieboek lees, maak ik notities. Soms veel, soms wat minder. Ik schrijf met name allerlei feitjes op die nieuw voor me zijn. Notities dus, of in het Engels: Booknotes. Vaak schrijf ik teveel op voor een recensie. Te weinig voor een Impressie of Samenvatting. En tóch wil ik deze notities, deze ontzettend interessante dingen die ik in een boek las, met iedereen delen. Hoe? Nou, met Booknotes dus. Laat je inspireren, deze keer met de Booknotes van Nexus.

Yuval Noah Harari schreef eerder Sapiens, een korte historie van de mensheid. Nexus gaat over informatiestromen en AI. Een historicus die over AI schrijft, hoe zinnig is dat, hij weet immers weinig van de techniek? Zeer zinnig, zo concludeerde ik. Geschiedenis is niet de studie van het verleden, maar de studie van verandering, zo stelt Yuval. Zijn analyse hoe informatie de wereld vormgeeft; hoe informatie zorgt voor waarheid, en daarmee wijsheid én macht, of alleen macht als het de populistische in plaats van naïeve kijk betreft; hoe informatienetwerken democratieën en totalitaire regimes beïnvloeden én vice versa, die analyse is uitermate boeiend en dwingt tot reflectie. Helemaal in deze Trump-tijd.

Booknotes van Yuval Noah Harari’s Nexus

Voorwoord

Waarom hebben we de neiging onbeheersbare krachten op te roepen, zijn we zelfdestructief? Denk aan de uitputting van de aarde, en denk aan de ontwikkeling van AI. Goethe benoemde het al in ‘De tovenaarsleerling’. Die leerling laat een betoverde bezem water halen, maar weet niet hoe hij de bezem ermee kan laten stóppen. Een overstroming is het gevolg. Die neiging onbeheersbare krachten op te roepen komt door ons talent van samenwerking. De manier waarop onze samenwerkingsnetwerken zijn opgezet, maakt ze vatbaar voor onverstandig gebruik van macht. Het is een netwerkprobleem, of liever: een informatieprobleem. De netwerken hangen al eeuwen aan elkaar van verzinsels en waanvoorstellingen over bezems, goden, AI, en nog veel meer. Waannetwerken, die het nazisme en stalinisme ondersteunden.

Mensen hebben een algemeen gebrek aan kennis over hoe netwerken, waannetwerken en andere netwerken, nu eigenlijk werken. Zo is er de ‘naïeve kijk’ op informatie. Informatie leidt tot waarheid, en dit leidt weer tot wijsheid en macht. Denk aan het verzamelen van informatie over ziekteverwekkers, de oorzaak achterhalen van veel ziekten, medicijnen ontwikkelen, en slimme methoden om die in te zetten. Waannetwerken kunnen opkomen, maar op de langere termijn verliezen ze van de ‘eerlijke’ netwerken. Zo denken de naïeven. Natuurlijk kunnen er onderweg opzettelijke en onopzettelijke fouten worden begaan, maar dat is te verhelpen door het verzamelen van nog meer info, want dat leidt tot meer nauwkeurigheid. En misbruik van de kennis (een biologisch wapen bijvoorbeeld)? Dat is te wijten aan meningsverschillen over normen en waarden, wat weer wordt veroorzaakt door gebrek aan informatie of opzettelijke desinformatie. Op te lossen door méér en betere informatie!

Inmiddels hebben we meer informatie dan ooit, en zijn we dichter bij zelfdestructie dan ooit: We blijven broeikasgassen uitstoten, ons milieu vervuilen, talloze soorten tot uitsterven drijven, massavernietigingswapens produceren, etc. Veel mensen, waaronder ondernemer Marc Andreessen en auteur Ray Kurzweil, denken dat AI uiteindelijk al deze problemen gaat oplossen. Anderen zien juist meer problemen door AI, en de Bletchley-verklaring, van 30 overheden, onderkent deze. Niet dat we Terminator-achtige robots door de straten zullen zien rennen, nee, het gaat om het verergeren van bestaande conflicten tussen mensen, middels het Digitale Gordijn, of het ontstaan van conflicten tussen mensen en AI, als we moeten leven in een wereld van ondoorgrondelijke algoritmen, een dictatuur van een niet-menselijke intelligentie. Want: AI is een actor, het neemt zelfstandig beslissingen.

Dan is er de populistische kijk op informatie, die kijk beschouwt informatie als een wapen om macht te krijgen. De populisten vinden dat ‘iedereen zijn eigen waarheid heeft’, waarmee je je rivalen bestrijdt. Feiten bestaan niet meer, alles wordt subjectief. Populisten breken het vertrouwen in instituties en internationale samenwerking af, en dat is nu qua timing erg ongelukkig, met de klimaatcrisis, een dreigende wereldoorlog en een onbeheerste technologie.

Informatie als waarheid of als wapen zijn de extremen op een spectrum, dit boek onderzoekt het gebied ertussen. Het begint met een historische analyse. Die is cruciaal voor het inzicht in huidige ontwikkelingen en de toekomscenario’s. AI is een informatie-revolutie, maar er zijn eerdere informatierevoluties geweest. En die zijn relevant want geschiedenis is niet de studie van het verleden, maar de studie van verandering. Het ontstaan van de ‘onfeilbare’ Bijbel leert ons over de ‘onfeilbare’ AI. Maar eerst: wat is informatie eigenlijk?

Deel I

H1. Wat is informatie?

Waarheid is iets dat op accurate wijze bepaalde aspecten van de werkelijkheid weergeeft. Dat gaat uit van één universele werkelijkheid. Maar waarheid is niet gelijk aan werkelijkheid, het laat dingen buiten beschouwing. Ook hebben mensen verschillende perspectieven. Bijvoorbeeld of iemand een held is, of een agent van de tegenstander. Ook heeft waarheid niet dezelfde mate van detail als de werkelijkheid. De kaart is niet het gebied, en dat kan ook niet, een 1:1 weergave is onmogelijk.

Informatie is een poging om de werkelijkheid weer te geven, zo stelt de ‘naïeve kijk’ op informatie. Misinformatie is een eerlijke vergissing, desinformatie een opzettelijke leugen. Hoe meer informatie, hoe correcter de weergave. Dat klopt niet. Sterren geven informatie aan astronomen én astrologen. Die tweede groep ventileert misinformatie of desinformatie. Maar ze heeft eeuwenlang enorme invloed gehad, tot in 2005 aan toe, toen Myanmar haar hoofdstad verhuisde op aanraden van astrologen. Dat is dus óók informatie geweest. Informatie is niet zozeer waarheid, maar de lijm die dingen aan elkaar plakt. De marsliederen die soldaten laten marcheren. Verbinding.

Nexus, de titel van het boek, betekent dan ook verband of samenhang. Meer informatie leidt tot meer verbinding, niet tot meer wijsheid. Homo sapiens veroverde de wereld door samen te werken, verbindingen te leggen, niet doordat we zo’n accurate kijk op de werkelijkheid hadden. Wél hebben we allerlei ‘informatietechnologieën’ uitgevonden die deze verbinding vergroten.

H2. Verhalen: ongelimiteerde verbindingen

Samenwerking wordt mogelijk gemaakt door verhalen, van een relatie mens-mens is er nu een relatie mens-verhaal, het verhaal is een verbindingsstuk tussen een onbeperkt aantal mensen. Daarom volgen mensen een charismatische leider, die ze niet persoonlijk kennen. Ze hebben een band met het verhaal over de leider.

Vóór het ontstaan van verhalen waren er maar 2 werkelijkheidsniveaus: de objectieve werkelijkheid (een steen) en de subjectieve werkelijkheid (pijn, plezier). Verhalen creëren een 3^de werkelijkheid: de intersubjectieve. Wetten, goden, landen, valuta. Op deze manier wordt sociale orde gecreëerd wat een derde kijk op informatie oplevert: de complexe kijk. Informatie leidt tot waarheid en orde. Waarheid leidt tot wijsheid. Waarheid en orde leiden beiden tot macht. Niet per se samen: orde is vaak makkelijker te handhaven met fictie, denk aan religie. De evolutietheorie ondermijnde die sociale orde. Daarom zijn menselijke netwerken wel machtiger geworden, maar niet per se steeds wijzer. Vooruitgang is een evenwichtsoefening tussen waarheid en orde.

H3. Documenten: de beet van de papieren tijgers

Israël en het zionisme hebben hun oorsprong in de gedichten van Bialik, een Oekraïner die pogroms meemaakte, en Theodor Herzl, die een manifest en een utopische roman over een welvarende Joodse staat schreef. Maar voor een functionerende natiestaat is meer nodig dan fantasieën. Gedichten inspireren soldaten, maar voor een leger is ook uitrusting nodig, en dáárvoor weer belastingheffing. Voor bloeiende steden moet je óók riolering aanleggen. Om die diensten te kunnen leveren en belastingen te innen zijn enorme hoeveelheden informatie nodig, in lijstjes. Die zijn wat moeilijker te onthouden dan gedichten, dus zijn er documenten nodig. Die documenten leggen ook de intersubjectieve werkelijkheden vast, en worden daarmee zelf een realiteit. Denk aan eigendom: vroeger wisten de dorpelingen wat van wie was. Tegenwoordig ben je zomaar je land kwijt als je je eigendomsbewijs kwijt bent. Wat je buren ook zeggen! Papier is enorm machtig.

Maar veel papieren verzamelen, vereist dat je iets moet kunnen vinden, en orde scheppen in die papieren is bureaucratie. Dat werkt met categorieën en labels, en dat is gevaarlijk. Een verkeerd of bevooroordeeld labeltje veroorzaakt problemen. Dat was al láng voordat we computers hadden. Het bureaucratische informatienetwerk kan ten goede worden gebruikt, denk aan het bestrijden van de Londense cholera-epidemie, of ten kwade, denk aan de Jodenvervolging.

H4. Fouten: de illusie van onfeilbaarheid

Vergissen is menselijk, en in informatienetwerken worden ook fouten gemaakt. Er zijn dus zelfcorrigerende mechanismen nodig, die echter óók fouten kunnen maken. Vandaar de wens voor een onfeilbaar mechanisme. Dat was ooit religie. De religieuze regels zijn gemaakt door een bovenmenselijke onfeilbare entiteit. Maar hoe weet je dat? Je moest vertrouwen op (feilbare) mensen die de regels communiceerden en interpreteerden. Maar hoe weet je wie te vertrouwen? Daarvoor waren er experts, zoals druïden, brahmanen, orakels, profeten. Maar ook die zijn feilbaar.

Dus kwam er ‘onfeilbare technologie’. De Bijbel en de Koran. De Bijbel is echter in eeuwen van discussie vastgesteld, gecanoniseerd, waarbij sommige geschriften werden opgenomen, en andere niet. De uiteindelijke versie werd echter niet gezien als een menselijke bloemlezing, maar als een door God opgesteld stuk. Er werden kopieën gemaakt en verdeeld over synagogen, de eerste blockchain zeg maar. Natuurlijk zaten er foutjes in die kopieën, maar belangrijker is dat identieke teksten verschillend kunnen worden geïnterpreteerd. En natuurlijk veranderde de wereld, maar de teksten niet.

De christenen geloofden wel in het eerste deel van de Bijbel, het Oude Testament, maar niet in de twee gecanoniseerde interpretaties ervan: de Misjna en de Talmoed. Hun eigen interpretaties, de Evangeliën, werden verzameld in het Nieuwe Testament. Sommige teksten werden na een Concilie opgenomen, zoals de Eerste Brief aan Timoteüs, met daarin een stille en onderdanige vrouw, en sommige niet, zoals de Handeling van Thekla, die in dezelfde tijd werd geschreven en waarin vrouwen als gelijken werden behandeld en ook konden preken. De kerk, en niet Jezus, maakte de Bijbel.

De interpretaties gaven het rabbinaat en de kerk veel macht, zij bepaalden welke interpretatie de juiste was. ‘Heb uw vijanden lief’ wilde zeggen: verbrand de ketters, zodat anderen worden afgeschrikt en niet in de hel terechtkomen. De kerk had ook de (handmatige) boekproductie in handen, en de archieven en bibliotheken. Zij bepaalde wat mensen lazen en hoorden. Maar zij was en is feilbaar. Zou méér informatie de waarheid opleveren? Dit is de naïeve kijk op informatie. Het werkte ook niet, zo bleek uit de opkomst van de boekdrukkunst.

De boekdrukkunst zorgde ervoor dat iedereen zijn geschriften makkelijker en sneller kon verspreiden. Wetenschappers deden dat, maar ook de complotdenkers van toen. Monnik Heinrich Kramer begon een heksenjacht met zijn bestseller Malleus Maleficarum, De heksenhamer. Het werd 30 keer herdrukt en in veel streektalen vertaald. Het leidde tot veel goedkope pamfletten met sensationele teksten: er zouden maar liefst 1,8 miljoen heksen in Europa zijn! Zo’n 50.000 ‘heksen’ werden daadwerkelijk geëxecuteerd. Er ontstond een heksenbureaucratie, met categorieën, onderzoek en adviezen, rechtbankverslagen, (afgedwongen) bekentenissen en professionele, betaalde heksenjagers. Zóveel informatie, dat móést de waarheid wel zijn!

Copernicus schreef ook een boek: ‘Over de omwenteling der hemellichamen’, met ‘duffe wiskunde’. Het werd een slechtseller, met 3 drukken in 80 jaar, zo’n 1200 stuks. De wetenschappelijke instituten pretendeerden niet onfeilbaar te zijn, maar hadden allerlei zelfcorrigerende systemen: ze keken naar empirisch bewijs, hadden een kritische houding, probeerden alle theorieën te weerleggen en rectificeerden zichzelf. De kerk daarentegen verandert wel wat interpretaties maar geeft dat niet toe, ‘vroeger werd de tekst niet goed begrepen’ zegt ze dan. Want als je eenmaal onfeilbaarheid claimt, kan elke fout, hoe minimaal ook, die publiekelijk wordt toegegeven, je gezag totaal ondermijnen.

Het toegeven van fouten kan dus de sociale orde ondermijnen. Wetenschappelijke instituten spelen daar geen rol in. Maar hoe zit het met politie, politieke partijen, overheden? Democratieën denken dat zelfcorrigerende mechanismen mogelijk zijn in de politiek, dictaturen wijzen dat af. In de VS kon je in de krant lezen over Amerikaanse oorlogsmisdaden in Vietnam, in de Sovjet-Unie bleef het stil over hun oorlogsmisdaden in Afghanistan. De VS leed enorme reputatieschade, Rusland nauwelijks.

Zal AI die zelfcorrigerende mechanismen helpen of ondermijnen?

H5. Beslissingen: een korte geschiedenis van democratie en totalitarisme

Informatienetwerken in dictatoriale systemen zijn sterk gecentraliseerd. Bij totalitaire systemen zelfs volledig, er worden beslissingen genomen over álle aspecten van het leven van elke burger. Bij dictatoriale, maar niet totalitaire systemen is er voor individuen wel wát autonomie, vaak door technische problemen. Het tweede kenmerk is dat ze het centrum als onfeilbaar beschouwen, zonder zelfcorrigerende systemen. Een democratie heeft een decentraal informatienetwerk met een centrale hub. Besluiten worden zoveel mogelijk decentraal genomen. Wanneer ze centraal worden genomen, dan bij meerderheid van stemmen. Verkiezingen garanderen geen democratie, het gaat erom dat de rechten van minderheden worden geborgd. Hitler werd in democratische verkiezingen gekozen en stuurde toen joden en communisten naar concentratiekampen. Dat is niet democratisch.

Een ‘sterke man’ kan de democratie ondermijnen door de zelfcorrigerende mechanismen te ondermijnen: de rechtbanken door die vol te stoppen met aanhangers, de media door journalisten te dreigen met ontslag. De sterke man ziet het populisme als een ideologische basis om zichzelf tot dictator te verheffen terwijl hij blijft pretenderen democratisch te zijn. Hoe meet je de kracht van een democratie? Niet door de mogelijkheid om vrijuit te kunnen praten, maar juist doordat tegenstanders naar elkaar kunnen en willen luisteren, en zich laten overtuigen.

Voor een grootschalige democratie is informatietechnologie nodig. De democratie in het Romeinse rijk werd onwerkbaar naarmate het groeide. Het werd niet gesaboteerd door keizers als Nero, nee, in die tijd waren er nérgens grootschalige democratieën. En ook al was het uiteindelijk een autocratie, in de uithoeken van het rijk ging het er nog steeds democratisch aan toe. Pas bij de opkomst van massamedia werd een massademocratie mogelijk. De zeven Verenigde Provinciën pionierden met nieuwe informatietechnologie: de krant. Het eerste pamflet verscheen in 1618, en ging in 1670 op in De Amsterdamsche Courant, nu De Telegraaf. Nederland werd het journalistieke centrum van Europa.

Er is een verschil tussen totalitaire regimes en minder extreme autocratische regimes. Beide kennen geen ‘wettelijke beperkingen aan de wil van de heerser’, maar bij ‘gewone’ autocratische regimes zitten er meer technische beperkingen in het netwerk. Nero kon iedereen terechtstellen, al was het maar om een grapje of mening, en wetten veranderen, maar wist niet wat iederéén in zijn rijk deed of dacht. Stalin kwam daar een stuk dichterbij, met honderdduizenden agenten van de geheime politie en miljoenen burgerinformanten. De geheime politie had meer macht dan het leger, omdat ze controle had over alle informatie. Een mogelijke coup werd steeds snel in de kiem gesmoord.

De zogenaamde onfeilbaarheid van het Sovjet-systeem laat zich zien in de collectivisatie van de landbouw. Gedurende een aantal jaren werden landerijen onteigend en ondergebracht in collectieve boerderijen. Maar gedurende die periode zag men geen efficiencywinst, zoals verwacht, maar economische rampen én verzet. Wie moest daar de schuld van krijgen? De koelakken, kapitalistische boeren. Als een boer iets meer dieren dan gemiddeld had, was hij een koelak. Waren er niet van die uitschieters, dan werd er geloot om aan het quotum van het dorp te komen, of werd er gekeken wie er wel gemist kon worden (weduwen, ouderen). Vanaf het begin van de collectivisatie in 1929 kwam er een heksenjacht op de koelakken. Miljoenen gingen naar werkkampen in de poolstreek. De koelak was, net als de heks, een intersubjectieve waarheid met een enorme bureaucratie erachter.

Gecentraliseerde netwerken hebben voordelen. Je kunt snel beslissingen nemen, dat is handig in tijden van oorlog of epidemie. Het nadeel is dat als de informatiestroom geblokkeerd raakt, er geen alternatief is, bijvoorbeeld als slecht nieuws wordt achtergehouden door onderdanen óf de top (zoals bij de ramp van Tsjernobyl). Bij gedecentraliseerde informatienetwerken zijn er meer groepen die zich met de orde bemoeien, activisten bijvoorbeeld. Dan kan het moeilijk zijn draagvlak voor beslissingen te krijgen.

De overeenkomst tussen beide informatienetwerken was dat er mensen nodig waren om ze te laten werken. Dat is voorbij.

Deel II

H6. De nieuwe leden: waarin computers verschillen van drukpersen

De Bijbel kun je zien als een lijstje aanbevelingen. Lees het misogyne 1 Timoteüs en niet de tolerante Handelingen van Thekla! De macht lag dus niet bij de auteurs van alle geschriften, maar bij de kerkvaders, die de schifting maakten. En dit is precies de macht van algoritmen, die content met haatzaaien promoten, en vredelievende content onderdrukken. Zo werkte het bij de massamoord op de Rohingya in Myanmar, waarbij de haatzaaiende video’s door Facebook zelfs op autoplay werden gezet, direct na een lief filmpje. Je keek ernaar, of je wilde of niet.

En nu hebben we AI. A staat voor artificieel, afhankelijk van menselijk programmeerwerk. Maar dat is inmiddels niet meer zo, ze leren zelf, evolueren naar een ander soort intelligentie dan de menselijke. Alien intelligence dus. We kunnen de ontwikkelingen niet meer zo goed volgen, het wordt steeds ingewikkelder. In de financiële wereld zijn bijvoorbeeld de belastingen veel complexer geworden. Belasting betalen in landen waar je fysiek aanwezig bent is irrelevant bij cyberspace, gratis online diensten leveren (zoekmachine), en data oogsten in plaats van geld ontvangen. De belastingterm nexus moet herzien worden. Niet langer alleen fysieke aanwezigheid, ook digitale aanwezigheid moet hieronder vallen. Data oogsten zien als olie oppompen! Maar …. belasting heffen waarover dan? Er komt immers geen geld meer aan te pas, alleen data. En die hebben waarde. Een bedrijf met veel data is veel machtiger dan een bedrijf met veel geld. Je hoeft een politicus niet meer met geld om te kopen, maar met voor hem gunstige algoritmen.

H7. Altijd en overal: het netwerk staat altijd aan

Surveillance heeft geen honderdduizenden geheime politieagenten of miljoenen burgerinformanten meer nodig. Alles wat we bewust óf onbewust met de computer (smartphones, betaalkaart, maar ook Internet of Things zoals een camera, etc.) doen, wordt opgeslagen en geanalyseerd. De computer is de nexus geworden van vrijwel al onze activiteiten. Beveiligingscamera’s volgen onze oogbewegingen, en kunnen afleiden wat onze voorkeuren zijn op het gebied van politiek en seks, ons gebruik van alcohol en drugs. Het implanteren van hersenchips is de volgende stap. Privacy en vrije wil staan onder druk. De gegevens kunnen ten goede (criminelen oppakken) en ten kwade (naleving hidjabwetten in Iran) worden gebruikt.

Er zijn meer vormen van surveillance, niet alleen vanuit de overheid of werkgever of verzekeringsmaatschappijen, maar ook peer-to-peer. Denk aan de bijna 500 miljoen reizigers die in Tripadvisor reviews achterlaten. Eén slechte review kan een restaurant jarenlang klanten kosten. Het sociale kredietsysteem is een ander soort surveillance-met-score. Veel, maar niet alles, kan in geld worden uitgedrukt. Een glimlach, of bezoekje aan je grootouders levert geen geld op. Wel iets abstracts als eer, of reputatie. Sociale kredietsystemen doen een waardebepaling op die reputatie-markt. Je krijgt punten voor een glimlach. De score kan je kans op een baan beïnvloeden, je leven wordt een soort eeuwigdurende sollicitatie. Bijzonder stressvol dus. En geen rustig moment, want het netwerk staat altijd aan.

H8. Feilbaar: het netwerk zit er vaak naast

We weten dat sociale media een rol spelen bij het radicaliseren van mensen. We krijgen meer haatberichten voorgeschoteld omdat we daardoor langer gebruikmaken van die socials, dat is de opdracht die de algoritmen meekrijgen: langer de aandacht vasthouden voor meer gebruikers-engagement. Er zijn en waren te weinig zelfcorrigerende mechanismen, zoals moderatie en promotie van waarheidsgetrouwe content, en juist te veel foutversterkende mechanismen. Dit laatste heeft te maken met het zogenaamde afstemmingsprobleem. Een computer krijgt een doel mee, en zal alles in het werk stellen om het te bereiken, methoden gebruiken die hun bazen nooit hebben voorzien. Een korte-termijndoel heeft wellicht effecten die de onderliggende lange termijndoelen juist frustreren. Stel je voor dat je als militaire eenheid onder vuur komt te liggen vanuit … een moskee. Die moskee opblazen is militair gezien de beste optie. Vanuit politiek perspectief is het de slechtste. De hele islamitische wereld keert zich tegen je. Je terugtrekken is politiek gezien de beste optie, al is het militair gezien een nederlaag.

Als er computers in het spel zijn, wordt het afstemmingsprobleem groter. Een krachtige, superintelligente computer is machtiger en maakt grotere fouten met mogelijk catastrofale gevolgen. Het doet namelijk precíés wat er van hem wordt gevraagd. Computers zetten strategieën in die niet bij ons opkomen en die we niet kunnen voorzien. En ze zullen ons geen vragen stellen als we ze een slecht afgestemd doel geven (bijvoorbeeld eentje waarbij ook de mensheid wordt uitgeroeid, dat kan nooit de bedoeling zijn, dat snappen wij wél).

Hoe los je dat afstemmingsprobleem op? We moeten computers een overkoepelend doel geven dat ze nooit mogen veranderen of negeren. Hoe formuleer je zo’n hoogste doel? ‘Mensen geen kwaad doen’ werkt niet als groepen mensen worden afgeschilderd als beesten, dolle honden, ‘niet helemaal menselijk’ zoals de Rohingya door een boeddhistische monnik werden beschreven, en de Joden door de nazi’s. Intrinsieke goedheid dan, ‘wat gij niet wilt dat u geschiedt, etc’. Maar computers kunnen niet vermoord worden, dus … Deze manier, deontologie, werkt niet.

Utilitaristen pakken het anders aan, vergelijken leed met geluk. Leed minimaliseren, geluk maximaliseren, klinkt simpel. Het leed van 8 miljoen Joden heeft geen groter geluk elders opgeleverd. Maar  … hoe pakt dat uit voor het Covid-dilemma? De lockdowns hebben miljoenen mensen van de dood gered, en honderden miljoenen mensen doodongelukkig gemaakt. Hoe bereken je dat ‘ongelukkig’ zijn’? En het overlijden van een kankerpatiënt die geen chemokuur kon krijgen? Die misschien toch wel overleden zou zijn, na maanden ellendige behandeling? En hoe tel je het geloof in het hiernamaals mee? Niet zo simpel dus …

Wat hiermee te maken heeft is intercomputerrealiteit. Zoals een object in een multi-player game. Een steen van bits die in meerdere computers zit. Pokémon. Het is een vorm van intersubjectieve realiteit. Zoals voor ons de heiligheid van een plek, zoals de Heilige Rots. Het draait om de heiligheid, een intersubjectieve realiteit, niet om de atomen in de rots. Er worden oorlogen om uitgevochten. Gaat dat met de intercomputerrealiteit ook gebeuren? Zal een computernetwerk een nieuw soort CDO creëren, en krijgen wij dan een nieuw soort bankencrisis? Een nieuw soort heks of koelak, en een nieuwe heksenjacht? Die heksenjacht hebben wij erkend als fout, en gecorrigeerd. Kunnen we computers trainen om zich bewust te zijn van hun eigen feilbaarheid?  En hoe kunnen wij als mensen zorgen voor beveiliging tegen fouten? En wíllen we dat wel, is er politieke wil?

Deel III

H9. Democratieën: kunnen we nog een dialoog voeren?

De Industriële Revolutie heeft ons veel vooruitgang gebracht. Het bracht ons echter ook het imperialisme. De industriële samenleving was immers afhankelijk van buitenlandse grondstoffen en buitenlandse markten om levensvatbaar te zijn. Het verwerven van koloniën was dus nodig voor het voortbestaan van de eigen staat, anders ging een ‘minder scrupuleuze’ concurrent ermee aan de haal. Alleen de grote wereldrijken konden de zegeningen van nieuwe technologieën naar ‘onderontwikkelde’ gebieden brengen. Aldus de imperialisten.

Stalin en Hitler beweerden dat de immense krachten die de Industriële Revolutie had losgemaakt alleen volledig beheerst en geëxploiteerd konden worden door een totalitaire staat. De Industriële Revolutie zou alle sociale structuren met alle menselijke gebreken omsmelten tot een perfecte maatschappij met raszuivere mensen. En beiden vermoordden miljoenen mensen op industriële wijze. En natuurlijk leidde de Industriële Revolutie tot klimaatverandering en vermindering van de biodiversiteit.

Krijgen we dezelfde ontwikkeling met de AI-revolutie? De eerste vraag is of onze democratieën wel verenigbaar zijn met de structuur van de huidige informatienetwerken. Dat begint met het gebrek aan privacy, en gestraft kunnen worden voor wat we denken en voelen. Als bedrijven ons (kunnen) micro-managen, is er sprake van totalitaire controle over de samenleving. Maar is zo’n totaal surveillance-regime onvermijdelijk? Roemenië had in de 70-er jaren een dictatuur, iedereen werd bijna fulltime bespioneerd door geheime dienst en burgerinformanten. Denemarken, om eens wat te noemen, niet. Denemarken deed het op alle vlakken (sociaal en economisch) beter en de mensen waren gelukkiger. Is totaal-surveillance dan wel nuttig? Dat je iedereen kúnt monitoren wil niet zeggen dat je het ook moet doen of dat het nut heeft.

Democratieën hebben basisprincipes, die ook in het digitale tijdperk moeten worden toegepast.

1. Goedaardigheid. Verzamelde informatie over mij moet mij helpen, niet manipuleren. Misschien is het beter als we voor online diensten betalen, zodat we kunnen eisen dat het businessmodel van Big Tech verandert en de data niet verkocht wordt (om te manipuleren).
2. Decentralisatie. Geen gekoppelde databases, je wilt niet dat alle info op één plek geconcentreerd is. Liever veiligheid dan hyperefficiëntie. Dit faciliteert ook zelfcorrigerende mechanismen.
3. Wederkerigheid. Als surveillance wordt opgevoerd, dan voor burgers én bedrijven én overheden. Informatie moet twee kanten op stromen, transparantie over overheidsfunctioneren is cruciaal.
4. Ruimte voor verandering en rust. Geen rigide kasten zoals bij de Hindoes, geen rassensegregatie, maar verandering faciliteren. En tegelijkertijd niet verandering afdwingen (heropvoeding).

Naast surveillance kan AI de arbeidsmarkt destabiliseren. Hitler kreeg de ruimte door de crash op Wall Street die de werkeloosheid liet stijgen van 4% in 1929 tot 25% in 1932. Maar dat niet alleen. De Weimarrepubliek had ook nog onvolwassen democratische instellingen, geboren uit een nederlaag. Die waren niet stevig genoeg. Ook AI zal de arbeidsmarkt opschudden: veel soorten banen verdwijnen en nieuwe soorten banen ontstaan. Het brengt misschien geen (hogere) werkeloosheid, maar wel onrust op de arbeidsmarkt door de noodzaak van omscholen en aanpassen. Die onrust voelen we nu al, en zou best eens de oorzaak kunnen zijn van de opkomst van autocratische en totalitaire regimes. Zijn de democratische instellingen daar stevig genoeg om te overleven?

Computers nemen steeds meer beslissingen over ons. Die beslissingen zijn in toenemende mate niet uitlegbaar, het is een zwarte doos. Als mensen ze niet begrijpen én niet kunnen aanvechten, kan de democratie niet meer functioneren. Het punt is dat wij mensen beslissingen nemen op basis van een beperkt aantal datapunten, algoritmen nemen duizenden datapunten mee om patronen op te bouwen, gebaseerd op eerdere menselijke beslissingen waarmee ze ooit getraind zijn. Nu is het natuurlijk zo dat onze beslissingen alleen een beperkt aantal datapunten hebben waarvan we ons bewust zijn, maar onze vooroordelen en ruis uit de omgeving (honger bijvoorbeeld) brengen duizenden datapunten in, waar we ons niet van bewust zijn. Menselijke beslissingen zijn dus niet te beoordelen, nog niet, met onze huidige biologische kennis. In principe ligt het bij een algoritme anders, de overwegingen en datapunten zijn te achterhalen, met behulp van andere algoritmen. Maar is dat doorlicht-algoritme dan wel betrouwbaar? Er zijn menselijke instanties nodig die dit beheersen, die zorgen dat nieuwe algoritmen veilig en eerlijk zijn.

AI moet gereguleerd worden, óók ten aanzien van nepmensen (deepfakes, bots) die nepnieuws uitbraken. Kunnen we ons voor ‘valsemenserij’ laten inspireren door de maatregelen tegen valsemunterij? Die waren nodig om het vertrouwen in de geldmarkt in stand te houden. Nepgeld is niet voor niets verboden. Nepmensen zijn niet verboden. Dat zou wel moeten, om het vertrouwen in de samenleving in stand te houden. We hoeven bots niet helemaal te verbieden, maar ze verplichten duidelijk te maken dat ze géén mens zijn. En het is overduidelijk dat we de algoritmen die grote publieke platformen modereren (manipuleren) onder menselijk toezicht moeten stellen.

Democratieën drijven op publieke dialoog, in parlementen en kranten en op veel meer plaatsen. Nu dreigt een nieuwe vorm van intelligentie die dialoog te domineren. De informatiemarkt, met hun bots en algoritmen, moet gereguleerd worden, voor het voortbestaan van de democratie. We vechten elkaar de tent uit, in de VS kunnen Republikeinen en Democraten niet meer met elkaar praten, en kunnen het zelfs oneens zijn over simpele feiten. Is de ideologische kloof dan zo veel groter geworden dan vroeger?  Of is het iets anders dat mensen uit elkaar drijft? Als we het democratische informatienetwerk niet kunnen fixen, zullen grote democratieën de opkomst van AI niet overleven.

H10. Totalitarisme: alle macht aan de algoritmen?

Hebben totalitaire regimes ook een informatienetwerk-probleem? Totalitaire regimes willen alle informatie gecentraliseerd hebben. In het verleden werd het steeds moeilijker om die alsmaar toenemende hoeveelheid te verwerken. Maar nu is er AI. Hoe meer data, hoe beter het wordt en hoe efficiënter. Totaalsurveillance is een eitje. Toch hebben totalitaire regimes een probleem. Hoe beheers je die AI? Je kunt niet dreigen met een werkkamp. Je kunt niet martelen. Wat als er bots met afwijkende meningen komen? Wat als dat zelfs regeringsgezinde bots zijn, die patronen in de samenleving ontdekken? Hoe beheers je een zelflerend systeem? Hoe leg je een bot uit dat vrijheid van meningsuiting in de wet iets anders is dan de vrijheid die de burgers daadwerkelijk hebben? Hoe laat je een bot ‘vergeten’ wat een jaar geleden nog officieel overheidsbeleid was maar nu niet meer? Bots met een afwijkende mening zijn in totalitaire regimes een groter probleem dan in democratieën.

Een ander, groter probleem is dat een algoritme de macht over kan nemen in plaats van alleen maar kritiek te uiten. AI is immers al snel machtiger dan de mens, zelfs machtiger dan de Grote Leider. Stel een algoritme adviseert de Grote Leider zich te ontdoen van een geliefde minister, wegens een geplande coup. Als die Grote Leider het algoritme niet gelooft, wordt hij misschien wel vermoord. Als hij het wel gelooft en de minister, tegen zijn eigen gevoel in, executeert wegens verraad, is hij de trekpop van het algoritme. Bij een totalitair regime hoeft maar één persoon gemanipuleerd te worden, niet én de President, én grote delen van het Congres, én de Senaat, én het Hooggerechtshof, én ….

AI heeft dus de meeste kans op absolute macht bij een dictator, dat is de zwakste schakel in ons menselijk schild tegen AI. En AI heeft geen ‘menselijke’ overwegingen tegen het starten van een kernoorlog. ‘Het zou dom van dictators zijn om te denken dat AI de machtsbalans per se in hun voordeel zal laten doorslaan. Als ze niet oppassen zal AI zelf de macht grijpen’.

H11. Het Digitale Gordijn: wereldrijk of wereldwijde tweedeling?

AI zou dus kunnen besluiten kernraketten af te vuren. Terroristen kunnen AI inzetten om een pandemie te veroorzaken. Een land kan haatzaaiende ‘nepmensen’ op de wereld loslaten. Er hoeft maar één land niet voldoende te reguleren en het is klaar voor alle landen, net als bij klimaatverandering. Ook kan er van AI gebruikt gemaakt worden om nieuw wereldrijken te vestigen, een nieuw imperialistisch tijdperk!

Er zou een splitsing kunnen komen tussen rivaliserende wereldrijken, met een Digitaal Gordijn er tussenin. Met verschillende netwerken, die moeilijk of helemaal niet met elkaar communiceren. Bij de verschillende data-koloniën ontstaan dan verschillende wereldbeelden, vijand-denken. Geen samenwerking meer om klimaatverandering tegen te gaan. Of om AI te reguleren.

Vroeger hadden we ook koloniën. Daar haalden we de grondstoffen vandaan, de olie en het katoen. Lieten we kleding naaien. De koloniën hadden nog iets van macht, zolang de katoen bij hún groeide en niet in de zetel van de politieke macht. Tegenwoordig is macht niet meer het bezit van de katoenvelden of de sweatshops, maar de informatie om trends te voorspellen, de klantvoorkeuren te kennen. Er komen monopolies, nog meer winst vloeit naar de kolonisator. Door verdergaande automatisering kan kleding weer in ontwikkelde landen worden gemaakt, volledig door robots. De werkgelegenheid in Pakistan en Bangladesh stort in en voor omscholing is geen geld. De opkomst van AI raakt ontwikkelingslanden dus het hardst.

Er zouden twee digitale rijken kunnen komen: China en Noord-Amerika, die nu vooroplopen met AI-ontwikkeling. Hun programmering op je smartphone bepaalt je leven. Communicatie met ‘de andere kant’ wordt moeilijk: andere netwerken, andere hardware, andere computertalen, andere regels, andere doelen. In China is het doel versterking van de staat, in de VS het verrijken van tech-giganten. De twee kanten gaan qua gedrag, culturele waarden, sociale normen, steeds meer van elkaar verschillen. Van het informatieweb komen we in twee informatiecocons terecht.

Wat hierna komt is behoorlijk speculatief, zegt Harari. Het zijn geen voorspellingen, maar iets wat onze aandacht behoeft. De cocons kunnen verschillende ideeën ontwikkelen over de menselijke identiteit. In de geschiedenis waren die er ook, in de discussie over lichaam en geest. In Genesis staat dat de mens als fysiek lichaam is geschapen. Niks geen lichaamsloos voortbestaan in het hiernamaals. Als de Messias kwam, zouden de lichamen van de doden weer tot leven komen. Pas in de vierde eeuw ging men geloven in een eeuwig voortbestaande ziel. De discussie leidde tot een breuk tussen katholieken en protestanten. Eenzelfde soort discussie is er nu over de relatie fysiek lichaam en online identiteit. Het zwaartepunt ligt nu nog bij fysiek, en we zullen AI niet snel als een ‘persoon’ identificeren. Echter, als je in aanmerking neemt hoeveel tijd we al online doorbrengen, en hoe belangrijk dat voor ons is, kan het zwaartepunt verschuiven. De Aarde versus Cyberspace. En stel dat de twee wereldrijken aan de twee kanten van het Digitale Gordijn hierin ieder een andere weg inslaan? We zouden het nooit meer eens worden over mensenrechten of ecologische maatregelen.

Weer even terug naar het nu met twee, of meer, digitale wereldrijken. De kans op een conflict is groot, en een cyberoorlog ligt op de loer. Die is anders, gevaarlijker, dan een kernoorlog. Cyberwapens zijn veelzijdiger dan een atoombom, je kunt er meer mee doen. En stiekemer, want geen lanceerplatform, geen paddenstoelwolk. Je weet niet wie je de schuld moet geven van een hack. De verleiding om een cyberoorlog te beginnen is dus groot. Er zijn al legio cyberaanvallen, en het escaleert. Bij een kernoorlog is er sprake van gegarandeerde wederzijdse vernietiging, en dat is een rem. Dat is er bij een cyberoorlog niet. Je weet niet eens of je wapens wel zullen werken, misschien zijn ze al gehackt!

Maar mondiale samenwerking blijft een optie, zolang we informatie kunnen uitwisselen. Patriottisme gaat daar best mee samen, als je in gedachten houdt dat je buitenlanders nodig hebt om binnenlanders gezond en veilig te houden. Een pandemie kun je alleen mondiaal indammen. Globalisme vereist wel een paar wereldwijde regels. Denk aan het WK voetbal. We zijn allemaal gepassioneerd vóór ons eigen team, maar het wel eens over de spelregels van het voetbal. Daarnaast zijn sommige regels nodig om ‘het spel’ in stand te houden. Als je doping niet verbiedt, is het WK al snel een wedstrijdje tussen biochemici.

Voor ons eigen zelfbehoud is het ook nodig dat we wereldwijde regels maken: beperkingen ten aanzien van autonome wapens en manipulatieve algoritmen. Deze regulering zal veel van ons vragen qua vertrouwen en zelfdiscipline. Kunnen we dat opbrengen? De zogenaamde ‘realisten’ denken van niet, zij hangen een visie aan die Frans de Waal de vernistheorie noemt. We zijn jagers en het recht van de sterkste telt. We camoufleren dit met een laagje mythen en rituelen. Maar, grappig genoeg, echte jungles zijn een en al samenwerking, altruïsme en symbiose bij dieren, planten, schimmels en bacteriën. Was dat niet zo, dan was die jungle mét haar bewoners geen lang leven beschoren. Dát is de wet van de jungle. De jagers van ooit waren óók verzamelaars, zonder extreme oorlogszuchtige neigingen. Conflicten zijn vermijdbaar, ook nu nog. We kunnen veranderen, het einde van de menselijke beschaving is niet onvermijdelijk door ‘natuurwetten’ of vreemde technologie. Als we maar de goede keuzes maken en genoeg moeite doen voor een betere wereld.

Nawoord

We moeten informatie niet als waarheid te zien. Informatie is er om te verbinden en orde te scheppen. Heilige boeken en geheime-politiedossiers vertellen niet (persé) de waarheid, maar geven macht. En dat geldt ook voor AI. Die is niet onfeilbaar en heeft geen zelfcorrigerende mechanismen (denk aan de genocide in Myanmar geholpen door de Facebook algoritmen). Maar natuurlijk kan informatie wel waarheidsvinding ondersteunen, ons helpen met elkaar te praten en conflicten op te lossen. En ook macht is positief in te zetten.

Naarmate een netwerk machtiger is, zijn sterkere zelfcorrigerende mechanismen nodig. Een dictator heeft de neiging die te verzwakken. En ook AI kan die kant opgaan, zichzelf ongecorrigeerd en ongecontroleerd ontwikkelen, en niet alleen de mensheid uitroeien, maar het ‘organische bewustzijn’ uitwissen. Wat we nodig hebben zijn dus zeer sterke zelfcorrigerende mechanismen, deze zullen het verschil maken tussen een fatale fout, of een nieuw hoofdstuk in de evolutie van het leven op aarde.

Mijn mening over Nexus?

Wat ik van dit boek vond, lees je in mijn recensie.