"01000101 01100101 01101110 00100000 00101101 00100000 01110010 01101111 01100010 01101111 01110100 00100000 01110111 01100101 01100101 01110100 00100000 00101101 00100000 01101110 01110101 01101100 00101110"

— "Een - robot weet - nul."
Roderic Winkelhorst

IN DE BIN[AI]RE WERELD

De robotschrijver niet langer een utopie?

Categorie: Schrijven

door


Robots duiken tegenwoordig overal op, ook in de schrijverswereld. Gelukkig zien we er - ondanks de soms ernstige retrospectieve jaloezie - nog geen killer robots. Nee, voor deze branche is met name de artificiële intelligentie (AI) van de robot interessant. Want stel je eens voor, een robot die een groot deel van je schrijfwerk uit handen neemt, de redactie verzorgt, én het manuscript in acht talen vertaalt. Handig toch?

En nog veel belangrijker... nooit meer dat vervelende writer's block.

Het idee is op zich niet zo gek. In de muziek- en kunstwereld heeft de toepassing van AI al voor successen gezorgd. Kunstenaars als Mario Klingemann en Sougwen Chung gebruiken het als uniek verkoopargument. Niet langer is het belangrijk wat de kunstenaar met zijn/haar 'penseel' doet, maar welk algoritme daarvoor wordt bedacht.

Laten we daarom maar eens gaan kijken wat kunstmatige intelligentie eigenlijk is, en of robots er ook verhalen mee kunnen schrijven.

robots die boeken schrijven met_behulp van kunstmatige intelligentie.

Autonoom vechten kunnen ze al, maar hebben ze ook schrijftalent?Foto: Happystock

Artificiële intelligentie

Intelligentie is een lastig definieerbaar begrip. Wat vaststaat is dat het raakt aan het denkvermogen. In de menselijke hersenen zorgen zenuwcellen (neuronen) voor het ontvangen, verwerken en verzenden van informatieprikkels. Niet de hoeveelheid neuronen, maar het aantal verbindingen tussen deze cellen is bepalend voor de mate van intelligentie.

Artificiële intelligentie, ook wel afgekort als AI, is een technologie die als het ware de werking van neuronen in het menselijk brein nabootst. Dit proces vindt plaats in een zogenaamd artificieel neuraal netwerk (ANN) dat uit meerdere lagen is opgebouwd, zoals in figuur 1.

Om de met elkaar verbonden neuronen (nodes) in dit netwerk te laten functioneren, wordt gebruik gemaakt van slimme algoritmen die het kunstmatig brein taken laten uitvoeren. Hierbij krijgt het AI-brein bijvoorbeeld een bepaalde instructie of vraag [A] die tot resultaat [X] moet leiden. Alle gelaagde neuronen in het netwerk hebben daarbij een zeker gewicht dat van invloed is op de uiteindelijke uitkomst.

artificieel neuraal netwerk (ANN)

Figuur 1. Een artificieel neuraal netwerk met meerdere beslissingslagen. © Libersyne

Van goede resultaten [X] leert het systeem hoe het daartoe kwam. Bij onjuiste uitkomsten [Y] moet het proces opnieuw worden doorlopen; net zolang totdat het neurale netwerk de juiste gewichten en verbindingen aan de (tussenliggende) nodes heeft toegekend. Dit noemen we ook wel het zelflerend vermogen.

Door zo'n neuraal netwerk uitgebreid te trainen met Big Data worden de uitkomsten steeds nauwkeuriger. Het resultaat stelt bijvoorbeeld een robotauto in staat zelfstandig deel te nemen aan het verkeer. De AI kan dan het geleerde consequent toepassen bij verschillende verkeerssituaties. Denk aan het herkennen van een stopbord en het vervolgens verlenen van voorrang aan het van rechts komend verkeer.

Hierbij vergeleken moet het leren schrijven voor het robotbrein niet zo moeilijk zijn, toch?

De schrijvende robot

Het idee om robots boeken te laten schijven is niet nieuw. In Orwell’s ‘Nineteen Eighty-Four’, maakte het ministerie van Waarheid al gebruik van zogenaamde ‘novel-writing machines’. Daarmee was het fictieve ministerie zijn tijd ver vooruit. Pas in 1956 - zeven jaar na het verschijnen van Orwell's boek - viel in de wetenschappelijke wereld voor het eerste de term kunstmatige intelligentie. Het leidde tot een enorme hype waarvan al snel bleek dat het de torenhoge verwachtingen niet zou kunnen waarmaken.

De afgelopen jaren staat kunstmatige intelligentie echter weer volop in de schijnwerpers. Dit heeft het te danken aan het bedrijfsleven dat een miljarden markt heeft gevonden in de concrete toepassing ervan. Zoals bijvoorbeeld op het gebied van taal- en tekstherkenning. Hierbij kun je denken aan Natural Language Processing (natuurlijke taalwerking). Een technologie die wordt gebruikt om computers te helpen de natuurlijke taal van de mens te begrijpen. Deze technologie zien we bijvoorbeeld terug bij de bekende personal assistents SIRI en Alexa, mensachtige femdroids en bij chatbots in callcenters.

Voor machines is het geen eenvoudige opgave om te leren begrijpen hoe wij communiceren; toch is het juist die kennis die een robot nodig heeft om een leesbaar boek te schrijven. Een onderzoekslab dat het robotbrein daarbij helpt, is het in San Francisco gevestigde OpenAI.

artificieel neuraal netwerk (ANN)

Sam Altman, CEO van OpenAI (links) en Microsoft CEO Satya Nadella Foto: Microsoft

Onder de naam GPT-2 ontwikkelde OpenAI een revolutionair taalmodel dat robots in staat stelt natuurlijke teksten te genereren. Het daarvoor gebruikte neurale netwerk kan niet alleen woorden creëren, maar ook zinnen en alinea's maken die niet te onderscheiden zijn van door mensen geschreven inhoud.

Het bijzondere aan GPT-2 is dat het model is getraind om steeds het volgende woord in een tekst te voorspellen. Dat het zichzelf daarnaast ook vaardigheden aanleerde op het gebied van vraagbeantwoording en vertalen was voor de ontwerpers een welkome verrassing. Het robotbrein kan daarmee uit de voeten in tekstdomeinen waar het niet specifiek voor is getraind. Dit noemen we ook wel 'zero-shot'.

Zo open als de naam OpenAI doet vermoeden, was de Amerikaanse firma aanvankelijk niet. Volgens Sam Altman, CEO van OpenAI, kwam dit vanwege het potentiële gevaar dat de technologie met zich meebrengt. Bijvoorbeeld de mogelijkheid tot het genereren van fake news of gevaarlijke ideologieën. Uit angst hiervoor creëerde OpenAI eerst een AI-toepassing die door robots geschreven teksten kan opsporen. Pas daarna stelde zij de volledige code beschikbaar aan wetenschappers. Een gang van zaken die bij Orwell's ministerie van Waarheid in Nineteen Eighty-Four uiteraard ondenkbaar zou zijn geweest.

Het robotbrein aan het werk

Voor onderzoeksdoeleinden is het mogelijk om te experimenteren met het getrainde robotbrein van OpenAI. Om deze robot aan het schrijven te zetten moet minimaal een startzin worden opgegeven. Hoe meer informatie aan de robot wordt verschaft, hoe specifieker het verhaal wordt. Gelukkig kan het brein daarbij uit de voeten met zowel fictie als non-fictie. Ook is het niet vies van het bedenken van (eetbare) recepten. Opgemerkt moet wel worden dat wanneer de output niet wordt begrensd, er zowaar een lijvig boekwerk uitrolt.

Onderstaande tekstpassage is een in lengte beperkt voorbeeld van wat de robot bedacht nadat ik de volgende startzin invoerde: "I did not know what to think, could robots really write?" Het robotbrein analyseerde de input en schreef:

My mother used to make me teach her the ways of poetry, but what on earth did robots have to say? At the age of seven, I fell in love with The Simpsons. The show's animated characters - Marge, Homer, Bart, Lisa - behaved like people. We all felt this way, though not at the same time. Some people thought I was ridiculous. But Marge - who is a human being like us - looked at me and said, 'That's the kind of person I want my children...

Voor een tweede test veranderde ik de input naar: "What mystery is hidden here?" Linda asked." Mijn hoop dat de robot zou kiezen voor een dialoog in het fictiegenre kwam uit.

"Good question," Shane said, in a distinctly less soothing tone. "I don't want to spoil the fun. That's what I've been doing over the last few years."

"That means you're an adventurer," Linda said.

"Yes," Shane said, his expression bleak. "But I prefer not to use the word, as it conveys a negative image. The word adventurer also implies some romance, adventure and success, which isn't my impression of what I do."

"The point is," Linda said, "you've been setting yourself up for failure and misery."

"You're doing it to yourself," Shane answered.

Eerlijk is eerlijk, je zou zo op het eerste gezicht niet zeggen dat een robot dit uit de losse pols geschreven heeft. Laat staan een robot die woord voor woord zelf de zinnen opbouwt en dus niet bestaande regels kopieert. Ook niet wanneer tien keer dezelfde input wordt ingevoerd.

Alhoewel bovenstaande niet voor een wetenschappelijk onderzoek mag doorgaan, valt inhoudelijk op dat de robot goed gebruik heeft gemaakt van de opgegeven beginzin (input). Dit ondanks het feit dat deze erg kort was. Nadat ik buiten deze voorbeelden, langere teksten invoerde, speelde het resultaat nog beter in op de bijzonderheden van de opgegeven tekst. Natuurlijk zijn er wel kanttekeningen te plaatsen bij sommige tekstkeuzes, maar waar het in de kern om gaat is dat de tekst natuurlijk over komt.

Problemen zijn te verwachten bij het consequent gebruik van de namen en karaktereigenschappen van de personages in een verhaal. Dit zie je bijvoorbeeld bij de eerste tekst, waarbij Mage zowel een tekenfilmpersonage als mens van vlees en bloed is. Is dit een perceptiefout van de robot of een ongelukkige naamkeuze?

Over de robot valt nog veel meer te zeggen, bijvoorbeeld over zijn uitstekende analytische vaardigheden, maar dit gaat voorbij aan de scope van dit artikel.

Grover

Om nog doelgerichter te kunnen schrijven worden er ook alternatieve versies van GPT-2 ontwikkeld, zoals Grover van het in Seattle gevestigde Allen Insitute for AI. Bij Gover heeft de gebruiker meer controle over het eindresultaat. Anders dan GPT-2 is Grover specifiek getraind op het schrijven van geloofwaardig neuraal fake news. Die geloofwaardigheid wordt bijvoorbeeld vergroot door bij de gegenereerde tekst te controleren of het voldoende aansluit op de titel. Grover heeft inmiddels zoveel krantenartikelen geanalyseerd, dat het in staat is eigen nieuwsartikelen en recensies te schrijven die niet van echt te onderscheiden zijn.

Als test gaf ik de volgende headline op: 'Why Donald Trump won't settle for less.' De robotredactie bedacht het volgende 'nieuws':

nytimes.com

Why Donald Trump won't settle for less

January 7, 2020 - Paul Krugman

Signs all over the country suggest that Americans, believing that China was taking advantage of the United States, have run out of patience with the Trump administration’s trade war. President Trump’s trade policy, during which Washington has imposed unilateral tariffs and threatened to do so again, has played out over the past 18 months as a classic episode of the principal advantage Trump has over his predecessors: the capability to make his opponents feel as if they have achieved nothing.

Trump has taunted President Obama’s amiability with China. He has mocked Bill Clinton’s attempts to further relations with Beijing. Barack Obama, for his part, has responded, by accusing Trump of engaging in deception and one-upmanship.

And his threats have sent the fear factor throughout the world. Instead of the usual reciprocity and patience, global markets have been reacting to every trading shock, with anxiety about future trade disputes often leading investors to dump riskier assets. Trump’s single-minded willingness to use the rules against a prior opponent has plunged the United States into a standoff with China that is having an effect on the global economy. ...

The solution, like many others, would be to settle for less. Trump’s own economic advisors and allies in Congress and the media have called for him to lower his tariffs in return for greater Chinese cooperation on trade. Let China lower its tariffs on U.S. automobiles or U.S. corporate exports and Trump could lower or completely eliminate his tariffs. On the other hand, China could accept Washington’s calls for bilateral talks rather than impose retaliation, agreeing to continue removing restrictions on foreign capital into China and opening its markets in other sectors. There are plenty of other ways for Beijing to make concessions that are in America’s interest.

But Trump will not settle for less. Even after the allies convinced him to drop his tariffs on steel and aluminum (since the Chinese are major purchasers of those commodities, he likely felt they had to take some of the blame), Trump was too enraged by the deal to recognize it. If anything, he is even more eager to find another line of attack. And his allies don’t seem to realize that. They were no better at identifying the problem and resolving it than Trump was.

The result, obviously, is increased fear about the prospect of worsening trade conflict. The prospect of even more unrestrained U.S. behavior — not to mention the prospect of losing leverage to use as leverage — makes life even more miserable for China and other important Chinese trading partners. But Trump isn’t having it.

As Tom Milnam suggests in The Washington Post, the worst outcome is a scorched-earth policy in which no resolution is reached and all sides end up even more mistrustful of one another than they were. But even a compromise would only buy some time.

So far, Trump has shown that his advisors and allies haven’t a clue how to deal with him. But they should try, because he’s clearly getting worse at strategic thinking and negotiating. If Washington can’t stick to a basic rule of international trade negotiations — no one wins if everyone loses — then nothing can stop Trump from taking advantage of a situation where he has nothing else to lose.

Wie scannend leest zal het simpelweg niet opvallen dat het om fake news gaat. De actualiteit van het bericht is werkelijk spot on, zelfs op de input wordt specifiek ingegaan. Dat de fictieve Tom Milnam van de Washington Post ook nog even als 'gehoorde' bron wordt aangehaald, maakt het griezelig echt.

Allemaal leuk en aardig, hoor ik je denken, maar een vakjury trapt daar toch niet in?

De Vakjury

Een groep wetenschappers van de Future University Hakodate in Japan nam de proef op de som. Onder leiding van Hitoshi Matsubara ontwierpen zij een schrijfrobot om mee te dingen naar de derde Nikkei Hoshi Shinichi Literary Award. Een Japanse literatuurprijs die is vernoemd naar de fictieschrijver Shinichi Hoshi, en waar ook robots aan kunnen deelnemen. Aan de jury wordt vooraf niet medegedeeld of er kunstmatige intelligentie is gebruikt.

Hitoshi_Matsubara.

Professor Hitoshi Matsubara zet robots aan het schrijven.Foto: Mainichi Japan

Matsubara's team zette stevig in, maar liefst twee robotnovelles werden ingezonden. Tot veler verrassing kwam een hiervan door de eerste voorronde heen. De titel van de inzending was heel toepasselijk ‘Konpyuta ga shosetsu wo kaku hi’, ofwel ‘De dag dat een computer een roman schijft’. Een verhaal over een robot die besluit niet langer dienstbaar te zijn aan de mens en zich volledig te gaan richten op het schrijven.

The clouds hung low that day in an overcast sky. Inside, though, the temperature and humidity were perfectly controlled. Yoko was sitting lazily on the couch, passing the time playing pointless games.

Aan het schrijven - waarvan je het prille begin hierboven leest - gingen enkele jaren van voorbereiding vooraf. In het project met de naam 'The whimsical AI project: I am a writer', maakte het robotbrein eerst kennis met zo'n duizend korte verhalen van Shinichi Hoshi. Dit met als doel om de robot de schrijfstijl van de in 1997 overleden Hoshi aan te leren, inclusief de juiste balans tussen het gebruik van kanji en hiragana.* De ontwerpers schreven daarna een voorbeeldverhaal dat als referentie voor de robot diende. Dit verhaal werd vervolgens opgedeeld in drie basiscomponenten bestaande uit woorden, zinnen en zinsstructuur. Op basis van deze parameters gebruikte de robot een algoritme om tot een nieuwe novelle te komen, die als variatie op het voorbeeldverhaal kan worden beschouwd. Voor de liefhebbers van getallen: het aantal mogelijke verhaalvariaties bedroeg een miljoen.

Op het eindresultaat bracht het team geen veranderingen aan. Was het verhaal langer geweest - en had het veel dialogen bevat - dan zou er sturing nodig zijn geweest wat betreft het plot en de karakterisering van de personages. Het volledig autonoom en automatisch laten uitwerken hiervan werd bij geen van de twee inzendingen toegepast. Voor de toekomst voorziet Matsubara wel meer mogelijkheden om deze keuzes van AI te laten lijken op menselijke creativiteit. Het behalen van de eerste van de vier rondes betekent vooralsnog - als resultaat - niet meer dan dat het verhaal op de jury natuurlijk overkwam.

Schrijven met gezond verstand

Het zou interessant zijn om te zien hoever een met behulp van GPT-2 geschreven boek kan komen op het 8e boekenconcours dit jaar. Na Matsubara is het niemand gelukt om dat resultaat te evenaren. GPT-2's brein is veelzijdiger, autonomer en geavanceerder dan het model van de Future University Hakodate. Meer dynamiek in het verhaal mag dan ook worden verwacht, maar of de derde of vierde ronde van het concours haalbaar is... het lijkt me niet. Elke volgende ronde stelt hogere eisen aan de creativiteit, een eigenschap die zich moeilijker in taalmodellen laat vangen.

Wij - als mens - kunnen dingen zien en verwerken die we nog nooit eerder hebben waargenomen. Een AI moet daarvoor eerst getraind worden met data. Het kan, mits voldoende data voorhanden is, zich de schrijfeigenschappen van andere auteurs eigen maken, en een vergelijkbaar boek voortbrengen. Zo'n resultaat doet me denken aan de plateauvervlakking waar ik vorig jaar over schreef. Op zichzelf genomen is dat best knap, maar deze AI-vormen behoren niettemin nog steeds tot de overwegend zwakke AI's. Het voorbij de afgebakende taak denken gaat zo'n robotbrein moeilijk af. Kijk maar naar SIRI, die vragen buiten het gebruik van de telefoon niet (goed) beantwoordt.

Schrijfrobot.

Elise leert robot NAO spellen.

Omdat de resultaten van GPT-2 zo goed lijken doordacht, is het moeilijk voor te stellen dat dit niet zozeer te maken heeft met 'echte' intelligentie, maar veeleer met het veinzen ervan. Dat komt omdat het systeem geen echt cognitie, ofwel denkvermogen heeft zoals het menselijk brein. Daarvoor heeft de AI tevens een (zelf)bewustzijn nodig en daarmee ook de conatieve functies als willen, streven, handelen en de bijkomende affectieve functie die bestaat uit emoties. Het volledige spectrum van de cognitieve, conatieve en affectieve functies is meer omvattend dan een neuraal netwerk als zodanig. Voor zover een robot emoties kan onderscheiden, is dit voor de AI uiterlijk slechts een brok data en mist het tevens de chemische of hormonale component die elk menselijk brein beïnvloed bij de perceptie en beleving van gebeurtenissen. En daarmee raken we aan het hart van een boek, want emotie is sterk afhankelijk van context.

In de context

Zoals we eerder al zagen kan een robotbrein goed verbanden leggen tussen data (woorden), maar het ontbreekt zo'n robot aan het begrijpen van context. Gelukkig heeft contextueel denken momenteel bijzondere aandacht bij het ontwikkelen van AI. Het robotbrein leert daarbij (object)gegevens te combineren met herinneringen en deze in het juiste perspectief te plaatsen, waardoor betekenis ontstaat. Dit helpt de robot in de nabije toekomst om op meer natuurlijke wijze te communiceren met mensen. De robot heeft nog wel een lange weg te gaan om de subtiliteiten die verbonden zijn aan menselijke communicatie, en de daaraan verbonden intenties, goed te begrijpen; laat staan deze om te zetten naar zinvolle tekst.

De huidige AI schiet dus nog tekort op het gebied van: abstract denken, het toepassen van gezond verstand en het overdagen van kennis tussen verschillende terreinen. Dit neemt niet weg dat AI een handige, ondersteunende rol kan vervullen bij het schrijven van korte verhalen of artikelen. Er zijn al nieuwsfeeds op internet die automatisch berichten samenstellen met behulp van AI. Ook voor fictieauteurs kan AI een soort van muzerol vervullen. Met het juiste algoritme kom je zowaar een heel eind. Voor het schrijven van complete boekwerken lijkt het robotbrein nog lang niet geschikt.

Daar staat tegenover dat taal geen harde wetenschap is, het ontbreekt aan eveneens harde criteria. Hoe moet een robot ooit bepalen wat een verhaal een verhaal maakt - of welke van de 30.000 bedachte varianten het beste is - als zelfs een mens dit niet kan objectiveren? Dat maakt het genereren van verhalen tot een bijzonder complexe wetenschap. En misschien ook wel een onverdienstelijke, want hoe goed het kunstmatig brein zich ook ontwikkelt, feit blijft dat lezers liever boeken lezen die door echte mensen geschreven zijn.





In het Japans wordt het hiragana gebruikt voor vervoegingen achter het werkwoord en voor voegwoorden. Het katakana, wordt gebruikt voor leenwoorden uit Westerse talen.