Info

Learning a little every day

Attack surface cory doctorow

TL;DR – Aanrader!👍

Attack Surface van Cory Doctorow is een cyberpunk-boek met veel actie dat lekker wegleest, en hoop geeft! Het speelt zich af in een versie van onze wereld waar de mogelijkheden van (internet)technologie zijn gedramatiseerd. De verhaallijn sluit aan op twee eerdere boeken (Little Brother en Homeland), maar je kunt het prima los lezen. Dat deed ik ook.

Verhaal

In reactie op terrorisme is het surveillance-industriële complex wereldwijd een (nog) belangrijker bedrijfstak geworden. Daar verdient hoofdpersoon Masha goed geld, maar met gewetensbezwaren. Want ze weet precies wat voor effect haar werk heeft op de mensen die zij in de gaten houdt.

Het verhaal begint in een fictieve Oost-Europese republiek waar Masha overdag namens het regime de oppositie monitort. ’s Avonds zoekt ze die idealistische actievoerders juist op om ze te leren zich beter te wapenen tegen surveillance-technologie.

Via flashbacks leren we stap-voor-stap hoe Masha in de wereld van de surveillance terecht is gekomen, en welke keuzes ze daarbij heeft gemaakt.

Technologie (niet) uitgelegd

In het boek gebruikt Doctorow aardig wat tech-termen. Maar deze legt hij niet uit. Zoals Ton in zijn recensie aanhaalde is dat om je te stimuleren daar zelf naar op zoek te gaan. Één fan heeft dit al gedaan, en verzameld in de Mashapedia. Zodat je snel kan opzoeken wat een ‘IMSI-catcher’ of een ‘dazzle mask’ zijn.

Morele dilemma’s

Nadat het misloopt in Oost-Europa gaat Masha terug naar de VS om een vriendin te helpen. Een vriendin die juist opkomt tegen de bijna autoritaire combinatie van overheid en surveillance-industrie.

Waar de eerdere twee boeken idealistisch young-adult waren, richt Doctorow zich met Attack Surface op volwassenen. In Wired legt hij uit waarom:

“The thing adults do is confront their moral legacy. They look back on what they’ve done and they think about their regrets,” Doctorow says. “The ongoing process of being an adult is having been corralled into compromises and then making sense of those compromises for yourself.”

Dat is de rode draad in het boek. Als white hat hacker (ingehuurd) binnen het overheidsapparaat heeft Masha veel foute keuzes gemaakt. Wanneer ze die onder ogen begint te zien, kan ze ook nauwlijks richting zichzelf verantwoorden.

Sterk is hoe het boek je meeneemt in haar gedachtengang dat technologie allesbepalend is, en dat je je als burger-onder-surveillance niet aan die technologie kunt onttrekkken. Techno-utopisme, zoals Silicon Valley graag predikt, met een cynische ondertoon. Want je kunt er niet aan ontsnappen.

Als realistische techno-optimist maakt Doctorow daar tegen het einde van het boek een punt over.

“Technology is a tool that gives us the space to make political change. Politics are a tool we use to open the space for making better technology.”

En dat geeft niet alleen Masha hoop. Mij ook.

Misschien heb je op Twitter de hashtag #gpt3 voorbij zien komen? Dan was je vlakbij kunstmatige intelligentie. 😉

GPT-3 staat namelijk voor Generative Pretrained Transformer versie 3 (wikipedia). Kort door de bocht is dat een taalmodel dat ontstaan is door patronen te zoeken in grote hoeveelheden informatie. In dit geval enorme hoeveelheden informatie! Met wat het daar geleerd heeft kan GPT-3 zelf uitgebreid en aardig coherent antwoorden genereren op vragen die je stelt.

Wat is een taalmodel?

Wij denken er nooit over na, maar we hebben allemaal een eigen taalmodel. Dat helpt ons sneller te lezen of luisteren. Op basis daarvan vullen we letters en woorden al in voordat we ze lezen:

Als je bijvoorbeeld al de letters carnava.. voor je ziet, weet je dat je op de puntjes waarschijnlijk een l kunt verwachten. En na het lezen van br… verwacht je hoogstwaarschijnlijk geen k. Niet alleen op letter-niveau, maar ook op woordniveau is de afloop soms goed te voorspellen. Na ‘met terugwerkende …’ verwacht je ‘kracht’ en na ‘het is veel te …’ volgt waarschijnlijk een bijvoeglijk naamwoord (bv ‘heet’ of ‘kort’) en geen zelfstandig naamwoord (bv ‘fiets’ of ‘brood’).

GPT-3 doet ongeveer hetzelfde, maar omdat het model getraind is op zoveel informatie kan het uitgebreider en beter teksten ‘schrijven’ dan eerdere generatieve taalmodellen (zoals voorganger GPT-2).

Hoe het dat geleerd heeft legt Jay Alammar in een korte animatie uit:
GPT-3 is getraind op 300 miljard tekens tekst, met als doel om woorden te kunnen voorspellen.

Alles uit de gigantische dataset waaraan het model is blootgesteld is omgezet in 175 miljard parameters. Die gebruikt GPT-3 als je het iets vraagt (input), en op basis daarvan genereert het zelf een antwoord.

Wat kan GPT-3?

Eigenlijk kan GPT-3 gewoon schrijven. Alleen dan schrijven in de breedste zin van het woord, van gedichten tot programmeercode. En veel beter dan eerdere AI-taalmodellen.

In de afgelopen weken is met GPT-3:

En veel meer.

En als je puur kijkt naar de kwaliteit van de teksten die GPT-3 ‘schrijft’? Gwern Bransen is onder de indruk:

GPT-3’s samples are not just close to human level: they are creative, witty, deep, meta, and often beautiful. They demonstrate an ability to handle abstractions, like style parodies, I have not seen in GPT-2 at all. Chatting with GPT-3 feels uncannily like chatting with a human.

Wat betekent GPT-3?

In de New York Times is Farhad Manjoo erg overtuigd:

Software like GPT-3 could be enormously useful. Machines that can understand and respond to humans in our own language could create more helpful digital assistants, more realistic video game characters, or virtual teachers personalized to every student’s learning style. Instead of writing code, one day you might create software just by telling machines what to do.

Meer praktisch ziet Max Woolf, in vergelijking met GPT-2, twee grote verbeteringen in GPT-3:

  1. it allows generation of text twice the length of GPT-2 (about 10 paragraphs of English text total), and
  2. the prompts to the model better steer the generation of the text toward the desired domain (due to few-shot learning).
    For example, if you prompt the model with an example of React code, and then tell it to generate more React code, you’ll get much better results than if you gave it the simple prompt.
    Kortom: het GPT-3-taalmodel kan veel langere teksten genereren en beter gestuurd worden met uitgebreidere input.

Maar in de online voorbeelden is GPT-3 ook langzaam. En zijn menselijke vooroordelen die overal op internet te vinden zijn ook in het model aanwezig.

Het is mooi, maar nog zeker geen magie.