- een creatieve schrijf-assistent ingebouwd in een app die je helpt bij het schrijven van fictie.
- een API ontwikkeld waarmee je je geconsumeerde calorieën kunt tellen.
- een Figma-plugin gemaakt die designs voor apps genereert op basis van een korte tekstuele beschrijving.
- it allows generation of text twice the length of GPT-2 (about 10 paragraphs of English text total), and
- the prompts to the model better steer the generation of the text toward the desired domain (due to few-shot learning). For example, if you prompt the model with an example of React code, and then tell it to generate more React code, you’ll get much better results than if you gave it the simple prompt. Kortom: het GPT-3-taalmodel kan veel langere teksten genereren en beter gestuurd worden met uitgebreidere input.
- Wat kan het?
- Hoe voelt het?
- Hoe kunnen we het gebruiken?
- En hoe verandert het ons?
- Aanbevelingen. Op basis van eerdere interesses kunnen we deze vergelijkbare zaken aanbevelen. Als jij bijvoorbeeld in de Slack van je organisatie zoekt op 'hiring process' zal Slack naast de zoekresultaten ook aanbevelingen tonen voor collega's en kanalen over gerelateerde onderwerpen.
- Voorspellingen. Op basis wat je eerder deed verwachten we dat je nu dit wil doen. Een heel concreet voorbeeld zijn de QuickType-suggesties bovenaan je iPhone-toetsenbord (vanaf iOS 13 ook in het Nederlands!). Dit zijn zelflerende suggesties die zich continu aanpassen aan jouw woordgebruik.
- Classificaties. Met behulp van door mensen geclassificeerde datasets kan Machine Learning worden getraind om vergelijkbare patronen te herkennen en classificeren. Als je wel eens een enquete hebt gemaakt in Google Forms heb je misschien gezien dat daar real-time suggesties voor antwoordtypes worden gegeven op basis van de vraagstelling. Dit gebeurt op basis van de geclassificeerde keuzes van alle andere Google Forms-gebruikers.
- Clustering. Laat Machine Learning juist in ongeclassificeerde data de voor ons mensen onzichtbare patronen herkennen en groeperen.
- Generation. Machine learning zelf iets laten genereren, zoals een tekening, portretfoto of muziek.
- veel tijd kosten,
- zich steeds herhalen,
- aandacht voor detail vragen,
- foutgevoelig zijn, en
- ons geen werkplezier bieden.
- betere antwoorden,
- nieuwe vragen om te onderzoeken,
- nieuwe data, en
- inzicht in onzichtbare patronen.
- Welk probleem proberen we op te lossen?
- Welke data hebben we daarvoor nodig?
- Wie beschikt over die data?
Wat is GPT-3 eigenlijk?
Misschien heb je op Twitter de hashtag #gpt3 voorbij zien komen? Dan was je vlakbij kunstmatige intelligentie. 😉
GPT-3 staat namelijk voor Generative Pretrained Transformer versie 3 (wikipedia). Kort door de bocht is dat een taalmodel dat ontstaan is door patronen te zoeken in grote hoeveelheden informatie. In dit geval enorme hoeveelheden informatie! Met wat het daar geleerd heeft kan GPT-3 zelf uitgebreid en aardig coherent antwoorden genereren op vragen die je stelt.
Wat is een taalmodel?
Wij denken er nooit over na, maar we hebben allemaal een eigen taalmodel. Dat helpt ons sneller te lezen of luisteren. Op basis daarvan vullen we letters en woorden al in voordat we ze lezen:
Als je bijvoorbeeld al de letters carnava.. voor je ziet, weet je dat je op de puntjes waarschijnlijk een l kunt verwachten. En na het lezen van br… verwacht je hoogstwaarschijnlijk geen k. Niet alleen op letter-niveau, maar ook op woordniveau is de afloop soms goed te voorspellen. Na ‘met terugwerkende …’ verwacht je ‘kracht’ en na ‘het is veel te …’ volgt waarschijnlijk een bijvoeglijk naamwoord (bv ‘heet’ of ‘kort’) en geen zelfstandig naamwoord (bv ‘fiets’ of ‘brood’).
GPT-3 doet ongeveer hetzelfde, maar omdat het model getraind is op zoveel informatie kan het uitgebreider en beter teksten ‘schrijven’ dan eerdere generatieve taalmodellen (zoals voorganger GPT-2).
Hoe het dat geleerd heeft legt Jay Alammar in een korte animatie uit:
Alles uit de gigantische dataset waaraan het model is blootgesteld is omgezet in 175 miljard parameters. Die gebruikt GPT-3 als je het iets vraagt (input), en op basis daarvan genereert het zelf een antwoord.
Wat kan GPT-3?
Eigenlijk kan GPT-3 gewoon schrijven. Alleen dan schrijven in de breedste zin van het woord, van gedichten tot programmeercode. En veel beter dan eerdere AI-taalmodellen.
In de afgelopen weken is met GPT-3:
En als je puur kijkt naar de kwaliteit van de teksten die GPT-3 ‘schrijft’? Gwern Bransen is onder de indruk:
GPT-3’s samples are not just close to human level: they are creative, witty, deep, meta, and often beautiful. They demonstrate an ability to handle abstractions, like style parodies, I have not seen in GPT-2 at all. Chatting with GPT-3 feels uncannily like chatting with a human.
Wat betekent GPT-3?
In de New York Times is Farhad Manjoo erg overtuigd:
Software like GPT-3 could be enormously useful. Machines that can understand and respond to humans in our own language could create more helpful digital assistants, more realistic video game characters, or virtual teachers personalized to every student’s learning style. Instead of writing code, one day you might create software just by telling machines what to do.
Meer praktisch ziet Max Woolf, in vergelijking met GPT-2, twee grote verbeteringen in GPT-3:
Maar in de online voorbeelden is GPT-3 ook langzaam. En zijn menselijke vooroordelen die overal op internet te vinden zijn ook in het model aanwezig.
Het is mooi, maar nog zeker geen magie.
UX Design voor Machine Learning en ArtificiaI Intelligence
Vaak lijkt het erop dat wij mensen werken voor de computers. Terwijl dat natuurlijk omgekeerd zou moeten zijn. De vraag is: hoe kun je als designer nieuwe technologie inzetten om echt waarde toe te voegen voor je gebruikers? Zodat ze hun potentieel kunnen verwezenlijken?
Daarover ging de workshop User Experience Design for ML and AI van Josh Clark (@bigmediumjosh) bij Frozen Rockets Academy. En wat hij als eerste benadrukte is dat machine learning slechts een designmateriaal is, net als HTML of CSS.
Machine Learning als designmateriaal
Als je de beschikking krijgt over een nieuw designmateriaal begin je met het ontdekken van de mogelijkheden en beperkingen.
Daar moeten we nu mee beginnen, want na het desktop- en het mobile-tijdperk bevinden we in de eerste fase van het Machine Learning-tijdperk.
Wat kun je nu met Machine Learning?
Met Machine Learning kunnen we patronen opsporen in data, en daar ‘iets’ mee doen. Josh deelt die mogelijkheden op in vijf categorieën:
Toegevoegde waarde van Machine Learning
Kortom, Machine Learning is gewoon heel goed in het uitvoeren van taken die:
Taken die we graag uitbesteden, waarmee Machine Learning eigenlijk het perfecte stuk gereedschap lijkt te zijn. Een voorbeeld daarvan is het ondersteunen van radiologen door het analyseren van grote hoeveelheden medisch beeldmateriaal. Als M.L. die taken overneemt komt krijgen we:
Daarmee creëren we voor onszelf de ruimte om te doen waar wij mensen goed in zijn: onze aandacht op een onderwerp richten en daarover een beslissing nemen.
Uiteindelijk draait het om de verhouding tussen mens en machine. En dat vraagt van UX designers dat zij Artificial Intelligence inzetten op problemen die het waard zijn om opgelost te worden. Want zoals Kranzberg’s First Law stelt:
Technology is neither good nor bad; nor is it neutral.
Aan de slag
Na het bespreken van de huidige mogelijkheden en toegevoegde waarde van Machine Learning gingen we deze zelf uitproberen. Met speciaal ontworpen kaartsets werkten we ideeën uit in conceptuele prototypes.
Vervolgens onderzochten we de betrouwbaarheid en vooringenomenheid (bias) van de ML image recognition-dienst van Microsoft Azure.
Daaruit leerden we al snel dat Machine Learning wordt getraind op ‘normaal’ tegenover afwijkend, en dat de onderliggende trainingsdata bepalend is voor de kwaliteit en betrouwbaarheid van herkenning en classificatie. Begin dus met te vragen:
(Side note: In 2015 maakte Google hun TensorFlow machine learning software open source. Dat konden ze doen omdat niet de software maar de data van strategisch belang is.)
Dit was deel 1 van mijn notities over UX Design voor Machine Learning en AI. Binnenkort deel 2!
Nieuwsgierig geworden?
Een compactere versie van zijn verhaal vertelde Josh Clark ook op btconf Berlin 2018. Aanrader!
AI Is The New Design Material - Josh Clark.