Wat is GPT-3 eigenlijk?
Misschien heb je op Twitter de hashtag #gpt3 voorbij zien komen? Dan was je vlakbij kunstmatige intelligentie. 😉
GPT-3 staat namelijk voor Generative Pretrained Transformer versie 3 (wikipedia). Kort door de bocht is dat een taalmodel dat ontstaan is door patronen te zoeken in grote hoeveelheden informatie. In dit geval enorme hoeveelheden informatie! Met wat het daar geleerd heeft kan GPT-3 zelf uitgebreid en aardig coherent antwoorden genereren op vragen die je stelt.
Wat is een taalmodel?
Wij denken er nooit over na, maar we hebben allemaal een eigen taalmodel. Dat helpt ons sneller te lezen of luisteren. Op basis daarvan vullen we letters en woorden al in voordat we ze lezen:
Als je bijvoorbeeld al de letters carnava.. voor je ziet, weet je dat je op de puntjes waarschijnlijk een l kunt verwachten. En na het lezen van br… verwacht je hoogstwaarschijnlijk geen k. Niet alleen op letter-niveau, maar ook op woordniveau is de afloop soms goed te voorspellen. Na ‘met terugwerkende …’ verwacht je ‘kracht’ en na ‘het is veel te …’ volgt waarschijnlijk een bijvoeglijk naamwoord (bv ‘heet’ of ‘kort’) en geen zelfstandig naamwoord (bv ‘fiets’ of ‘brood’).
GPT-3 doet ongeveer hetzelfde, maar omdat het model getraind is op zoveel informatie kan het uitgebreider en beter teksten ‘schrijven’ dan eerdere generatieve taalmodellen (zoals voorganger GPT-2).
Hoe het dat geleerd heeft legt Jay Alammar in een korte animatie uit:
Alles uit de gigantische dataset waaraan het model is blootgesteld is omgezet in 175 miljard parameters. Die gebruikt GPT-3 als je het iets vraagt (input), en op basis daarvan genereert het zelf een antwoord.
Wat kan GPT-3?
Eigenlijk kan GPT-3 gewoon schrijven. Alleen dan schrijven in de breedste zin van het woord, van gedichten tot programmeercode. En veel beter dan eerdere AI-taalmodellen.
In de afgelopen weken is met GPT-3:
- een creatieve schrijf-assistent ingebouwd in een app die je helpt bij het schrijven van fictie.
- een API ontwikkeld waarmee je je geconsumeerde calorieën kunt tellen.
- een Figma-plugin gemaakt die designs voor apps genereert op basis van een korte tekstuele beschrijving.
En als je puur kijkt naar de kwaliteit van de teksten die GPT-3 ‘schrijft’? Gwern Bransen is onder de indruk:
GPT-3’s samples are not just close to human level: they are creative, witty, deep, meta, and often beautiful. They demonstrate an ability to handle abstractions, like style parodies, I have not seen in GPT-2 at all. Chatting with GPT-3 feels uncannily like chatting with a human.
Wat betekent GPT-3?
In de New York Times is Farhad Manjoo erg overtuigd:
Software like GPT-3 could be enormously useful. Machines that can understand and respond to humans in our own language could create more helpful digital assistants, more realistic video game characters, or virtual teachers personalized to every student’s learning style. Instead of writing code, one day you might create software just by telling machines what to do.
Meer praktisch ziet Max Woolf, in vergelijking met GPT-2, twee grote verbeteringen in GPT-3:
- it allows generation of text twice the length of GPT-2 (about 10 paragraphs of English text total), and
- the prompts to the model better steer the generation of the text toward the desired domain (due to few-shot learning). For example, if you prompt the model with an example of React code, and then tell it to generate more React code, you’ll get much better results than if you gave it the simple prompt. Kortom: het GPT-3-taalmodel kan veel langere teksten genereren en beter gestuurd worden met uitgebreidere input.
Maar in de online voorbeelden is GPT-3 ook langzaam. En zijn menselijke vooroordelen die overal op internet te vinden zijn ook in het model aanwezig.
Het is mooi, maar nog zeker geen magie.
Die Broken Earth trilogie van N.K. Jemisin, wauw!
Jen Taylor: zo lanceer je een product in 5 stappen
Vandaag pikte ik wat flarden op van de Sprint Couch Conference, georganiseerd door het team achter The Next Web. Het thema was ‘Digital product strategy in 2020’, met veel verschillende presentaties. Eerlijk gezegd had ik alleen tijd om het verhaal van Jen Taylor (Hoofd Product bij Cloudflare) met aandacht te volgeen. Daarin ging zij in op hoe bij Cloudflare producten worden gelanceerd.
Voorbereiding
Al heel vroeg in de productontwikkel-cyclus wordt gestart met de eerste stap richting lancering. Door de product manager wordt tijdens het uitwerken van de requirements een blogartikel over het nieuwe product of feature geschreven. Vergelijkbaar met hoe bij Amazon altijd eerst een intern persbericht wordt geschreven bij de start van een nieuw productontwikkel-traject (“Working backwards”, noemen ze dat).
(Slide uit Jen Taylor's presentatie.)
In die fase wordt ook bepaald wat voor type lancering nodig is:
- Een 'Big Bang', voor een nieuw product met duidelijke product-markt-fit, waar veel aandacht voor gegenereerd moet worden (inclusief groter budget voor product marketing) zodat een positie in de markt veroverd kan worden.
- Een 'Slow Launch', gericht op een kleinere groep gebruikers waarbij je vooral wil leren van de gebruiker, koper en over welk prijsmodel geschikt is. Data over gebruik en 'word of mouth' zijn essentieel.
Daarbij moet je meenemen hoe je wil lanceren;
- Creëer je een moment, door je publiek puur voor de lancering te bereiken. Headline-waardig dus.
- Of haak je aan bij een bestaand moment, bijvoorbeeld een evenement waar jouw gebruikers al aanwezig zijn.
Is dat duidelijk, dan kun je aan de daadwerkelijke lancering gaan werken.
Productlancering
Producten lanceren draait bij Cloudflare gelukkig ook om het succesvol maken van gebruikers. En dat doen ze in 5 stappen:
- Drive Awareness - Vanuit een duidelijke positionering zet je je website, blog, sociale media, eventueel user advocates of advertenties in om je publiek bewust te maken van het nieuwe product of de nieuwe features. Zodat geïnteresseerden leren dat er een nieuwe oplossing is voor hun probleem of 'job'.
- Take action - Stel gebruikers in staat om de nieuwe features of het nieuwe product uit te proberen. Kunnen ze een account aanmaken en inloggen? En als ze dan de nieuwe functionaliteit uitproberen is de meerwaarde direct duidelijk?
- Get successful - Zorg ervoor dat gebruikers succesvol aan de slag kunnen met die nieuwe mogelijkheden, door documentatie en how to's aan te bieden en video demo's te organiseren.
- Stay successful - Biedt goede support aan, met o.a. een gebruiksvriendelijk ticketsysteem, community forums en/of Slack kanalen, bemand door een sterk support team dat voldoende ondersteuning krijgt vanuit de organisatie (kennis, middelen).
- Grow - gebruik blogs, white-papers, nieuwsbrieven en e-mail journeys om de mogelijkheden verder onder de aandacht te brengen.
And repeat
In het verlengde van die 5 stappen ga je meten, leren, en vervolgens aanpassingen doorvoeren om je gebruikers succesvoller te maken.
En daarna begin je aan het volgende product of de volgende nieuwe feature. Net zo makkelijk.
Ongeveer hetzelfde verhaal vertelde ze vorig jaar bij SaaStr, daarvan kun je de video hieronder terugzien:
Wat doe jij met je favoriete digitale foto’s?
Op mijn telefoon staan bijna 25.000 (!) foto’s en video’s. Af en toe realiseer ik me weer hoeveel dat er zijn. En vraag me dan af: wat moet ik ermee?
De leukste foto’s van onze kinderen deel ik digitaal met m’n vriendin en opa’s en oma’s. Maar die bekijken we nog steeds maar één of twee keer. Vluchtig. En dat is zonde. Patrick Rhone is er heel duidelijk over: je favoriete foto’s moet je uitprinten. Zijn tip: neem daar iedere paar maanden even de tijd voor.
Veel problemen waar we in onze maatschappij tegenaan lopen hebben te maken met de nadruk op efficiëntie. Wat leidt tot gebrek aan speling in onze systemen. De ‘nippertjeseconomie’, noemt Karin Spaink het. Ton legt uit wat dat betekent:
Hier wat afschaven, daar een bochtje afsnijden, voorraden minimaliseren en alles just-in-time. Op het nippertje gaat alles goed. Meestal.
Maar soms niet.
In complexiteitsdenken betekent een ver doorgevoerde efficiëntie wel het afbreken van veerkracht en wendbaarheid. Dat is niet zo erg voor heel voorspelbare zaken (als A dan altijd B), maar wel als complexe vragen zich aandienen.Ik spreek dan vaak over de broosheid van systemen. Broos omdat ze geoptimaliseerd zijn voor een hele smalle groep situaties, een heel specifieke niche. Broos omdat ze het niet meer aan kunnen, of erger nog, volledig in de weg zitten zodra er iets buiten dat spectrum gebeurt.
Dan kieper je ineens van voorspelbaarheid in de chaos: heb je net in een paar jaar tijd de IC bedden in Nederland met zo’n duizend verlaagd (in 2017 hadden we er nog zo’n 2100, dit voorjaar net over de 1000) want dat is efficiënter, gebeurt er iets wat meer van je verlangt en wordt de zorg zo overbelast dat alleen drastische maatregelen het nog enigszins kunnen inperken.
Gebruikers en nieuwe features: lastig
Als je iedere dag bezig bent met het (door)ontwikkelen van een product weet jij er alles van. Je kent de features van haver tot gort, weet in de krochten van je app of website de meest verborgen opties te vinden, en vertelt bij iedere update precies wat er nieuw is.
Maar je gebruikers interesseert het weinig. Zij zijn jouw product gaan gebruiken omdat het een bepaald probleem oploste. De rest van de mogelijkheden, zeker recenter toegevoegde functies, gebruiken ze veel minder of misschien helemaal niet.
In de Podcast over Media (S04E16) vertelde Alexander Klöpping dat dit ze bij Blendle ook overkomt.
Herkenbaar. En heel logisch. Want als iemand de moeite neemt om jouw product te gaan gebruiken:
- Steken ze energie in het vinden van een oplossing voor hun ‘probleem’ (de ‘job-to-be-done’.
- Proberen ze de ‘oplossingen’ die ze vinden.
- Maken ze de keuze om jouw app of website te gaan gebruiken. Oplossing gevonden!
- Die ze inpassen in hun eigen proces of ‘workflow’. ‘Probleem’ opgelost.
Vervolgens voeg jij 3 maanden of een jaar later een nieuwe mogelijkheid toe. Als die niets wijzigt aan de workflow van die persoon, en op het eerste gezicht zijn bestaande ‘probleem’ niet nog beter oplost, gaat hij deze niet gebruiken.
Bij volwassen producten zal dit vaker gebeuren. Bij een nieuwer product kan het een signaal zijn dat je de gebruikerswensen misschien nog niet goed kent. Dan is er werk aan de winkel.
Ook als je niets hebt met basketbal of Michael Jordan is ‘The untold story of what fuels Michael Jordan’s legendary fire’ een aanrader.
(De ESPN-site resette wel steeds mijn scroll-positie, dus lees deze longread even in je favoriete Read Later-app.)
Net Ton Zylstra‘s persoonlijke terugblik op de vuurwerkramp in Enschede, 20 jaar geleden, gelezen. Wow…
“Speling in ons systeem”
Ondertussen bevinden we ons alweer 8 weken in een, nu iets lossere, intelligente lockdown. Met dagelijks de gebruikelijke berichtgeving: hoe staan we ervoor, wat zijn de volgende stappen en hoe kunnen we hieruit komen? Tussen al die artikelen is ‘Hoe onze obsessie met efficiëntie ons kwetsbaar maakt voor onwaarschijnlijke gevaren’ verfrissend. Daarin legt hoogleraar wiskunde Bert Zwart (TU Eindhoven), specialist in extreme value theory (studie van extreme, zeldzame gebeurtenissen), uit waarom de gerichtheid op efficiëntie gevaarlijk kan zijn:
‘Kijk’, zegt Zwart. ‘Ik ben hoogleraar wiskunde. Ik hou van cijfers, ik hou van optimaliseren. Het probleem is alleen dat dat vaak niet goed kan, want sommige dingen zijn niet of nauwelijks meetbaar. Dan is voorspellen op basis van historische data zinloos.’Toch ziet hij het overal. In het bedrijfsleven, in de zorg, bij de overheid; er wordt bezuinigd vanuit het valse vertrouwen dat de toekomst min of meer lijkt op het recente verleden. Maar, zegt Zwart, als de toekomst een keer tegenvalt, als zich een extreme value voordoet, kan de schade enorm zijn.
De vraag is hoe we ons als maatschappij beter kunnen instellen op zeldzame, ontwrichtende gebeurtenissen (“zwarte zwanen”) zoals het coronavirus. Zwart denkt dat we er minder vanuit moeten gaan dat het verleden een goede voorspeller is van de toekomst. We zullen ons meer op de mogelijke gevolgen van zwarte zwanen dan op oorzaken moeten gaan richten.
- Door zwakke plekken in kaart te brengen. Om vervolgens alvast ‘asymmetrische reactieve maatregelen’ te treffen die in de toekomst een groot/duur probleem kunnen oplossen.
- En door op bepaalde terreinen meer inefficiëntie toe te staan. Bijvoorbeeld in sommige productieketens, of door te diversificeren qua software-gebruik in vitale sectoren.
Dat kan op meer vlakken helpen:
De risico’s van standaardisatie, centralisatie, optimalisatie, efficiëntie – in Bert Zwarts hoofd komt dat overal terug. ‘Neem onze natuur, onze bomen’, zegt hij. ‘In het buitenland staat bomen veelal kriskras door elkaar. Wij hebben van die keurige lanen met dezelfde bomen op dezelfde afstanden van elkaar. Ja, daar is de eikenprocessierups natuurlijk gek op. Diversificeren is beschermend.’
Rembrandt’s Nachtwacht is in een 44,8 gigapixel foto vastgelegd. Die kun je vanaf vandaag in z’n geheel online bekijken.
Het Rijksmuseum publiceert vandaag de grootste en meest gedetailleerde afbeelding die ooit van een kunstwerk is gemaakt op zijn website. Het is mogelijk zo ver in te zoomen dat de verfstreken en zelfs de pigmentdeeltjes in de verf van De Nachtwacht zichtbaar worden.Om deze foto te kunnen maken heeft het imagingteam van het Rijksmuseum onder leiding van datascientist Robert Erdmann 528 foto’s van De Nachtwacht gemaakt, 24 rijen van 22 foto’s. Deze zijn met behulp van neural networks digitaal aan elkaar genaaid. De afbeelding bestaat uit in totaal 44,8 gigapixels (44.804.687.500 pixels). De afstand tussen de pixels is 20 micrometer (0,02 mm). Dit stelt de wetenschappers in staat het schilderij op afstand zeer nauwkeurig te bestuderen. De foto wordt ook gebruikt om alle toekomstige verouderingsprocessen in het schilderij nauwkeurig bij te kunnen houden.
Waarom videobellen vermoeiend(er) is
In een interview met BBC Worklife legt Gianpiero Petriglieri hoe dat komt:
Video chats mean we need to work harder to process non-verbal cues like facial expressions, the tone and pitch of the voice, and body language; paying more attention to these consumes a lot of energy.
Het laten vallen van stiltes is een ander probleem. Bij normale conversaties hoort dat, maar bij videobellen denk je direct dat er iets met de verbinding aan de hand is. En:
It also makes people uncomfortable. One 2014 study by German academics showed that delays on phone or conferencing systems shaped our views of people negatively: even delays of 1.2 seconds made people perceive the responder as less friendly or focused.
Wat het extra lastig maakt voor beroepen waar het opbouwen van een vertrouwensband belangrijk is: verkoper en account managers, en diplomaten.
Update 13-05: Harold Jarche maakt in ‘Zoom is not the problem — meetings are’ een belangrijk punt:
In meetings, bloody meetings I highlighted age-old problems with business meetings, which I learned about in the 1980’s and which continue today. Meetings should have an objective, a clear format, and be run by a competent person to facilitate the process. Most importantly there must be a clear reason why the meeting is necessary in the first place. Quite often, an alternative would be more effective than calling a meeting — e.g. one-on-one conversation, email, wiki, blog, discussion thread, etc.
Zie ook: Liberating meetings.
Ben Gibbard - Live 🏠
Naast quarantaine-stress, quarantaine-huisvlijt en quarantaine-solidariteit is er ook quarantaine-genieten. Bijvoorbeeld van Ben Gibbard (van The Postal Service en Death Cab for Cutie).
Beveilig je WhatsApp-account
Gratis tip van Bart Breij (@Scarbir):
Jongens! 🚨 Van allerlei mensen uit m’n omgeving is hun WhatsApp gehackt.Dat kan je voorkomen met een extra beveiligingscode op je WhatsApp!
Dat doe je zo:
- Ga in WhatsApp naar: Instellingen —> Account —> Verificatie in twee stappen
- Kies 'Inschakelen'.
- Nu word je gevraagd een PIN van 6 cijfers op te geven. Dat doe je twee keer.
Alles bij elkaar is het nog geen minuut werk. Een heldere uitleg-video voor Android-gebruikers vind je op de WhatsApp-website.
Er is wel iets dat je moet weten:
Let op: Om te zorgen dat je je PIN niet vergeet, vraagt WhatsApp je regelmatig om je PIN in te voeren. Het is niet mogelijk om dit uit te schakelen zonder de functie Verificatie in twee stappen uit te schakelen.
Af en toe die PIN moeten invoeren is geen probleem als daarmee je WhatsApp niet meer gehackt kan worden.
P.S. Persoonlijk blijft Signal mijn favoriete, veiliger WhatsApp-alternatief.
