ChatGPT gebruiken als rapportage-assistent: wat ging er mis?

Hallo, lezers!

\ Als het gaat om ontwikkelingen in kunstmatige intelligentie, gaan de zaken snel. Het is minder dan twee jaar geleden sinds de publieke lancering van AI-tools zoals ChatGPT, Midjourney, Stable Diffusion en Meta's LLaMA. Toezichthouders, wetgevers en bedrijven beginnen allemaal de implicaties van het gebruik van generatieve AI-tools te begrijpen.

\ Dit geldt ook voor nieuwsorganisaties en journalisten, die al zijn begonnen met experimenteren. Nieman Journalism Lab meldde dat 5 van de 45 onaangekondigde finalisten voor de Pulitzer-prijzen van dit jaar AI gebruikten voor "onderzoek, verslaggeving of het vertellen van hun inzendingen." Op de jaarlijkse NICAR-datajournalistiekconferentie van Investigative Reporters & Editors in Baltimore vorige week waren 14 van de ruim 200 sessies gerelateerd aan AI, waarin werd besproken hoe de technologie journalisten kan helpen met workflows, dichte documenten kan samenvatten en hun code kan debuggen.

\ Ik had er zelf een, een sessie getiteld "Using AI Tools for Data Journalism" waarin ik begon met het beoordelen van de vele beschikbare tools en de vele ethische zorgen daarover benadrukte.

\ Vervolgens toonde ik de resultaten van mijn tijdrovende experiment om ChatGPT 4 te gebruiken als assistent voor het verslaan van een verhaal. Spoiler alert: Het ging niet zo goed!

\ Het voorbeeldverhaal dat ik voor deze oefening gebruikte, was de treinontsporing in East Palestine, OH in februari 2023, een belangrijk verhaal dat verschillende soorten gegevens omvatte waarvan ik ChatGPT kon vragen om te helpen analyseren. Om duidelijk te zijn, dit was geen verhaal waarover ik had geschreven, maar ik wilde ChatGPT proberen te gebruiken op een manier zoals een datajournalist dat zou doen bij het verslaan ervan. Ik heb VEEL tijd besteed aan chatten met ChatGPT als onderdeel van deze oefening en eerlijk gezegd was het soms uitputtend. U kunt een van mijn chatsessies hier lezen. Het zelfvertrouwen dat ChatGPT uitstraalt bij het verstrekken van slecht onderbouwde informatie (zoals Wikipedia) of onnauwkeurige locaties kan misleidend zijn. Soms kon ik de chatagent krijgen om me te geven wat ik wilde, maar ik moest heel specifiek zijn en ik moest hem vaak berispen.

\ Toen ChatGPT bijvoorbeeld mijn verzoek vervulde om "een eenvoudige kaart te genereren die gecentreerd is op de locatie van de crash," merkte ik meteen dat de pin op de kaart ver van spoorlijnen verwijderd was. Toen ik vroeg waar het de coördinaten voor de crashlocatie vandaan had, antwoordde het dat deze waren "afgeleid op basis van algemene kennis van de locatie van het evenement." Toen ik aandrong op een specifiekere bronvermelding, kon het er geen geven en bleef het herhalen dat het vertrouwde op "algemene kennis." Ik moest de tool eraan herinneren dat ik het aan het begin van de chat had verteld dat "het cruciaal is dat je je bronnen vermeldt en altijd de meest gezaghebbende bronnen gebruikt." Voordat het eindelijk in staat was de juiste locatie te markeren, moest ik het eraan herinneren dat het locatiecoördinaten kon verkrijgen uit een gezaghebbend document dat ik eerder in de chat had geüpload, een PDF van het incidentenrapport van de Federal Railroad Administration.

\ Het extraheren van informatie en samenvatten van lange documenten wordt vaak genoemd als een van de grootste sterke punten van tools zoals ChatGPT. Mijn resultaten waren gemengd. Na enig heen en weer gepraat kreeg ik de agent zover dat hij de details en hoeveelheden van de gevaarlijke chemicaliën die bij het ongeval waren vrijgekomen, extraheerde en de informatie formateerde in een tabel met de chemische naam, de vrijgekomen hoeveelheid, waarvoor het doorgaans wordt gebruikt en de effecten ervan op de menselijke gezondheid. Maar het kostte een paar pogingen. Waar het wel tijd bespaarde, was bij het uitleggen van gespecialiseerde informatie die anders een tijdrovende Google-zoekopdracht zou hebben gekost om uit te zoeken—zoals het decoderen van spoorwagonnummers.

\ Soms was de tool te gretig om te behagen, dus vroeg ik het om het wat te matigen: "Je kunt de babbel en beleefdheidsfrases overslaan." Gebruikers kunnen de bot instrueren om de toon of stijl van hun antwoorden te veranderen, maar het vertellen dat het een advocaat is, maakt het niet nauwkeuriger.

\ Over het geheel genomen waren de sessies veel werk om erachter te komen waar de agent zijn informatie vandaan haalde en het om te leiden met precieze instructies. Het duurde lang.

\ Het bedrijf dat ChatGPT maakt, OpenAI, reageerde niet op een verzoek om commentaar.

\ Op basis van mijn interacties zijn verreweg de handigste mogelijkheden van ChatGPT het vermogen om programmeercode te genereren en te debuggen. (Op een moment tijdens de East Palestine-oefening genereerde het wat eenvoudige Python-code voor het maken van een kaart van de ontsporing.) Bij het reageren op een verzoek om code te schrijven, legt het doorgaans zijn aanpak uit (ook al is het misschien niet de beste), en toont het zijn werk, en je kunt het omleiden om een andere aanpak te volgen als je denkt dat zijn plan niet is wat je nodig hebt. Het vermogen om continu functies aan je code toe te voegen terwijl de AI-agent de context en geschiedenis van wat je hebt besproken behoudt, kan je echt een hoop tijd besparen, waardoor je moeizame zoektochten naar berichten over een vergelijkbaar probleem op StackOverflow (een van de grootste online programmeersgemeenschappen) vermijdt.

\ De NICAR-oefening liet me achter met zorgen over het gebruik van generatieve AI-tools voor het nauwkeurige werk van datajournalistiek. Het feit dat een tool zo krachtig als ChatGPT geen "bewijs" kan produceren van precies hoe het iets weet, gaat in tegen alles waarvoor we als journalisten zijn opgeleid. Ook maak ik me zorgen over kleine, onderbemande nieuwsredacties die te veel vertrouwen op deze tools terwijl de nieuwsindustrie worstelt met ontslagen en sluitingen. En wanneer er een gebrek aan begeleiding is van nieuwsredactieleiding met betrekking tot het gebruik van deze tools, kan dit leiden tot fouten en onnauwkeurigheden.

\ Gelukkig zijn veel nieuwsredacties begonnen met het aanpakken van sommige van deze zorgen door AI-beleidslijnen op te stellen om hun journalisten en hun lezers te helpen begrijpen hoe ze van plan zijn AI in hun werk te gebruiken.

\ The Markup heeft het voorbeeld gevolgd van andere nieuwsorganisaties, en vorige week hebben we ons ethisch beleid bijgewerkt met een sectie waarin onze regels voor elk gebruik van AI in ons werk worden beschreven. Samengevat zegt het:

• We zullen geen verhalen of kunstwerken publiceren die door AI zijn gemaakt (tenzij het onderdeel is van een verhaal over AI)
• We zullen het gebruik altijd labelen of bekendmaken
• We zullen ons werk altijd rigoureus controleren, en dit geldt zeker voor alles wat door AI wordt gegenereerd
• In de toekomst zullen we de beveiliging, privacy en ethische overwegingen van nieuwe AI-tools evalueren

\ Bedankt voor het lezen, en controleer altijd alles wat een chatbot je vertelt dubbel!

\ Jon Keegan

Investigatief datajournalist

The Markup

Credits

• Jon Keegan, Investigatief datajournalist

Ontwerp en Graphics

• Gabriel Hongsdusit

Engagement

• Maria Puertas

Redactie

• Ryan Tate
• Michael Reilly

\ Ook hier gepubliceerd

\ Foto door Valery Tenevoy op Unsplash

\