Workshop Onderzoeksplan + Prompt Eng.

In deze workhop hebben we het over prompt engineering, en stel je een onderzoeksplan op.

Inleiding - Over onderzoek en Prompt engineering

Bij HAN ICT (AIM) vinden we het erg belangrijk dat je onderzoek doet. En een onderzoekende houding hebt. Dit is zelfs noodzakelijk, omdat de ICT sector zo in beweging is, dat je ook na je studie zult moeten blijven bijleren (Leven Lang Ontwikkelen). De opgedane kennis en vaardigheden uit je studie zijn wel een basis en een kapstop waar je nieuwe kennis aan kunt ophangen, en vaardigheden kunt verfijnen. Heel belangrijk hierbij is dat je de juiste vragen kunt stellen, juiste bronnen kunt vinden en de juiste methoden kunt gebruiken.

Wel richten we ons op toegepast onderzoek in plaats van theoretisch onderzoek. Dit laatste gebeurt meer op universiteiten of in Master opleidingen. Sommigen zien het zo dat daar dan het 'echte onderzoek' plaatsvind. Maar feitelijk is het heel nuttig om de uitkomsten van dergelijk theoretisch onderzoek, daadwerkelijk toe te passen, en zo te innoveren en waarde te creëren ('valorisatie').

Naast gestructureerd onderzoek doen, moet je het ook netjes opschrijven met geen of nauwelijks spel- of stijlfouten (max 3 per pagina). Hier kan ChatGPT je bij helpen. Als een AI qua schrijfniveau al snel een 7 of 8 scoort of zelfs hoger, dan kun je eigenlijk niet meer aankomen om dit zelf wel te doen (zie figuur 1). ChatGPT en andere generatieve AI lijken een belangrijke rol te hebben als productiviteitsbooster, maar hebben ook serieuze nadelen, dus dit vraagt een kritische houding.

We zien ChatGPT dus als 'creative technology', een AI met enorm veel kennis, waarschijnlijk meer dan enig mens ooit gehad heeft, en die altijd snel met een antwoord komt. Maar die af en toe ook 'confidently wrong' is, in de woorden van Elon Musk. Ook bekende Nederlandse informaticus Edsger Dijkstra schreef lang geleden al over 'the foolishness of natural language programming':

"some still seem to equate "the ease of programming" with the ease of making undetected mistakes." - Edsger Dijkstra https://www.cs.utexas.edu/users/EWD/transcriptions/EWD06xx/EWD667.html (1979)

Prompt Engineering

"Eén prompt is geen prompt".

Via ChatGPT kun je vrij gemakkelijk vrijwel foutloze teksten laten genereren. Althans, foutloos in die zin, dat de output geen spellingsfouten of stijlfouten bevat. Inhoudelijk verzint ChatGPT af en toe gewoon wat, als het maar goed overkomt. Het klakkeloos overnemen van teksten van ChatGPT is natuurlijk niet wat we willen.

Verder heb je ook nog fouten qua formulering of doelgroep. Het verzinnen kun je voorkomen door ChatGPT hier in je gesprek een algemene prompt te geven:

Lieg niet! Als iets niet zeker is, zet dit er dan bij, of laat feiten geheel weg als ze erg onzeker zijn of niet kloppen.

Ook schrijf je een technische tekst voor een technische doelgroep. Het gebruik van heel veel bijvoeglijke naamwoorden of bijwoorden hierin is niet gepast. Zie Technical writing; 'adjectives and adverbs' is de Engelse term voor bijvoegelijke naamwoorden respectievelijk bijwoorden. Een bijwoord is een soort bijvoeglijk naamwoord, maar dan voor een werkwoord i.p.v. een zelfstandig naamwoord, e.g. "Mooie zinnen (bijv. nw.) lees je vrolijk" (bijwoord))).

"Worse, adjectives and adverbs can make technical documentation sound dangerously like marketing material." - Google Technical Writing (2023)

Zo schrijft ChatGPT standaard snel “jubelende” teksten over de tools en technologieën. ChatGPT heeft kennelijk nogal de neiging om overdrijvingen in de tekst op te nemen. Dit is meer marketing taal dan een technische en kritische tekst zoals gewenst. Voorbeelden:

  • “deze essentiële tool ...”
  • “dit is voor DevOps-ontwikkelaars absoluut onmisbaar”
  • “tool X fungeert als cruciale pijler”
  • “tool X is een uiterst waardevol instrument”
  • en “van vitaal belang”.

Zulke zinsnede zijn niet acceptabel. Laat ChatGPT dit omschrijven. En als deze dat niet kan of wil, dan moet je het zelf doen. Kennelijk heeft ChatGPT een bias waardoor deze nogal positief uit de hoek komt. Deze toon is niet passend in een blog waarmee je objectiviteit uit wil stralen.

Alleen als je na je onderzoek tot de conclusie komt dat de tool inderdaad fantastisch, geweldig of onmisbaar is, dan kun je dat eventueel zo benoemen in je conclusie, maar als je inleiding al van (op dat moment nog ongefundeerd) enthousiasme aan elkaar hangt, kom je minder geloofwaardig over.

3 Hoog achter, voor het eerst een 7 door ChatGPT

Figuur 1: 3HOOG: ChatGPT. Benieuwd hoe het afloopt?... Zie: sam.han.nl

Onderzoeksmethoden

Over de onderzoeksmethoden is een nog een workshop, maar de HBO ICT onderzoeksmethoden ben je als het goed is eerder in je studie al bekend mee geraakt. Tijdens de workshop kun je mooi nu tijdens je werk nog opkomende vragen stellen. Schrijf deze op, anders vergeet je ze. De onderzoeksmethoden geven suggesties en kwaliteitscriteria voor goed onderzoek, maar zijn geen simpele 1-2-3 of afvinklijst naar goede onderzoeksresultaten.

Ook kun je niet aan ChatGPT toevertrouwen om echt origineel werk te maken of foutloos te zijn. Deze verzint af en toe gewoon wat, dus je moet alles controleren (zie Figuur 2). Als je zelf nog geen expert bent - wat bij onderzoek per definitie zo is - dan zul je dit met andere bronnen dan ChatGPT moeten doen.

Figuur 2: Is ChatGPT veilig voor gebruik? - Aleksandr Tiulkanov on X - Onderzoeker AI & Digitaal beleid.

Als je eenmaal goede antwoorden hebt kun je ChatGPT wel inzetten om een passende inleiding met goede leeswijzer te schrijven. En ook een conclusie. In je conclusie mag je toch "geen nieuwe informatie presenteren" (zie evt. "Do's en Dont's in je conclusie op Scribr (2013)).

Ook is ChatGPT redelijk goed in het schrijven van een (management) samenvatting, als je deze het samen te vatten. Wellicht kan ChatGPT ook een aanzet tot een goede discussie geven. Of een hypothese formuleren. Het is echter wel zaak, alles te controleren. Ook of chat geen hoofdlijnen mist. Of juist heel wollig is gaan schrijven, terwijl dit niks toevoegt, hoogstens goede input verwaterd (zie figuur 3).

ChatGPT: Lossy compression... of 'Too Long, Didn't **Write**'

Figuur 3: ChatGPT: Lossy compression... of "Too Long, Didn't Write" (bron: marketoonist.com)

Stappenplan voor schrijven onderzoeksplan

Hieronder een heel aantal stappen onderverdeeld in 3 hoofdfasen A, B en C.

A. Setup ChatGPT en repo

  1. Maak — als je die nog had — een ChatGPT account aan voor je @student.han.nl account
  2. Maak een repo aan op GitLab waar je je onderzoek (incl. onderzoeksplan) in gaat vastleggen/opslaan/documenteren. Zet in de repository naam je eigen naam, en zorg dat deze private is. Of gebruik een GitHub classroom link van een template repository als je docent deze aanlevert.
  3. Geef je teamgenoten ook toegang tot deze repository i.v.m. tussentijdse feedback volgens de 'Feedback circle' (PACT: zie opdrachtbeschrijving).

B. Prompt engineering onderzoeksvragen voor onderzoeksplan

  1. Formuleer wie je doelgroep is (zie opdrachtbeschrijving) en neem dit mee in je prompts aan ChatGPT
  2. Stel, met behulp van Prompt engineering, hoofdvraag en deelvragen op over je DevOps technologie en het bijbehorende (DevOps) concept.
  3. Laat ChatGPT deelvragen beantwoorden, en vind relevante andere concepten en/of andere tools en pas eventueel je vragen aan (vooronderzoek/orientatieonderzoek).
  4. Vind kandidaat onderzoeksmethoden voor elk van de deelvragen (minstens 3, maar liever meer en scherpe deelvragen dan bij het minimum blijven)
  5. Laat ChatGPT elk van je deelvragen kort beantwoorden (geef deze prompt met max. aantal woorden)
  6. Vind per deelvraag een of meerdere relevante bronnen (anders dan ChatGPT) voor eerste verificatie

C. Vastleggen, format checks

  1. Leg de doelgroep de (voorlopige) hoofdvraag en deelvragen en bijbehorende onderzoeksmethoden vast in een onderzoeksplan.md in je repository
  2. Voeg hierin ook een korte (APA) bronnenlijst onderaan toe met kopje ## Bronnen (met iig als bronnen de Research methods, de AIM controlekaart, ChatGPT, en extra bron per deelvraag, dus minstens 7 bronnen)
  3. Zorg hierbij ook dat dat de bron titel cursief zijn in markdown en dat er ook referentie uit de tekst is naar je bron, zoals
  4. Installeer/activeer ook markdown linter (in bv VS Code), en haal lint fouten uit je onderzoeksplan.md, zoals missende witregels rondom kopjes of bullet lijsten

D. Oefenen met markdown en AIM controlekaart

  1. Zet alvast het logo van de CNCF tool/technologie als markdown afbeelding in je onderzoeksplan, of een ander relevant logo en laat deze rechts alignen (<img src="plaatjes/plaatje.jpg" width="200>" align="right"; html is ook markdown)
  2. Neem ook een ander plaatje op, die 'gewoon' links aligned en block, en geef deze ook een 'caption' *Figuur 1*: <Beschrijving> en verwijs met dit figuurnr ernaar in je tekst (gebruik niet 'hierboven' of 'plaatje hieronder')
  3. Check dat de URL's van opgenomen bronnen ook in je bronnenlijst staan (geraadpleegd op jj-mm-jjjj via <url>), en NIET als links in je hoofdtekst
  4. Zoek ook wat stemmige afbeeldingen om je tekst te ondersteunen. Sla wel meteen de bron URL op, en neem deze ook op bronnen correct volgens APA. Zoek ook met bv. de Google image search met optie voor 'Creative Common werk', zie screenshot (University of Edinburgh, z.d.).
Gebruik vrije plaatjes uit Google image search of vergelijkbaar

Figuur 4: Gebruik vrije plaatjes uit Google image search of vergelijkbaar

  1. en dat deze URL's ook NIET onnodig lang zijn, doordat ze bv. nog #tekst fragment of fbclid of andere onnodige tracking codes bevat (je moet evt. link tekst zelf IN je tekst zetten als quote of parafrase, en niet in bronnenlijst verstoppen)
  2. Kijk tot slot of ChatGPT erg in de lijdende vorm heeft geschreven, en of je dit kunt laten herschrijven in de actieve vorm zoals de AIM controle kaart vraagt.
  3. Lees de AIM controlekaart en vink af of je document voldoet aan alle verplichte items. Heeft je onderzoekplan bv. een inleiding, kerntekst en (korte) conclusie? Staan je zinnen in de actieve vorm (weet je überhaupt wat dit inhoudt :S?). Pas dit nog aan. Dit was een mooie oefening voor je onderzoeksverslag, waar je hetzelfde moet doen!

Meldt bevindingen en vragen n.a.v. deze workshop bij de docent. Zorg dat deze dringende vragen beantwoordt.

De toekomst van AI?

Figuur 5: De toekomst van AI? - Bron CommitStrip.com

Tot slot

Voorlopig kunnen we AI nog goed gebruiken. Maar wat de toekomst brengt is onbekend. Er zijn grote kansen, maar ook grote risico's. Simpel verbieden kan niet, want er is ook argument te maken dat het onethisch is AI niet te gebruiken, gezien de grote uitdaging waar onze maatschappij nog voorstaat. Maar we moeten wel zorgen dat AI ge-aligned blijft.

PS: Dit stuk is nog geheel zonder hulp van ChatGPT geschreven. Alsnog kan het fouten bevatten; zo ja meldt deze even.

ChatGPT: Geen tijdbespaarder, maar normverhoger?

Figuur 6: ChatGPT als 'bullshitter' - Geen tijdbespaarder, maar normverhoger?

Het plaatje van figuur 6 mag je zelf even goed bekijken en over nadenken. Voor beperken grootte van plaatje/screenshot zijn beschrijvingen onder de 4 boeken eruit geknipt, maar verder is het plaatje niet bewerkt. De 2e bron (en dus ook beschrijving erbij) kon ik niet vinden via google, en had Chat verzonnen. Dit gaf deze ook meteen toe... Hieronder nog twee relevante quotes.

"ChatGPT [...] sometimes generates nonsense but overall it provides reasonable and and quite useful answers to our questions. So it’s a smart system; amazingly smart. But it’s also “bullshit”..." (Wikipedia z.d.)

En om de wellicht wat 'popy-jopy' of grof klinkende term 'bullshit' uit deze quote nog wat toe te lichten, want dit is inmiddels ook een in de wetenschap/filosofie onderzocht em beschreven woord.

"'On Bullshit' is een essay van de Amerikaanse filosoof Harry Frankfurt dat in 1986 werd gepubliceerd. [..]. Frankfurt [...] concludeert dat de spreker die zich van bullshit bedient niet geïnteresseerd is in de waarheid, maar alleen een mooi beeld van zichzelf wil scheppen. Volgens Frankfurt is bullshit een grotere bedreiging voor de waarheid dan de leugen" (Feeny 2023)

XKDC: AI says AI is fine

Figuur 7: XKDC over 'AI methodology'

Bronnen

Last change: 2025-01-13