AI-detectietools werken “vaak” goed, al adviseren deskundigen om er niet te snel conclusies aan te verbinden. Dat bracht Nu.nl onlangs. Werkt Pangram inmiddels zó goed dat een schrijver moet bewijzen dat hij zijn werk zelf geschreven heeft?
Het artikel is een reflectie op de X-berichten van premier Jetten, die met AI geschreven zouden zijn. Dat zou blijken uit Pangram-analyses.
Maar de tool geeft nooit 100 procent zekerheid, meldt Pangram zelf ook. “Pangram claimt dat 0,0041 procent van de gecheckte teksten niet klopt. Bij miljoenen checks zijn dat nog steeds honderden teksten die ten onrechte worden aangemerkt als AI”, benadrukt [AI-lector Stefan] Leijnen. “Laat ik het zo zeggen: in een rechtszaal zou de uitkomst van alleen Pangram geen stand moeten houden.”
Die
0,0041% is het aantal vals positieven, het percentage menselijke teksten dat ten onrechte als AI werd geclassificeerd. Maar dat is niet hetzelfde als “niet klopt”, want het percentage gemiste AI-teksten is 0,3396%.
Belangrijker: het is niet een continu bijgewerkte kwaliteitsindicator, maar een onderzoek op één miljoen menselijke Engelstalige teksten uit een verzameling van vóór 2022. Daarvan werden er 41 ten onrechte als AI aangemerkt. Ander onderzoek laat dan weer wel zien dat Pangram hier best robuust functioneert (oudere versies, dat wel).
Ik ben erg huiverig over AI-detectoren, omdat hun fouten grote impact hebben. Het systeem zegt “dit is met AI geschreven” en jij moet je concepten, tussenversies en schetsen gaan opduikelen. En dan moet je iemand die al denkt “AI slop prutser” gaan overtuigen dat je het wél zelf gemaakt hebt.
Op zich zijn deze getallen (en de focus op minimale vals positieven) veelbelovend. Je zou kunnen zeggen: we nemen dit als aanwijzing. We gaan dan weerwoord vragen van de auteur; laat maar zien hoe dit werk tot stand komt, onderbouw dat het eigen werk is. Misschien heeft hij zijn manuscript uitgebreid met AI laten redigeren, misschien is er een andere verklaring voor de uitslag. De organisatie hoeft niet blind op zijn ontkenning te vertrouwen, maar moet wel open staan voor de input.
Een reden om hier als jurist desondanks moeite mee te hebben, is dat dit geautomatiseerde besluitvorming is. Pangram zegt “dit is AI tekst” en we vragen de student te bewijzen van niet. Daar moet van de AVG dan betekenisvolle menselijke tussenkomst bij, en dat is meer dan een docent die er ook naar kijkt en zegt “ja, ik heb hier een neus voor, dit is AI”.
Bij zaken als niet-bestaande referenties is dat nog wel mogelijk, maar wat als het puur om stijl en taalgebruik gaat? Wat kun jij dan doen dat Pangram niet al deed, en hoe onderbouw je “volgens mij komt dit inderdaad uit AI” (behoudens de watermerken).
Dat laatste is ook weer van belang: bij geautomatiseerde besluitvorming heeft de student recht op uitleg. Waarom besloot het systeem dat deze tekst 95% AI was? Welke factoren wogen daarin mee? En kun jij dat duiden op een manier dat die uitleg beklijft?
Bovendien, wat moet die student dan laten zien? Ik begeleid regelmatig studenten die gewoon een Word-document openen, beginnen met typen en na een paar dagen hun eindversie inleveren. Ze bewaren geen aparte kladjes of schetsen, want waarom zouden ze? We leren ze ook niet dat ze dat moeten doen. En wat is eigenlijk een kladje bij een tekst? Een eerste alinea die je daarna volledig hebt herschreven? De drie steekwoorden waarmee je begon? Een gedachte die je onder de douche kreeg?
Neem deze blog. Stel dat Pangram concludeert dat deze volledig door AI is geschreven. Wat zou ik dan moeten overleggen om het tegendeel aannemelijk te maken? Ik heb een eerste versie geschreven en daarover met ChatGPT gediscussieerd. Dat leverde nieuwe argumenten en tekstvoorstellen op, waarvan ik sommige wel en andere niet heb gebruikt. Met deze conversatie kan ik een deel van dat proces reconstrueren. Maar die laat niet zien welke gedachten ik al eerder had, en bewijst ook niet wie iedere afzonderlijke formulering bedacht.
Wat mij stoort, is de eenzijdigheid. Zodra we AI-gebruik vermoeden, vallen grote woorden als fraude, gaan we streng voor de student zitten en verlangen we bewijs van eigen werk. Maar ondertussen leren we studenten nauwelijks hoe ze wél verantwoord met AI kunnen werken, waar de grens ligt tussen ondersteuning en uitbesteden, en hoe ze hun eigen bijdrage zichtbaar kunnen maken. We stellen steeds hogere eisen aan het bewijs van eigen werk, zonder het onderwijs daarop in te richten.
Als we mensen willen afrekenen op ongeoorloofd AI-gebruik, moeten we ze ook leren hoe geoorloofd AI-gebruik eruitziet.
Arnoud
Het bericht AI-check zit er zelden naast bij tekstbeoordeling: ‘Geen bewijs in rechtszaken’ verscheen eerst op Ius Mentis.
