Wat zijn AI-detectoren en werken ze?

Veel AI-detectors beweren dat ze je met een bepaalde mate van nauwkeurigheid kunnen laten weten of tekst is geschreven door een mens of door een kunstmatige intelligentiesoftware.

Deze detectoren zijn echter nogal controversieel. Sommige mensen beweren dat ze niet werken en anderen noemen ze zelfs oplichterij. 

Toch hebben schooldirecteuren, marketingmanagers, leraren en nog veel meer mensen gestraft voor het schrijven van content dat door AI-detectors wordt gemarkeerd. Dus hoe nuttig zijn ze echt?

Wat is een AI-detector precies?

Een AI-detector is een softwaretool die is ontworpen om content te identificeren die is gegenereerd door kunstmatige intelligentie (AI)-systemen. In wezen maakt het onderscheid tussen door mensen gemaakte content en content die is gegenereerd door AI-algoritmen zoals ChatGPT. 

Hoe werken AI-detectors?

AI-detectoren lijken erg op plagiaatcheckers. Ze kennen een procentuele score toe: 0% betekent dat er 0% kans is dat de tekst door AI is geschreven. 100% betekent dat de detector 100% zeker is dat de tekst door AI is geschreven.

Dus als het op AI-detectors aankomt, willen we lage scores.

Dit percentagemodel kan misleidend zijn. Een score van 40% kan het laten klinken alsof 40% van het artikel door AI is geschreven, maar in werkelijkheid betekent het dat het programma er maar 40% zeker van is dat de tekst door AI is geschreven. (En wat betekent dat? Eigenlijk niets.) Sommige AI-detectors markeren zelfs bepaalde delen van de tekst alsof dat de delen van de tekst zijn die door AI zijn geschreven. 

Een docent die al eerder plagiaatcheckers heeft gebruikt, zou zich bijvoorbeeld zorgen kunnen maken over deze percentages, want als een werkstuk voor 40% geplagieerd is, zou dat reden zijn voor disciplinaire maatregelen. Maar een score van 40% op een AI-detector kan onduidelijk en subjectief zijn. 

AI-detectoren Voorbeelden

Enkele voorbeelden van websites die beweren AI-geschreven tekst te kunnen detecteren zijn:

• Originaliteit.ai
• Onvindbaar.ai
• GPTZero
• Quillbot

Zijn AI-detectoren betrouwbaar?

Hier is een screenshot van een AI-detectieresultaat van Originality.ai, dat op zijn startpagina claimt "99% AI Detection Accuracy" te hebben.

Het programma is er ongeveer 70% zeker van dat de tekst door AI is geschreven, wat betekent dat de kans heel groot is dat de tekst door AI-software is geschreven. Iemand die deze tekst heeft geschreven zou problemen kunnen krijgen op school of op het werk door zo'n hoge AI-score.

Er is alleen één probleem: de tekst die Originality.ai "met 99% nauwkeurigheid" op de foto heeft gescand, zijn de eerste 100 woorden van De kunst van het oorlogvoeren van Sun Tzu, die is geschreven in de vijfde eeuw voor Christus.

Dit brengt ons bij de principiële vraag: Zijn AI-detectoren nauwkeurig? Nee. 

OpenAI heeft bevestigd dat AI-detectors niet werken. Cornell University publiceerde een artikel waarin erop werd gewezen dat AI-detectors vooringenomen zijn tegen niet-moedertaalsprekers van het Engels. Toch hebben universiteitsprofessoren hele klassen studenten laten zakken omdat ChatGPT desgevraagd de eer voor hun werk opeiste. 

Dat gezegd hebbende, sommige mensen beweren dat AI-detectoren geloofwaardig zijn, ze bieden alleen geen antwoorden die zo eenduidig zijn als ze lijken. 

Deze programma's hebben meestal een laag percentage valse negatieven, maar een hoog percentage valse positieven. Met andere woorden, als een AI-detectiesoftware zegt dat iets geen AI is, dan kun je er vrij zeker van zijn dat het geen AI is. Maar als het zegt dat iets wel AI is, dan betekent dat vaak helemaal niet zoveel. En als iemand je beschuldigt van het gebruik van kunstmatige intelligentie omdat je een hoog percentage resultaat hebt van een AI-detector, vraag hem dan of hij dezelfde logica toepast op Sun Tzu.

Dus, hoe kan ik weten of een schrijver of student AI gebruikt om te schrijven?

Kijk naar de Google Docs Tijdstempels

Als je echt wilt weten of iemand kunstmatige intelligentie gebruikt om zijn werk te schrijven, dan kun je hem vragen om in Google Docs te schrijven en je de link te geven. Op die manier kun je naar de documentgeschiedenis gaan en de tijdstempels bekijken om te controleren hoe lang ze erover gedaan hebben om het te schrijven.

Gebruik de Originality.ai plugin (maar negeer de AI-score)

Originality.ai, hoewel de AI-controleresultaten onnauwkeurig zijn, heeft een Chrome-plugin waarmee je een opname van het schrijfproces van een willekeurig Google Doc kunt bekijken. Op die manier kun je controleren of iemand op een bepaald punt een stuk tekst van een externe bron heeft ingeplakt. 

Controleren op plagiaat

Dat gezegd hebbende, moet je in de eerste plaats schrijven controleren op nauwkeurigheid en plagiaat voordat je het controleert op AI. Hoewel ChatGPT AI in de schijnwerpers heeft gezet, maakt het nog steeds veel fouten, zoals het kopiëren van grote stukken tekst uit vele bronnen op het web en het hallucineren. Er zijn andere bedrijven (zoals TypeTone) die een product van hogere kwaliteit bieden en geen plagiaat plegen.

Terwijl een persoon plagiaat pleegt door stukken tekst uit een paar verschillende bronnen over te nemen, plegen AI-bots van lagere kwaliteit plagiaat door kleine stukjes tekst uit veel verschillende bronnen over te nemen. Maar als die kleine stukjes plagiaat bij elkaar worden opgeteld, kan een groot deel van het geschrift nog steeds plagiaat zijn. En terwijl we hebben vastgesteld dat een hoge AI-score niet veel betekent, is een hoge plagiaatscore een serieus probleem in de meeste academische en werkomgevingen. 

Onthoud: Een lage score betekent niet dat je goed schrijft

Denk aan het gezegde: "Vergissen is menselijk." Mensen maken fouten en AI-detectors weten dat. Dat betekent dat als een artikel vol zit met grammaticale fouten en onhandige tekst, dat kan betekenen dat het een betere score krijgt van de AI-detectors. Soms, als tekst grammaticaal nauwkeurig is, is de kans groter dat het gemarkeerd wordt als door AI geschreven.

AI is gemaakt door mensen en dat betekent soms dat het menselijke vooroordelen heeft. AI-detectors zijn er bijvoorbeeld van beschuldigd dat ze harder oordelen wanneer ze content scannen, geschreven door mensen die Engels als tweede taal spreken. Niet-moedertaalsprekers van het Engels schrijven misschien in een meer internationaal, neutraal Engels dat minder gebaseerd is op slang en lokale uitdrukkingen. AI-detectors zouden dit kunnen markeren als meer waarschijnlijk geschreven door ChatGPT.

Als je software gebruikt om je te helpen bij het proeflezen en controleren van je grammatica, zoals Grammarly, dan is de kans groter dat je schrijfsels ook als AI-geschreven worden gemarkeerd, om dezelfde redenen die hierboven zijn genoemd.

In die zin kan het lijken alsof AI-detectors schrijven bestraffen omdat het grammaticaal correcter is. Dus onthoud dit: een lage AI-score staat niet gelijk aan goed schrijven, en een hoge AI-score staat niet gelijk aan slecht schrijven.

Niet alle AI-programma's zijn hetzelfde

Bij TypeTone erkennen we het belang van het uitdrukken van uw unieke toon en stem. Kunstmatige intelligentie hoeft geen oncreatieve, geplagieerde, onnauwkeurige content te produceren. Onze digital workers en chatbot zijn volledig in lijn met de modernste EU-technologieregels en we tonen een toewijding aan kwaliteit die verder gaat dan slordige beloften. 

Typetone biedt AI-medewerkers en een AI-chattool die perfect zijn voor moderne marketingteams. Onze AI-software is gewoon beter - het is veilig, volgt de regels (GDPR-naleving, check!) en past perfect bij je merk. 

Probeer Typetone Chat eens uit en ontdek hoe het jouw marketingdoelstellingen kan verbeteren. Plan vandaag nog een demo!

‍