Détecteurs d'IA : ce qu'ils mesurent vraiment, et pourquoi un texte corrigé n'est pas un texte généré

TL;DR : les détecteurs de texte généré par IA mesurent la régularité statistique d'un texte, pas son origine. OpenAI a retiré le sien en juillet 2023 après avoir mesuré 26 % de vrais positifs et 9 % de faux positifs. Une étude de Stanford publiée la même année a vu plus de la moitié des copies de rédacteurs non natifs classées « générées par IA ». Corriger l'orthographe d'un texte que vous avez écrit ne le transforme pas en texte généré, et aucun outil ne peut vous garantir un verdict. Exact est disponible sur Mac et iPhone.

D'où vient la question

« Détecteur IA » fait partie des recherches qui progressent le plus en France sur le champ de la correction de texte, aux côtés de « correcteur IA » et « IA orthographe ». La question sous-jacente est presque toujours la même : si je fais corriger mon texte, est-ce qu'on va croire que je ne l'ai pas écrit ?

La réponse demande de comprendre ce que ces outils regardent.

Ce qu'un détecteur mesure

Un détecteur ne lit pas votre texte au sens où vous le liriez. Il calcule à quel point chaque mot était prévisible compte tenu des précédents. Un texte très régulier, avec un vocabulaire homogène et des phrases de longueur comparable, obtient un score de prévisibilité élevé. Le détecteur en conclut « machine ».

Un texte irrégulier, avec des tournures inattendues et des ruptures de rythme, obtient un score bas. Le détecteur en conclut « humain ».

Cette mesure ne dit rien de l'origine du texte. Elle dit qu'il est régulier, et un rédacteur méthodique produit ça.

Les chiffres qu'OpenAI a publiés sur son propre outil

OpenAI a mis en ligne son AI Text Classifier le 31 janvier 2023 et l'a retiré le 20 juillet de la même année, en invoquant un faible taux de précision.

Les chiffres qu'ils ont publiés : l'outil identifiait correctement 26 % des textes générés par IA, et classait à tort comme générés 9 % des textes écrits par des humains. Il était par ailleurs inutilisable sous 1 000 caractères.

L'entreprise qui construit les modèles a donc mesuré, puis fermé, son propre détecteur. Les outils commerciaux qui l'ont remplacé ne publient pour la plupart aucune mesure indépendante de ce type.

Le biais mesuré par Stanford

Une équipe de Stanford (Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu et James Zou) a publié le 10 juillet 2023 dans la revue *Patterns* une étude sur sept détecteurs du marché.

Le résultat : plus de la moitié des essais TOEFL rédigés par des anglophones non natifs ont été classés comme générés par IA. Les mêmes détecteurs atteignaient une précision quasi parfaite sur des copies d'élèves américains de 8e année.

L'explication tient à la mécanique décrite plus haut. Un rédacteur qui écrit dans une langue seconde emploie un vocabulaire plus restreint et des constructions plus régulières. C'est le profil statistique que le détecteur associe à une machine.

Ces outils sanctionnent donc l'étudiant étranger qui a soigné sa syntaxe et le salarié qui écrit dans une langue apprise à l'école. Les deux ont plus besoin qu'un autre qu'on croie à leur travail.

Où se situe un texte corrigé

Corriger l'orthographe et la grammaire d'un texte ne change ni son vocabulaire, ni son rythme, ni sa structure. Le profil statistique reste le vôtre, parce que les mots restent les vôtres.

Chez Exact, ce point est inscrit dans le fonctionnement du produit. Le modèle ne renvoie pas un texte réécrit : il renvoie des éditions ancrées à des endroits précis, et tout ce qu'il ne désigne pas reste identique caractère pour caractère. Chaque édition est plafonnée en taille. Les prompts de correction disent la même chose en toutes lettres, et le contrôle qui vérifie leur sortie applique la règle sans leur faire confiance.

Une correction ne peut donc pas glisser vers une réécriture. Les développeurs ont posé cette barrière dans le code, et elle tient même quand le modèle se trompe.

Ce qu'on ne peut pas vous promettre

Personne ne peut vous garantir qu'un détecteur vous classera du bon côté, et méfiez-vous de tout outil qui l'annonce. Trois obstacles s'y opposent.

Les détecteurs se trompent dans les deux sens, avec des taux que leurs éditeurs publient peu.

Un texte peut être signalé pour des raisons qui n'ont rien à voir avec vous : un sujet très codifié, un format imposé, un jargon métier dont les phrases se ressemblent toutes.

Les seuils bougent à chaque mise à jour de l'outil, sans que vous en soyez informé.

Si vous êtes évalué par un détecteur dans un cadre scolaire ou professionnel, le seul recours solide reste de garder une trace de votre travail : brouillons, historique de version, notes préparatoires.

Le tableau

En résumé

Un détecteur d'IA mesure la régularité d'un texte et l'appelle une origine. OpenAI a retiré le sien après l'avoir mesuré, et les travaux de Stanford montrent que ces outils accusent en priorité ceux qui écrivent dans une langue qui n'est pas la leur. Corriger vos fautes ne déplace pas votre texte vers la machine, parce que la correction ne touche ni à vos mots ni à votre rythme. Exact corrige en un raccourci sur Mac et depuis son clavier sur iPhone ; les offres sont sur getexact.app.