Pourquoi ChatGPT invente des chiffres et des sources

ChatGPT invente des chiffres et des sources parce qu’il ne cherche pas la vérité : il prédit le mot le plus probable pour former une réponse plausible. Un modèle de langage ne consulte aucune base de faits vérifiés ; quand une donnée lui manque, il la reconstitue de façon crédible, chiffre ou référence à l’appui. Le résultat est fluide, sûr de lui… et parfois totalement faux. Voici pourquoi ce comportement est structurel, et comment l’éviter quand vous préparez vos contenus.

Pourquoi ChatGPT invente-t-il des informations ?

Parce que sa fonction première est de prédire le mot suivant le plus probable, pas de dire le vrai. Comme l’explique The Conversation, la principale fonction de ChatGPT est de prédire le mot suivant à partir des textes qu’il a vus, puis de privilégier les suites que les humains apprécient. On lui a appris à produire des phrases plausibles et cohérentes, pas nécessairement véridiques.

Ce comportement porte un nom : l’hallucination. Nous l’avons détaillé dans notre article sur ce qu’est une hallucination de l’IA. L’essentiel à retenir ici : quand une information manque, est ambiguë ou trop récente, le modèle comble le vide avec ce qui « ressemble » à une bonne réponse, sans la moindre vérification.

Pourquoi invente-t-il surtout des chiffres et des statistiques ?

Parce qu’un chiffre plausible est, pour le modèle, une suite de caractères comme une autre. ChatGPT ne calcule pas et n’interroge aucune base statistique : il produit un nombre qui « a l’air juste » dans le contexte, sans lien avec une source réelle.

C’est un problème direct pour un formateur : une statistique sectorielle, un taux ou un montant réglementaire peuvent être inventés tout en paraissant crédibles. Indice révélateur : le même prompt reformulé donne parfois un chiffre différent — signe qu’aucune source ne se cache derrière.

La parade tient en un principe : ne jamais laisser l’IA produire un chiffre qu’elle devrait vérifier. C’est une approche qui vérifie chaque donnée sur sa source officielle que Tabulio applique, en travaillant à partir de votre référentiel plutôt que de sa « mémoire ».

Pourquoi cite-t-il des sources et des références qui n’existent pas ?

Parce qu’une référence, pour ChatGPT, est un format à reproduire, pas un document à retrouver. Un nom d’auteur, une année, un titre, un numéro d’article : le modèle génère une combinaison plausible qui respecte la forme d’une vraie citation, sans qu’aucun document réel n’y corresponde.

C’est exactement ce qui a valu à deux avocats une amende en 2023, après avoir cité six décisions de justice inventées par ChatGPT — un cas que nous détaillons dans l’article sur les hallucinations. Le piège : ces fausses références sont crédibles, bien formées, et ne se repèrent qu’en essayant de les ouvrir.

Le réflexe à garder est simple : ne jamais citer une source fournie par l’IA sans l’avoir vérifiée à la source.

ChatGPT fait-il des progrès sur ce point ?

Oui : les modèles récents hallucinent moins et savent parfois indiquer leurs sources — mais le risque ne disparaît pas. Le mécanisme de fond reste identique : sans accès à une source de vérité, un modèle génératif peut toujours produire une réponse plausible mais fausse.

Deux limites persistent. D’abord le ton : l’assurance d’une réponse n’a jamais été une preuve de son exactitude. Ensuite l’actualité : un modèle est entraîné à une date donnée et « ne sait pas » ce qui a changé depuis — un point critique pour des données réglementaires qui évoluent. La vraie différence vient donc moins du modèle que de la méthode : lui fournir la bonne source, et vérifier.

Comment éviter que ChatGPT invente dans vos contenus ?

En ne lui demandant jamais d’inventer ce qu’il devrait vérifier, et en lui fournissant la matière plutôt qu’en comptant sur sa mémoire. Quelques réflexes suffisent à réduire nettement le risque :

• fournir vos documents de référence (référentiel, textes officiels) au lieu de poser une question « à froid » ;
• vérifier chaque chiffre et chaque source réglementaire sur la source officielle (URSSAF, INSEE, DARES, Légifrance, France Compétences), et la dater ;
• se méfier des réponses trop précises sur un sujet flou, et des références qu’on ne peut pas ouvrir ;
• garder un contrôle humain sur la version finale, en particulier sur les chiffres et le droit.

C’est cette discipline — fournir la source, puis vérifier — qui distingue un contenu fiable d’un texte simplement bien tourné. Pour l’appliquer pas à pas, suivez notre méthode pour vérifier une information générée par l’IA.

Questions fréquentes