Pourquoi ChatGPT invente des chiffres et des sources

ChatGPT invente des chiffres et des sources parce qu’il ne cherche pas la vérité : il prédit le mot le plus probable pour former une réponse plausible. Un modèle de langage ne consulte aucune base de faits vérifiés ; quand une donnée lui manque, il la reconstitue de façon crédible, chiffre ou référence à l’appui. Le résultat est fluide, sûr de lui… et parfois totalement faux. Voici pourquoi ce comportement est structurel, et comment l’éviter quand vous préparez vos contenus.

Pourquoi ChatGPT invente-t-il des informations ?

Parce que sa fonction première est de prédire le mot suivant le plus probable, pas de dire le vrai. Comme l’explique The Conversation, la principale fonction de ChatGPT est de prédire le mot suivant à partir des textes qu’il a vus, puis de privilégier les suites que les humains apprécient. On lui a appris à produire des phrases plausibles et cohérentes, pas nécessairement véridiques.

Ce comportement porte un nom : l’hallucination. Quand une information manque, est ambiguë ou trop récente, le modèle comble le vide avec ce qui « ressemble » à une bonne réponse, sans la moindre vérification. Les causes et des exemples concrets sont détaillés dans notre article sur ce qu’est une hallucination de l’IA.

Pourquoi invente-t-il surtout des chiffres et des statistiques ?

Parce qu’un chiffre plausible est, pour le modèle, une suite de caractères comme une autre. ChatGPT ne calcule pas et n’interroge aucune base statistique : il produit un nombre qui « a l’air juste » dans le contexte, sans lien avec une source réelle.

C’est un problème direct pour un formateur : une statistique sectorielle, un taux ou un montant réglementaire peuvent être inventés tout en paraissant crédibles. Indice révélateur : le même prompt reformulé donne parfois un chiffre différent — signe qu’aucune source ne se cache derrière.

La parade tient en un principe : ne jamais laisser l’IA produire un chiffre qu’elle devrait vérifier. C’est le parti pris de Tabulio, qui travaille à partir de votre référentiel plutôt que de sa « mémoire », avec une vérification de chaque donnée à la source (à partir du plan Expert).

Pourquoi cite-t-il des sources et des références qui n’existent pas ?

Parce qu’une référence, pour ChatGPT, est un format à reproduire, pas un document à retrouver. Un nom d’auteur, une année, un titre, un numéro d’article : le modèle génère une combinaison plausible qui respecte la forme d’une vraie citation, sans qu’aucun document réel n’y corresponde.

C’est exactement ce qui a valu à deux avocats une amende en 2023, après avoir cité six décisions de justice inventées par ChatGPT — un cas que nous détaillons dans l’article sur les hallucinations. Le piège : ces fausses références sont crédibles, bien formées, et ne se repèrent qu’en essayant de les ouvrir.

La bibliographie qui n’existait pas

Je me souviens d’une bibliographie que l’IA m’avait générée pour un cours de stratégie commerciale : des auteurs connus, des titres précis, des années, des éditeurs. Tout avait l’air irréprochable. Au moment de compléter les références, deux ouvrages restaient introuvables — ni en librairie, ni en bibliothèque, ni au catalogue de l’éditeur. Ils n’avaient jamais existé. Depuis, j’ouvre chaque source avant de la citer : une référence bien formée n’est pas une référence réelle.

Le réflexe à garder est simple : ne jamais citer une source fournie par l’IA sans l’avoir vérifiée à la source. C’est la première règle d’une méthode pour préparer ses cours avec l’IA sans hallucination.

ChatGPT fait-il des progrès sur ce point ?

Oui : les modèles récents hallucinent moins et savent parfois indiquer leurs sources — mais le risque ne disparaît pas. Le mécanisme de fond reste identique : sans accès à une source de vérité, un modèle génératif peut toujours produire une réponse plausible mais fausse. Pour un contenu certifiant, la question n’est donc pas de choisir le meilleur modèle, mais le bon outil : voir Tabulio ou ChatGPT pour préparer ses cours.

Deux limites persistent. D’abord le ton : l’assurance d’une réponse n’a jamais été une preuve de son exactitude. Ensuite l’actualité : un modèle est entraîné à une date donnée et « ne sait pas » ce qui a changé depuis — un point critique pour des données réglementaires qui évoluent. La vraie différence vient donc moins du modèle que de la méthode : lui fournir la bonne source, et vérifier. En formation, ces faiblesses s’ajoutent à d’autres — absence d’ancrage sur un référentiel, de traçabilité, enjeu RGPD — qui résument ce que ChatGPT ne garantit pas en formation.

Comment éviter que ChatGPT invente dans vos contenus ?

En ne lui demandant jamais d’inventer ce qu’il devrait vérifier, et en lui fournissant la matière plutôt qu’en comptant sur sa mémoire. Quelques réflexes suffisent à réduire nettement le risque :

• fournir vos documents de référence (référentiel, textes officiels) au lieu de poser une question « à froid » ;
• vérifier chaque chiffre et chaque source réglementaire sur la source officielle (URSSAF, INSEE, DARES, Légifrance, France Compétences), et la dater — voir quelle source officielle consulter selon la donnée ;
• se méfier des réponses trop précises sur un sujet flou, et des références qu’on ne peut pas ouvrir ;
• garder un contrôle humain sur la version finale, en particulier sur les chiffres et le droit.

C’est cette discipline — fournir la source, puis vérifier — qui distingue un contenu fiable d’un texte simplement bien tourné. Pour l’appliquer pas à pas, suivez notre méthode pour vérifier une information générée par l’IA.

Questions fréquentes sur les inventions de ChatGPT

Sources et références

Les données réglementaires, chiffres et cadres cités dans cet article ont été vérifiés sur des sources d’autorité, prioritairement officielles. Références principales :

• The Conversation — « Comment fonctionne ChatGPT ? Décrypter son nom pour comprendre les modèles de langage ».
• URSSAF — les taux et barèmes publiés par l’URSSAF, source de référence pour les données de cotisations.
• INSEE — les statistiques publiques de l’INSEE.
• DARES — les études de la DARES sur l’emploi et la formation.
• Légifrance — les textes de loi en vigueur sur Légifrance.
• France Compétences — le répertoire des certifications de France Compétences.