Quand l’intelligence artificielle se prend les pieds dans le tapis… (rouge)
C’est une histoire qui aurait pu faire rougir un robot de honte et qui va sans doute donner quelques rides d’inquiétude à tous les cabinets de conseil de la planète. Deloitte Australia, géant mondial du conseil, pensait sans doute briller en s’appuyant sur l’intelligence artificielle pour produire un rapport technique pour le gouvernement australien. Résultat ? Un document truffé d’inventions, de citations fantômes, et un scandale XXL à la clé.
Accrochez-vous, car cet épisode est digne d’une série à la Black Mirror : entre hallucinations IA, citations de chercheurs imaginaires et références légales sorties de nulle part, le rapport livré par Deloitte pour le ministère de l’Emploi et des Relations au Travail s’est transformé en fiasco… à 440 000 dollars australiens, soit 290 000 USD. Oui, quand même !
Un rapport (trop) intelligent… mais complètement à côté de la plaque
Tout commence par la commande d’un rapport sérieux, le « Targeted Compliance Framework Assurance Review ». Mission : offrir une analyse technique sur l’automatisation des pénalités dans le système social australien. Sur le papier, rien d’inquiétant. Jusqu’à ce que des universitaires australiens se penchent sur le fameux rapport de 273 pages. Et là, catastrophe.
Dès les premières consultations, plusieurs anomalies sautent aux yeux : des citations attribuées à des chercheurs… qui n’existent même pas. Des décisions de justice totalement inventées. Et même des phrases attribuées à une professeure australienne (Lisa Burton Crawford), qui n’a jamais rédigé le moindre des rapports cités… Ça pique un peu le doute sur le sérieux de la méthode, non ?
Ce qui devait être une prestation hautement experte vire au festival des hallucinations génératives. Spoiler : Deloitte avait utilisé Azure OpenAI GPT-4o pour automatiser la synthèse et l’analyse. Sauf qu’à force de trop déléguer aux algorithmes, on finit par citer des sources aussi crédibles qu’un site de fake news en plein 1er avril.
L’IA, reine des hallucinations ?
Si vous pensiez que ChatGPT et consorts étaient infaillibles, voici un nouvel exemple qui vient tempérer vos ardeurs technophiles. L’IA générative, même la plus sophistiquée gérée par Deloitte, reste capable de produire des références fictives, des passages entiers sortis de son imagination algorithmique… et même des études qui n’ont jamais existé.
Les fameux « hallucinations » de l’IA ne sont pas un problème réservé aux étudiants paresseux ou à la rédaction de votre prochain poème sur les pizzas hawaïennes. Quand ça touche la sphère professionnelle à coups de centaines de milliers de dollars, tout le monde s’en mord les doigts.
Factures salées, réputation râpée : Deloitte doit rembourser
Malgré un camembert bien garni sur la facture (440 000 dollars australiens, on rappelle), le résultat n’est pas à la hauteur des attentes du client, à savoir le gouvernement australien. Ce dernier, à la suite de la découverte des multiples erreurs et inventions, a exigé le remboursement d’une partie du contrat.
Deloitte s’est exécuté, remboursant la dernière tranche du paiement sans que la proportion exacte ne soit précisée. Mais dans tous les cas, c’est l’humiliation et le bad buzz assuré pour le cabinet. Comme disent certains : « l’erreur est humaine… mais là, elle est manifestement automatisée ! »
Le détail qui fâche : l’absence de transparence
Cherry on the cake (ou devrions-nous dire « bug dans la matrice ») : Deloitte n’avait pas du tout mentionné au gouvernement qu’une partie du travail serait déléguée à une IA. Que les algorithmes viennent assister les consultants, pourquoi pas, mais l’absence totale d’information sur cette démarche fait tiquer. Dans le monde ultra-réglementé du conseil, c’est comme vendre une baguette qui contient du chocolat sans prévenir les gourmands : ça passe mal.
Les experts universitaires australiens, eux, restent sceptiques sur la valeur réelle du rapport, même après « correction ». Sur 141 sources initialement listées, 14 ont purement et simplement disparu dans la deuxième version du rapport… pour cause d’inexistence. Un grand ménage algorithmique !
Les hallucinations de l’IA : un problème qui touche tout le monde
Ce n’est pas la première fois, et ce ne sera sans doute pas la dernière. Qu’on soit dans l’audit, le journalisme, la science ou la justice, l’intelligence artificielle a du mal, parfois, à faire la différence entre réalité et fiction. Et même quand elle fait preuve de créativité, on aurait préféré qu’elle se limite aux générateurs de poèmes et non aux rapports pour décisionnaires publics.
Saviez-vous que, récemment, une présentatrice de JT américaine a, elle aussi, été piégée par une information fabriquée par une IA et lue tel quel à l’antenne ? Résultat, une fake news en direct et une nouvelle preuve que les machines font parfois n’importe quoi – et nous, on gobe.
Pourquoi les IA hallucinent-elles ?
Le principe même du “grand modèle de langage” (LLM) est de prédire le mot suivant le plus probable dans une phrase, en se basant sur d’énormes bases de données glanées ici et là sur Internet. L’IA ne comprend pas le monde, elle le devine. D’où ces histoires de citations factices et de contenus fantômes… Parfois, elle invente, parfois elle se trompe d’époque, parfois elle recycle des informations totalement périmées.
Moralité ? Votre prochain rapport d’expertise n’est pas à l’abri d’un consultant artificiel un peu trop imaginatif.
IA en entreprise : vigilance maximum !
Ce que nous enseigne l’affaire Deloitte Australia, c’est qu’on ne peut pas utiliser l’IA à toutes les sauces, ni surtout s’en servir comme d’une boule de cristal ou d’une baguette magique (sauf pour générer des noms de cocktails dans les afterworks d’équipe, peut-être…).
Mettre en place une charte d’utilisation responsable de l’IA, former les salariés à repérer les indices d’hallucination, vérifier systématiquement toute citation générée automatiquement… les entreprises n’y couperont pas. Le chemin vers une IA fiable et transparente passera par plus de contrôle, plus de simplicité (et moins de magie noire algorithmique…).
Encadrer l’usage de l’IA : une urgence
La mésaventure de Deloitte risque de faire jurisprudence… ou au moins d’inspirer quelques slide PowerPoint sur le “risk management”. Les gouvernements, clients publics et privés, vont sans doute redoubler d’attention aux méthodes utilisées par leurs consultants et prestataires :
- Transparence sur l’usage de l’IA
- Vérification humaine systématique des résultats
- Référencement précis des sources citées
- Signalement obligatoire des passages générés par IA
Bref, on passe de l’intelligence artificielle à l’intelligence “augmentée”, with a little help from nos très humains collègues.
Peut-on (encore) faire confiance à l’IA pour les missions sensibles ?
La question est désormais sur toutes les lèvres : peut-on vraiment déléguer à une IA des missions à haute valeur ajoutée et à fort enjeu, sans filet ? Le cas Deloitte n’est qu’un exemple parmi tant d’autres d’une industrie qui, séduite par les promesses d’automatisation, tombe parfois dans le piège de la facilité.
Cela ne veut pas dire que l’IA n’a rien à faire dans le monde du conseil ou de l’administration, bien au contraire. Mais comme pour une voiture autonome : il faut toujours garder une main sur le volant (et parfois un pied sur le frein, au cas où l’algorithme décide de foncer dans un mur imaginaire).
Reste, pour les entreprises, à redéfinir un juste équilibre entre efficacité, innovation, et bon vieux sens critique. L’IA doit être un outil, pas un substitut à la rigueur. Sinon, gare au retour de bâton (et au remboursement salé !).
Le mot de la fin (mais pas la conclusion !)
Le géant Deloitte pourra méditer cette douce maxime : « L’intelligence artificielle c’est comme une blague, si on doit expliquer pourquoi elle est drôle… c’est qu’elle n’a sûrement pas marché. »
Pour l’avenir, il reste donc un défi de taille : comment profiter des avancées de l’IA sans céder à la tentation du pilotage automatique permanent ? On aura beau leur coller tous les boosters GPT de la terre, une IA aura toujours besoin d’un regard humain pour détecter, en temps réel, si la machine n’a pas (encore) pris la mauvaise sortie sur l’autoroute de l’information.
Allez, courage à tous les fans de l’intelligence artificielle et du consulting, et n’oubliez pas : vérifiez toujours vos sources… surtout si elles connaissent aussi bien la réalité que le monstre du Loch Ness.
Source : Presse-citron