Les IA ne savent pas épeler ni compter

Ce n’est pas la première fois que les agents IA exposent leurs failles dans des tâches pourtant élémentaires. Sur Instagram, le blogueur father_phi tourne depuis longtemps les meilleurs dialogueurs IA (Gemini, Grok, Claude, ChatGPT) en ridicule. 

Compter de 1 à 200 à voix haute est une tâche incommensurable pour une IA comme ChatGPT. Plus de 22 jours de tentatives pour y parvenir.

Pour le même blogueur, combien y a-t-il de « L » dans le mot Google ? Réponse de Gemini : il y aurait 2 « L », mais quand Gemini l’épelle, il n’en prononce qu’un seul.

Dans cet article de TechCrunch, combien de « P » y a-t-il dans le mot Google ? Réponse de Gemini : il y en aurait 2 !

Voulez-vous d’autres exemples ?

En anglais, il y a aussi « exactement un “r” dans le mot “poop” », selon l’IA de Google, ainsi que deux « d » dans le mot « journalism », qu’il a pourtant orthographié : j-o-u-r-n-a-d-i-s-m. Google a au moins identifié qu’il y a un P dans le nom de famille du président américain, mais l’a orthographié t-r-p-u-m.

Les IA peinent aussi dans des raisonnements simples. La meilleure, selon moi, parmi les vidéos de father_phi, est celle où il demande à ChatGPT « devrais-je me rendre à pied ou conduire mon auto pour aller au lave-auto qui se trouve à 100 m ? ».

Selon TechCrunch, « il ne fallait pas être devin pour prédire que la refonte de la recherche axée sur l’IA de Google allait mal tourner. Nous avons déjà vécu cela. La première fois que Google a ajouté des aperçus IA à Search, la fonctionnalité a fini par citer des publications satiriques de The Onion et Reddit, conseillant aux gens de manger des cailloux et de mettre de la colle sur leur pizza ».

« Le comptage au sein des mots est un défi connu pour les grands modèles de langage, et nous travaillons à résoudre ce problème particulier », a déclaré Google à TechCrunch dans un communiqué envoyé par courriel.

Question difficile : combien de « r » dans « strawberry » ?

Ces fautes d’orthographe élémentaires peuvent sembler familières. Pour les grands modèles de langage, ce type d’intelligence artificielle qui alimente les dialogueurs et autres générateurs de texte ne sont pas conçus pour comprendre l’orthographe.

C’est une blague récurrente depuis des années : chaque fois qu’une entreprise dévoile un nouveau modèle d’IA, il faut lui demander combien il y a de « r » dans le mot « strawberry ».

Ces modèles d’IA — capables de coder une application en quelques secondes ou de résoudre des problèmes qui ont laissé les mathématiciens perplexes pendant des décennies — sont à peu près aussi doués en orthographe qu’un enfant de maternelle.