L’IA ne sait pas lire l’heure ou déterminer une date, selon des informaticiens

Le billet sciences week-end Mathilde Fontez, Vincent Nouyrigat Le samedi à 6h55, 8h25, 10h55 et 12h55, le dimanche à 6h55, 8h25, 10h25 et 12h55

Une équipe d'informaticiens anglais a testé une dizaine d'intelligences artificielles et les résultats sont sans appel : elles ne savent ni lire une horloge, ni se repérer dans un calendrier.

Mathilde Fontez

Radio France

Publié le 24/05/2025 08:17

Temps de lecture : 3min

L’IA interprète mal la position des aiguilles des horloges dans plus de 60% des cas, selon une étude. Photo d'illustration. (DONALD IAIN SMITH / STONE RF / GETTY IMAGES)

Une fois n’est pas coutume, ce n’est pas une prouesse de l’intelligence artificielle dont il s'agit, mais d’une incapacité : l’IA ne sait pas lire l’heure. On ne cesse de chroniquer les performances de l’intelligence artificielle, et c’est vrai que c’est impressionnant. L'IA sait générer des textes complexes en une seconde, des vidéos, elle compose de la musique, elle synthétise des médicaments, elle gagne les concours de mathématiques, elle réussit même à collecter des diamants dans le jeu vidéo Minecraft. Mais elle ne sait pas lire une horloge, ni se repérer dans un calendrier. C’est ce que vient de montrer une équipe d’informaticiens anglais, tests à l’appui.

À lire aussi

L'IA moins performante que les humains pour analyser les interactions sociales

Ils ont testé une dizaine d'IA, notamment Chat-GPT, Gemini et Claude dans différentes versions. Ainsi que des modèles open source moins connus. Les chercheurs ont aussi testé différents types d’horloges et de calendriers. Et même s’il y a de petites différences de performances entre les modèles, c’est globalement un échec. L’IA interprète mal la position des aiguilles des horloges dans plus de 60% des cas. Les dates se sont avérées tout aussi difficiles. Répondre à la question, "quel jour sera le 153e jour de l'année ?" est un défi pour l’IA. Le taux d'échec était de 74%. Les grands modèles de langage, si puissants soient-ils, ont beaucoup de mal à déterminer le jour où une date tombera.

Les limites d'un raisonnement ni cohérent, ni fondé sur des règles

Cela ne les empêche pas de fonctionner, même si pour certaines applications, c’est un gros handicap. Si on veut faire travailler l’IA sur des tâches de planification, sur les technologies d’assistance, il va falloir lui apprendre à se repérer dans un calendrier. Mais ce qui est peut-être plus intéressant encore, c’est que cela montre les limites des IA actuelles en termes de raisonnement. Elles ne maîtrisent pas encore ce type de raisonnement temporel qui combine une perception visuelle précise, un calcul numérique et d'inférence logique.

Cela montre comment les IA raisonnent et cela révèle en particulier ses lacunes en arithmétique. Certains calculs tout bêtes, qui ne posent aucun problème aux logiciels classiques, échappent complètement à l’IA. Parce que leur raisonnement n’est ni cohérent, ni fondé sur des règles. Elles n'exécutent pas d'algorithmes. Les chercheurs qui ont mené l’étude esquissent une solution pour corriger la lacune de l’heure et de la date, lors de l’entraînement des IA, en les faisant travailler sur des exemples plus ciblés. Mais cela ne réglera pas cette limite dans leur manière de raisonner.