Limites IA : pourquoi toujours plus gros ne rime pas (encore) avec plus futé

Les modèles d'intelligence artificielle nous bluffent par leurs progrès, mais leur capacité à "raisonner" pourrait bientôt plafonner. On vous explique pourquoi, et c'est un peu plus compliqué que de juste leur donner plus de données.

Vous avez vu passer les exploits de ChatGPT et consorts, capables de rédiger des poèmes, de générer du code ou de tenir une conversation presque humaine ? Impressionnant, n'est-ce pas ? On a longtemps cru que pour rendre les intelligences artificielles (IA) plus intelligentes, il suffisait de les nourrir avec toujours plus de données et d'augmenter la taille de leurs "cerveaux" (leurs paramètres, pour parler technique). Une sorte de gavage intellectuel. Mais voilà, une étude récente vient jeter un petit pavé dans la mare de cette course à la démesure : et si, pour le raisonnement complexe, cette stratégie touchait à ses limites ?

L'IA, cette élève qui apprend (trop) vite ?

Depuis quelques années, le monde de l'IA vit une véritable révolution grâce aux grands modèles de langage (LLM). Pensez à eux comme des cerveaux numériques gigantesques, entraînés sur des quantités astronomiques de textes et de données piochées sur Internet. Plus on augmente leur taille (le nombre de "paramètres", qui sont un peu comme les connexions entre neurones dans notre cerveau) et plus on leur fournit de données, plus ils deviennent performants pour tout un tas de tâches. C'est ce qu'on appelle les "lois d'échelle" (scaling laws) : plus c'est gros, mieux ça marche. Simple, basique.

Mais voilà, ces modèles sont-ils de fins logiciens pour autant ? Pas si sûr, selon une analyse pointue d'Epoch AI, un institut de recherche spécialisé. Si les IA excellent pour reconnaître des motifs ou générer du texte plausible, le véritable raisonnement, celui qui demande de suivre plusieurs étapes logiques pour résoudre un problème complexe, c'est une autre paire de manches et là on est face à une des limites IA.

Autre article : MCP : et si l’IA avait trouvé son chef d’orchestre ?

Le raisonnement, ce casse-tête même pour les IA

Pour évaluer cette capacité à "penser" plutôt qu'à simplement "répéter", les chercheurs utilisent des tests spécifiques. L'un d'eux, assez redouté, s'appelle le benchmark MATH. Imaginez une série de problèmes de mathématiques ardus, du niveau concours. Eh bien, même nos IA les plus avancées peinent encore à y briller.

L'étude d'Epoch AI, en se penchant sur les performances à ce type de tests, suggère que les améliorations spectaculaires observées jusqu'ici en matière de raisonnement, grâce à l'augmentation de la taille des modèles et des données, pourraient bien ralentir. Autrement dit, continuer à "gonfler" les IA ne suffirait plus à les rendre significativement meilleures pour résoudre des problèmes qui demandent de la jugeote.

Plus de données, meilleure IA ? Pas si simple...

Alors, pourquoi ce coup de frein potentiel ? L'explication avancée par Epoch AI est subtile. Ce n'est pas tant la quantité brute de données qui poserait problème, mais leur qualité et leur pertinence pour enseigner le raisonnement. C'est un peu comme si vous vouliez former un détective : lui faire lire l'annuaire téléphonique mondial (beaucoup de données !) sera moins efficace que de lui faire étudier des enquêtes complexes bien choisies (des données de qualité et ciblées).

Les chercheurs parlent de "données efficaces". Il semblerait que pour les tâches de raisonnement, les modèles actuels aient déjà absorbé une bonne partie des informations vraiment utiles présentes dans les immenses corpus de données textuelles généralistes. Continuer à leur en donner plus du même type n'apporterait que des gains marginaux. Un peu comme un étudiant qui aurait déjà lu tous les manuels essentiels et à qui on ne donnerait plus que des articles de seconde zone.

Autre article : Google AI Overview et le référencement : la révolution SEO que vous devez comprendre

Le mur du "1000 fois plus"

Le chiffre qui donne le tournis, avancé par Epoch AI, c'est que pour atteindre un niveau de raisonnement vraiment élevé (par exemple, un score de 90% au fameux benchmark MATH), il faudrait potentiellement 100 à 1000 fois plus de ressources (calcul et données) que ce qui est actuellement investi. Un effort colossal, qui interroge sur la soutenabilité et l'efficacité de l'approche actuelle basée uniquement sur la mise à l'échelle.

Cela ne signifie pas que les IA vont stagner dans tous les domaines, loin de là ! Mais pour le Graal du raisonnement complexe, la route semble plus ardue et coûteuse que prévu si l'on s'en tient aux méthodes actuelles. Comme le souligne Tamay Besiroglu d'Epoch AI, cité dans un article de TechCrunch rapportant l'étude, nous pourrions avoir déjà dépassé le "point idéal" où ajouter plus de données par rapport à la taille du modèle était le plus bénéfique pour le raisonnement.

Autre article : Formation IA Avignon (150€ HT) : libérez la puissance du prompt parfait

Loin de sonner le glas de l'intelligence artificielle, cette analyse d'Epoch AI nous invite à un peu plus de malice et de finesse. Plutôt que de parier uniquement sur des modèles toujours plus gargantuesques et une avalanche de données indifférenciées, la clé pour des IA véritablement "raisonneuses" pourrait se trouver ailleurs : dans des architectures de modèles plus ingénieuses, des données d'entraînement de bien meilleure qualité et spécifiquement conçues pour le raisonnement, ou peut-être des approches radicalement nouvelles.

Bref, si nos IA sont déjà de sacrées pipelettes, les transformer en véritables Sherlock Holmes numériques demandera sans doute un peu plus qu'une simple indigestion de données. Le défi est lancé, et c'est plutôt excitant, non ?

Sources :