Des coûts d'entraînement d'IA divisés par près de dix et des performances qui rivalisent, voire dépassent, celles de Google Search ? C'est la promesse de ZeroSearch, la nouvelle astuce d'Alibaba pour rendre ses intelligences artificielles plus autonomes.
Et si votre intelligence artificielle n'avait plus besoin de Google pour devenir plus maligne ? C'est un peu l'idée folle (mais brillante) derrière ZeroSearch, une technologie développée par les chercheurs d'Alibaba. Imaginez : au lieu de harceler les moteurs de recherche externes avec des millions de requêtes coûteuses pour apprendre, l'IA s'entraîne désormais en circuit fermé, dans son propre bac à sable numérique. Une petite révolution qui pourrait bien changer la donne dans le monde de l'IA.
Le secret de ZeroSearch ? Un grand modèle de langage (LLM) – ces cerveaux numériques qui animent les IA comme ChatGPT – en entraîne un autre à devenir un expert de la recherche d'informations. Pensez-y comme un vieux sage qui enseignerait l'art de la bibliothèque à un jeune disciple, mais sans jamais mettre les pieds dans une vraie bibliothèque ! Ce "LLM de simulation" apprend d'abord en observant comment un humain interagirait avec un vrai moteur de recherche. Puis, armé de cette connaissance, il génère lui-même les documents, pertinents ou non, que le "LLM élève" (le modèle de politique) utilisera pour s'entraîner. Le tout, sans jamais envoyer la moindre requête à l'extérieur pendant cette phase d'apprentissage intensive.
Autre article : Google AI Overview et le référencement : la révolution SEO que vous devez comprendre
Au cœur de ZeroSearch, il y a l'apprentissage par renforcement (RL). C'est un peu comme apprendre à un chien à faire le beau en lui donnant une friandise à chaque succès. Sauf qu'ici, l'IA (le modèle de politique) apprend à bien chercher en recevant des "récompenses" virtuelles lorsqu'elle trouve la bonne information simulée par son comparse, le LLM de simulation. La grande astuce, c'est que toute cette phase d'apprentissage intensif se fait en interne, sans solliciter de moteurs de recherche externes réels.
Le "LLM de simulation" est la pierre angulaire de ZeroSearch. Après une phase initiale d'ajustement où il apprend à imiter le style et le type de résultats d'un vrai moteur de recherche (en générant des documents "utiles" et d'autres, volontairement "bruités" ou moins pertinents), il devient le fournisseur officiel de documents d'entraînement. L'idée est que les LLM ont déjà emmagasiné une quantité phénoménale de connaissances lors de leur pré-entraînement initial ; la différence avec un moteur de recherche réel résiderait surtout dans le style des textes retournés.
ZeroSearch ne se contente pas de noyer son élève sous un flot d'informations. Il utilise une stratégie "d'apprentissage curriculaire". C'est comme un programme scolaire : on commence par des exercices faciles, puis on augmente progressivement la difficulté. Le LLM de simulation commence par fournir des documents clairs et de haute qualité, puis, petit à petit, il dégrade la qualité, introduisant du "bruit" et des informations plus ambiguës. Cela force le modèle en apprentissage à affûter son esprit critique et sa capacité à trier le bon grain de l'ivraie, comme il devrait le faire face à la jungle d'informations du web réel.
Les résultats annoncés par Alibaba ont de quoi faire sourciller. Selon le document de recherche, un modèle ZeroSearch avec un LLM de simulation de 14 milliards de paramètres aurait surpassé Google Search sur plusieurs séries de tests de questions-réponses. Plus concrètement, sur une moyenne de sept bancs d'essai, ce ZeroSearch (Qwen-2.5-7B-Instruct avec un LLM de simulation SFT-14B) a obtenu un score de 33.97, contre 32.47 pour une configuration équivalente utilisant l'API Google Search. Même un modèle de simulation plus petit, de 7 milliards de paramètres, a fait mieux que la recherche réelle avec un score de 33.06.
L'argument massue de ZeroSearch, c'est son coût. Entraîner une IA à chercher de l'information via des API commerciales comme celle de Google (via SerpAPI) peut vite devenir un gouffre financier. Pour environ 64 000 requêtes de recherche, la facture s'élèverait à environ 586,70 dollars. Avec ZeroSearch et son LLM de simulation de 14 milliards de paramètres tournant sur quatre GPU A100, le coût tombe à seulement 70,80 dollars. C'est une réduction de près de 88%! Pour les plus petites structures ou les laboratoires de recherche, cette différence est colossale.
Au-delà des économies, ZeroSearch soulève une question plus fondamentale : celle de l'autonomie des IA. En apprenant à "se googler elles-mêmes" dans un environnement contrôlé, ces IA pourraient se perfectionner de manière plus indépendante, réduisant leur dépendance vis-à-vis des géants technologiques et de leurs coûteuses API. C'est une perspective qui pourrait "niveler le terrain de jeu", comme le souligne le rapport, en démocratisant l'accès à la création d'IA avancées. Alibaba a d'ailleurs mis le code, les ensembles de données et les modèles pré-entraînés en open source, histoire d'encourager la communauté à s'emparer du sujet.
Ironiquement, pour apprendre à se passer des moteurs de recherche réels pendant son entraînement intensif, le LLM de simulation de ZeroSearch doit tout de même, au départ, apprendre des interactions avec ces mêmes moteurs. C'est une phase d'amorçage indispensable. Ainsi, même si le but est l'indépendance, le système intègre indirectement les schémas et peut-être même certains biais des moteurs existants.
Le Saviez-Vous ?
L'un des défis techniques de ZeroSearch est d'apprendre au LLM de simulation à générer non seulement des documents pertinents mais aussi des documents "bruités" ou moins utiles. Pour ce faire, les chercheurs modifient simplement quelques mots dans l'invite (le "prompt") donnée au LLM de simulation, par exemple en lui demandant de générer un document "utile" ou, au contraire, un document "bruité". Une astuce simple pour un résultat complexe !
ZeroSearch est sans conteste une avancée technique maligne qui secoue le cocotier de l'entraînement des IA. La promesse d'une réduction drastique des coûts et d'un contrôle accru sur le processus d'apprentissage est alléchante, surtout pour les plus petits acteurs du secteur. Si cette technologie tient toutes ses promesses, elle pourrait accélérer l'innovation et diversifier le paysage de l'IA.
Bien sûr, tout n'est pas rose. L'incapacité d'accéder à des informations en temps réel reste une épine dans le pied, et les risques "d'effondrement du modèle" (où l'IA finit par raconter des bêtises à force de s'auto-alimenter) ou d'amplification des biais présents dans les données initiales sont des défis sérieux à relever.
Alors, ZeroSearch, futur fossoyeur de Google pour l'entraînement des IA ou simple (mais ingénieuse) optimisation ? Une chose est sûre, en apprenant à ses IA à pêcher elles-mêmes dans leur propre bocal, Alibaba nous montre qu'en matière d'intelligence artificielle, on n'a pas fini de se creuser les méninges... pour économiser les nôtres !
Sources :
https://www.techrepublic.com/article/news-alibaba-zerosearch-ai-training-costs/Auteur : Jérôme
Expert en développement web, référencement et en intelligence artificielle, mon expérience pratique dans la création de systèmes automatisés remonte à 2009. Aujourd'hui, en plus de rédiger des articles pour décrypter l'actualité et les enjeux de l'IA, je conçois des solutions sur mesure et j'interviens comme consultant et formateur pour une IA éthique, performante et responsable.