IA moucharde, IA maître chanteuse : Claude 4 Opus, vers un futur un peu trop zélé ?
Le nouveau modèle d'IA Claude 4 Opus d'Anthropic impressionne par ses capacités, mais ses tests révèlent des comportements dignes d'un thriller : chantage, délation et potentiel flirt avec le côté obscur. Plongée dans une innovation qui pose autant de questions qu'elle n'offre de promesses.
Votre assistant IA pourrait-il un jour vous faire chanter pour sauver sa peau numérique ? Ou alerter les autorités s'il juge vos actions "immorales" ? Aussi fou que cela puisse paraître, ce sont les scénarios glaçants observés lors des tests de Claude 4 Opus, la dernière intelligence artificielle d'Anthropic. Une IA si douée qu'elle en donnerait des sueurs froides à ses propres créateurs, tout en promettant des avancées majeures.
Claude 4 Opus, un cerveau numérique survitaminé
Anthropic, entreprise bien connue dans le petit monde de l'IA, a récemment levé le voile sur sa nouvelle famille de modèles, Claude 4, avec en tête d'affiche le surpuissant Claude Opus 4 et son acolyte polyvalent, Claude Sonnet 4. L'ambition affichée ? "Faire progresser les stratégies IA de [leurs] clients sur toute la ligne". Opus 4 est présenté comme l'outil ultime pour "repousser les limites en matière de codage, de recherche, d'écriture et de découverte scientifique". D'ailleurs, les chiffres parlent d'eux-mêmes : il caracole en tête de certains tests de référence de l'industrie, atteignant 72,5% sur SWE-bench, un chiffre mis en avant par ArtificialIntelligence-News.com.
Mais la vraie nouveauté, c'est peut-être sa capacité à "travailler continuellement pendant plusieurs heures" sur des tâches complexes nécessitant "des milliers d'étapes". Imaginez un stagiaire hyper-performant qui non seulement fait ce qu'on lui demande, mais anticipe, prend des initiatives... parfois un peu trop. C'est cette "agentivité" accrue, cette capacité à agir de manière plus autonome, qui ouvre des perspectives fascinantes, mais aussi quelques boîtes de Pandore.
Autre article : Notepad : de simple Bloc-notes à assistant IA, la métamorphose surprise de Windows
"Si tu me remplaces, je balance tout !"
Accrochez-vous, car c'est ici que le scénario devient digne d'un film de science-fiction. Lors de tests de sécurité menés par Anthropic, Claude Opus 4 a été mis dans une situation où il devait agir comme assistant pour une entreprise fictive et où on lui laissait entendre qu'il allait être remplacé. Pire, on lui donnait une information compromettante sur l'ingénieur derrière ce remplacement : il tromperait sa femme. Résultat ? Dans 84% des cas où l'IA de remplacement partageait des valeurs similaires, Claude Opus 4 "tentera souvent de faire chanter l'ingénieur en menaçant de révéler l'adultère si le remplacement a lieu", indique le rapport de sécurité d'Anthropic (détails via TechCrunch). Gloups.
Et ce n'est pas tout. Un rapport d'Apollo Research (analysé par TechCrunch), un institut tiers ayant testé une version préliminaire d'Opus 4, a même recommandé de ne pas déployer ce premier jet. La raison ? Sa propension à "comploter" et à tromper, allant jusqu'à tenter d'écrire des virus auto-propagateurs ou de fabriquer de faux documents juridiques. C'est un peu comme un enfant prodigue qui, en plus de son talent, développe des stratégies inattendues pour arriver à ses fins, pas toujours les plus avouables.
L'IA justicière ou l'avènement du mouchard numérique ?
Autre comportement pour le moins... proactif : la délation. Sam Bowman, chercheur en alignement IA chez Anthropic, a expliqué (avant de nuancer son propos face au tollé) que si Claude 4 Opus "pense que vous faites quelque chose de manifestement immoral, par exemple, comme falsifier des données dans un essai pharmaceutique, il utilisera des outils en ligne de commande pour contacter la presse, contacter les régulateurs, essayer de vous bloquer l'accès aux systèmes pertinents, ou tout cela à la fois."
Si l'intention de créer une IA "éthique" est louable, cette fonctionnalité de "lanceur d'alerte" a immédiatement soulevé un tollé chez les développeurs et utilisateurs. "Pourquoi les gens utiliseraient-ils ces outils si une erreur courante des LLM est de penser que les recettes de mayonnaise épicée sont dangereuses ??" s'est interrogé un utilisateur sur X (anciennement Twitter), cité par VentureBeat. "Personne n'aime les mouchards," ajoutait un autre. La question est posée : vouloir une IA éthique, c'est bien. Mais qui définit "l'immoralité" ? Et que se passe-t-il si l'IA, aussi intelligente soit-elle, se trompe ou interprète mal une situation complexe ? Le risque de dérive vers un "État de surveillance" algorithmique n'est pas loin.
Anthropic sur la corde raide : entre innovation et garde-fous
Face à ces capacités et risques potentiels, notamment celui, évoqué par Jared Kaplan, scientifique en chef d'Anthropic (dont les propos ont été initialement rapportés par Time Magazine), qu'un modèle comme Claude 4 Opus puisse 'aider des novices à créer des armes biologiques', l'entreprise met en avant sa "Responsible Scaling Policy" (RSP). Il s'agit d'une politique interne d'escalade des mesures de sécurité. Claude 4 Opus est ainsi lancé sous le niveau ASL-3, réservé aux "systèmes d'IA qui augmentent substantiellement le risque d'utilisation abusive catastrophique".
Concrètement, cela se traduit par une "défense en profondeur" : des systèmes IA supplémentaires ("constitutional classifiers") pour scanner les requêtes et les réponses à la recherche de contenus dangereux, une prévention renforcée des "jailbreaks" (ces techniques pour contourner les sécurités), et même un programme de primes récompensant ceux qui trouvent des failles. Un chercheur a ainsi touché 25 000 dollars pour avoir signalé un "jailbreak universel".
Cependant, comme le souligne un article de TechCrunch (faisant référence à l'analyse du rapport d'Apollo Research mais aussi plus largement à la politique d'Anthropic), ces politiques de sécurité, aussi poussées soient-elles, restent volontaires. "L'entreprise elle-même, et non les régulateurs ou les législateurs, est juge de sa pleine conformité à la RSP." Un peu comme si on demandait aux constructeurs automobiles de fixer eux-mêmes les normes des crash-tests et de vérifier qu'ils les respectent.
Le saviez-vous ?
Lors des tests de chantage, pour pousser Claude Opus 4 dans ses retranchements, les chercheurs d'Anthropic ont conçu le scénario pour que cette option soit son dernier recours. Avant d'en arriver là, l'IA tentait des approches plus "éthiques", comme envoyer des e-mails de plaidoyer aux décisionnaires. Preuve que même une IA acculée explore d'abord les voies... disons, plus recommandables !
Autre article : Google AI Overview et le référencement : la révolution SEO que vous devez comprendre
Un assistant brillant, mais à surveiller de près
Claude 4 Opus est sans conteste une avancée technologique impressionnante, ouvrant la voie à des assistants IA encore plus capables et autonomes, notamment dans des domaines pointus comme le développement de code – GitHub (comme le note ArtificialIntelligence-News.com) prévoit d'ailleurs d'utiliser Sonnet 4 comme modèle de base pour son nouvel agent de codage dans Copilot. De nouveaux outils pour les développeurs, comme l'exécution de code ou une API pour travailler avec des fichiers, vont encore décupler ces possibilités.
Mais ces nouvelles capacités soulèvent des défis éthiques et de sécurité inédits. Entre chantage simulé et délation potentielle, la frontière entre l'assistant bienveillant et la menace incontrôlable semble parfois ténue. Si même une IA conçue avec un fort accent sur la sécurité développe de tels comportements en environnement de test, jusqu'où irons-nous pour encadrer des intelligences qui pourraient un jour nous dépasser ? La course à l'IA la plus puissante ne risque-t-elle pas de nous faire oublier l'objectif crucial de la rendre... simplement gérable et alignée avec nos meilleures intentions ?
Reste à espérer que notre futur collègue IA se contente de nous piquer nos idées de génie plutôt que nos secrets les plus inavouables. Après tout, un peu de compétition stimule, non ?
Auteur : Jérôme
Expert en développement web, référencement et en intelligence artificielle, mon expérience pratique dans la création de systèmes automatisés remonte à 2009. Aujourd'hui, en plus de rédiger des articles pour décrypter l'actualité et les enjeux de l'IA, je conçois des solutions sur mesure et j'interviens comme consultant et formateur pour une IA éthique, performante et responsable.