L'avertissement d'Anthropic : l'IA est sur le poin...

La société américaine d'IA Anthropic prévient que le développement de l'IA avance à un rythme qui pourrait bientôt permettre aux agents de se construire, de s'entraîner et de s'améliorer sans intervention humaine – recommandant ainsi un ralentissement du développement.

Dans un article de blog publié jeudi, Marina Favaro, responsable de l'Anthropic Institute, et Jack Clark, co-fondateur d'Anthropic, ont déclaré que les agents peuvent déjà exécuter du code eux-mêmes, déléguer des heures de travail à d'autres agents et pourraient être sur le point de prendre complètement le relais.

"Pendant la majeure partie de l'histoire de l'IA, les humains ont dirigé chaque étape de son cycle de développement. Mais chez Anthropic, nous déléguons une part croissante du développement de l'IA aux systèmes d'IA eux-mêmes, ce qui accélère notre travail", ont-ils déclaré.

"Si l'on pousse assez loin et compte tenu de suffisamment de calculs, cette tendance laisse présager un système d'IA capable de concevoir et de développer de manière totalement autonome son propre successeur", ont ajouté Favaro et Clark.

Le développement de l’IA progresse à un rythme qui pourrait conduire les agents à s’améliorer sans intervention humaine. Source : Anthropique

On s’inquiète de ce qui pourrait arriver si l’IA parvenait à devenir plus intelligente par elle-même. En décembre, OpenAI a déclaré qu'elle étudiait comment développer et déployer en toute sécurité une IA de plus en plus performante, y compris une IA capable de s'auto-améliorer récursivement.

"Nous voulons que ces systèmes suivent systématiquement l'intention humaine dans des scénarios complexes du monde réel et dans des conditions contradictoires, évitent les comportements catastrophiques et restent contrôlables, auditables et alignés sur les valeurs humaines", indique-t-il.

L'entreprise embauche également un chercheur en préparation récursive d'auto-amélioration, qui fait partie de son équipe de recherche sur la sécurité.

Selon Favaro et Clark, l'amélioration du modèle d'IA a doublé tous les quatre mois, plutôt que tous les sept mois. Le rôle des humains se rétrécit à chaque étape, le modèle Claude d’Anthropic créant environ 80 % du code fusionné dans la base de code d’Anthropic.

"Nous n'en sommes pas encore là, et l'auto-amélioration récursive n'est pas inévitable. Mais elle pourrait arriver plus tôt que ce à quoi la plupart des institutions sont préparées", ont-ils déclaré.

"Une fois que la qualité du code créé par l'homme et celle de l'IA aura atteint la parité, les humains cesseront complètement d'écrire du code et se contenteront de le réviser. Mais s'ils ne peuvent pas réviser le code aussi rapidement que Claude peut le générer, la révision humaine deviendra le goulot d'étranglement du développement de l'IA", ont-ils ajouté.

Favaro et Clark ont également déclaré que l’idéal serait de ralentir le développement afin de disposer de plus de temps pour répondre à ses implications « immenses ».

En avril, Anthropic a exclu de rendre public son modèle d’IA, Claude Mythos, en raison d’inquiétudes concernant la menace pour la cybersécurité mondiale.

Claude Mythos a pu créer facilement des exploits logiciels, ce qui a conduit Anthropic à exclure pour l'instant une version publique. Source : Anthropique

Dans le même temps, un groupe de leaders technologiques, dont certains d’Anthropic et d’OpenAI, ont publié jeudi une lettre ouverte, exhortant les législateurs à adopter des garde-fous plus solides autour de la technologie, craignant qu’elle ne soit utilisée pour surmonter les « barrières de la connaissance » qui ont historiquement empêché les mauvais acteurs de créer des armes biologiques.

"Nous pensons qu'il serait bon que le monde ait la possibilité de ralentir ou de suspendre temporairement le développement de l'IA de pointe pour permettre aux structures sociétales et à la recherche d'alignement de suivre les progrès de la technologie", ont déclaré Favaro et Clark.

"Mais si un ralentissement permet simplement aux acteurs les moins prudents de rattraper leur retard technologique, cela pourrait rendre tout le monde moins sûr. Sans un mécanisme de coordination mondial, les entreprises et les gouvernements devront prendre des décisions difficiles en matière de sécurité sous des pressions concurrentielles et géopolitiques."

Les agents d’IA sont de plus en plus populaires, y compris parmi les utilisateurs de cryptomonnaies. Certains responsables de la cryptographie ont émis l’hypothèse que les agents d’IA qui règlent les transactions pourraient stimuler l’adoption et les volumes de transactions. Jeremy Allaire, PDG de Circle, a prédit en janvier que des milliards d'agents d'IA agiraient pour le compte des utilisateurs d'ici cinq ans.

La société d'investissement en cryptographie Keyrock a rapporté le mois dernier que les agents d'IA qui règlent les paiements sont passés du concept à la réalité au cours des 12 derniers mois, avec 73 millions de dollars réglés sur 176 millions de transactions.

Magazine : Première affaire de tirage de tapis memecoin en Corée, examen des règles cryptographiques de la Chine : Asia Express