Quand l'un des leaders mondiaux de l'IA estime qu'il serait souhaitable de  ralentir temporairement la course au progrès pour laisser le temps aux mécanismes de contrôle et de gouvernance de suivre, cela mérite notre attention.

Dans un récent article, Anthropic explique que l'IA contribue déjà au développement de systèmes d'IA toujours plus performants. Cette dynamique pourrait, à terme, conduire à une forme d'auto-amélioration récursive, où une IA participerait directement à la conception de ses propres successeurs.

Anthropic ne considère pas ce scénario comme inévitable, mais estime qu'il pourrait survenir plus vite que les institutions ne sont aujourd'hui prêtes à le gérer.

D'où une question qui relevait hier encore de la science-fiction : comment garder le contrôle lorsque les systèmes deviennent capables d'accélérer eux-mêmes leur propre évolution ?

À lire (en anglais) : https://www.anthropic.com/institute/recursive-self-improvement