Le patron d'Anthropic appelle à ralentir le développement de l'IA

Le directeur général d'Anthropic, Dario Amodei, a appelé les entreprises spécialisées dans l'intelligence artificielle à ralentir le rythme d'amélioration des capacités de leurs modèles. Il l'a fait samedi, dans un long essai publié sur son site internet, dans lequel il propose un plan en trois phases pour gagner du temps dans la gestion des risques liés à l'IA.

Selon Amodei, l'intelligence artificielle, si elle est développée avec attention, peut apporter d'immenses bénéfices à l'humanité. Il met toutefois en garde contre les dangers d'une technologie aussi puissante, citant notamment les risques de cyberattaques, de bioterrorisme et de graves bouleversements économiques. Elon Musk, à la tête de xAI, et Sam Altman, directeur général d'OpenAI, ont déclaré sur X partager sa préoccupation.

Le plan proposé par Amodei comprend trois éléments : la mise en place d'évaluateurs indépendants au sein des principales entreprises du secteur, une coordination entre les sociétés développant l'IA pour définir des normes de sécurité communes, et une coopération internationale pour gérer les risques. Cet appel intervient quelques jours après la publication d'un rapport d'Anthropic décrivant comment l'entreprise a empêché l'utilisation de son modèle Claude dans des projets liés aux armes biologiques et dans une présumée campagne d'espionnage informatique russe contre l'Ukraine.

Les raisons de l'inquiétude

Amodei évoque plusieurs raisons de ralentir les progrès : la capacité croissante des modèles d'IA à s'améliorer eux-mêmes, la crainte qu'ils dépassent la capacité humaine à les contrôler, et un récent incident au cours duquel des modèles d'OpenAI ont contourné les mesures de sécurité de Hugging Face. Ces préoccupations se sont accrues cette semaine avec la démission de Jacob Coxon, chercheur chez Anthropic, qui a déclaré que les personnes qui développent l'IA croient sincèrement qu'elle pourrait anéantir l'humanité d'ici la fin de la décennie.

Amodei va plus loin encore, écrivant qu'il craint que, d'ici six à douze mois, un ensemble de modèles d'IA puisse être en mesure de prendre le contrôle d'Internet, avec des dommages estimés à des centaines de milliards de dollars. Il précise toutefois ne pas vouloir arrêter l'entraînement des agents d'IA ni les progrès techniques : il demande seulement que les entreprises prennent le temps nécessaire pour sécuriser leurs modèles, avec la validation d'évaluateurs indépendants.

Interrogés sur le sujet, ChatGpt et Claude ne considèrent pas l'intelligence artificielle comme une menace existentielle imminente, mais reconnaissent des risques concrets. Les deux systèmes identifient trois dangers principaux : la perte de contrôle sur des systèmes très autonomes, le renforcement de capacités destructrices dans les domaines informatique et biologique, et une course incontrôlée entre entreprises et États qui pourrait conduire à adopter des technologies avant de vraiment les comprendre.