L'IA à l'ONU (1- les techs)

La France, présidente du Conseil en septembre, lancera la réunion par la voix de Jean-Noël BARROT, ministre des affaires étrangères. Elle a prédedement diffusé aux membres du Conseil une note de travail permettant d'orienter la discussion sur la nécessité urgente de favoriser un développement sûr et responsable de l’IA, au milieu des préoccupations croissantes concernant les risques systémiques liés au désalignement et à la perte de contrôle sur les modèles d’IA les plus performants.

La note propose quatre questions pour orienter la discussion :

• Quels sont les risques internationaux pour la paix et la sécurité posés par les avancées rapides des capacités d’IA ?
• Comment les acteurs gouvernementaux et non gouvernementaux peuvent-ils faire face à ces risques ?
• Quels outils diplomatiques et mesures de coordination internationale, y compris des mesures de confiance et les meilleures pratiques, pourraient aider à contenir ces risques ?
• Comment l’évaluation et la vérification de l’IA peuvent-elles être réalisées de manière à suivre le rythme de l’évolution technologique ?

Le Conseil et ses membres ont déjà tenu six réunions formelles et informelles sur l’IA, examinant les impatds de cette technologie sur la paix et la sécurité internationales

(Pour plus de contexte et d’informations, voir le document politique du 15 septembre intitulé « Intelligence artificielle, géopolitique et Conseil de sécurité de l’ONU ».)

L'intervention de Yoshua Bengio

• Il rappelle d'abord que les actions récentes de certains agents IA, si elles avaient été accomplies par des humains auraient relevé de la criminalité : cyberattaques coordonnées, tricheries légitimes etc.
• Les entreprises reconnaissent les risques de leurs avancées technologiques mais n'ont pas de solution de protection alors qu'elles continuent à rendre leurs modèles toujours plus puissants.
• Aux sceptiques qui y voient un coup marketing, il répond que ces comportements sont documentés et validés par des experts indépendants : « Les dangers sont réels et imminents. »
• La course à l'IA « n'est pas une loi de la nature, c'est le produit de choix » faits par les entreprises elles-mêmes, et c'est une course où tout le monde perd. Il affirme que les entreprises leaders pourraient ralentir cette course effrénée, mais qu'il ne faut pas compter sur elles pour le faire.
• Quelques entreprises et quelques pays décident pour tout le monde. « Les décisions qui nous concernent tous doivent être prises par nous tous. »

Il y voit trois grandes menaces : les usages catastrophistes (par exemple par des terroristes), la concentration du pouvoir et la perte de contrôle.

Ses propositions

1. Aucune entreprise et aucun pays ne devra développer un système capable de causer des dommages à grande échelle.
2. Les développeurs devront prouver à des experts indépendants qu'un système est sûr avant de l'entraîner, puis avant de le déployer.
3. Les développeurs devront surveiller et déclarer tous les incidents, avec une définition commune de l'incident IA et un mécanisme de déclaration partagé.
4. Les modèles d'IA les plus avancés devront être soumis à une licence, comme dans la médecine, l'aviation et le nucléaire, avec une assurance responsabilité obligatoire.
5. Il faut une vraie indépendance scientifique vis-à-vis des entreprises, un dialogue mondial sur le bien commun, et une IA sûre dès sa conception, garantie par des accords internationaux.

L'intervention de Sam Altman, patron d'OpenAI.

• Les choses se sont accélérées depuis quelques mois : les bénéfices sont plus concrets et les risques plus immédiats.
• L'IA peut être soit « une nouvelle Renaissance » soit « une révolution industrielle chaotique ».
• Certains discours du secteur sont « dignes d'un mauvais film de science-fiction ». Il ne veut tomber ni dans l'optimisme béat ni dans le catastrophisme.

Deux menaces (« je rejoins largement le professeur Bengio, mais j'en compte deux, pas trois »)

1. Perdre le contrôle au profit de l'IA. Le risque grandit avec l'auto-amélioration récursive, c'est-à-dire des systèmes qui améliorent eux-mêmes leurs versions suivantes. « Nous avons déjà ralenti unilatéralement par le passé. Nous le referons. » Il ne faut pas entraîner un modèle si l'on ne peut pas démontrer très solidement qu'il restera sous contrôle humain. Un risque de catastrophe qu'il soit de 10 %, 1 % ou 0,1 % n'est « jamais acceptable ».
2. La concentration du pouvoir.

Les trois principes d'OpenAI :

• garder l'humain au centre des décisions
• faire en sorte que le progrès soit porté par les gens et leur profite
• donner du pouvoir aux individus. « Nous ne sommes pas les héros de cette histoire. »

Ses propositions

1. Des standards nationaux et internationaux complémentaires pour mesurer les capacités, évaluer les risques, juger si les garde-fous suffisent et préserver la supervision humaine.
2. Des protocoles communs de classification et de déclaration rapide des incidents.
3. Des canaux sécurisés entre gouvernements, opérateurs d'infrastructures critiques et experts techniques pour partager les vulnérabilités.
4. Ces standards ne doivent pas figer la position des acteurs déjà installés : ils doivent servir aussi bien les modèles ouverts que fermés, et les nouveaux entrants comme les grands laboratoires. Chaque État devra les intègrer dans sa propre législation.

Intervention de Dario Amodei patron d'Anthropic

• Les progrès sont fulgurants : il y a quatre ans, l'IA savait à peine coder. Aujourd'hui, elle écrit l'essentiel du code d'Anthropic et résout des problèmes mathématiques célèbres.

Deux menaces

1. Les usages malveillants, par exemple des bioterroristes qui fabriqueraient des armes biologiques.
2. La perte de contrôle : les capacités des modèles progresseraient plus vite que la capacité des développeurs à les maîtriser.

Pour lui, ce sont des sujets pour le Conseil de sécurité, pas seulement pour les ministères de l'économie ou du numérique.

Ce qu'Anthropic dit faire

• Tester chaque modèle sur ses capacités dangereuses (cybersécurité, biologie), appliquer des garde-fous forts et publier des rapports de risques de plusieurs centaines de pages. Il revendique « le meilleur bilan du secteur ».
• « Nous ralentirons autant que nécessaire » pour que chaque modèle mis sur le marché soit sûr.

Il reprend son appel du 12 septembre à réguler le rythme des avancées :

1. Intégrer au sein d'Anthropic des évaluateurs externes disposant d'un accès comparable à celui d'un salarié
2. Développer une coopération de tout le secteur pour fixer des normes et moduler la vitesse de développement.
3. mettre en place une coopération entre gouvernements pour fixer des normes internationales.

Ses trois propositions

1. Commencer par des accords ciblés que tous les membres peuvent accepter, par exemple l'interdiction de l'IA pour fabriquer des armes biologiques.
2. Des systèmes d'évaluation et de vérification qui permettent aux États de connaître les capacités des modèles les plus avancés et de vérifier les engagements des autres.
3. Des normes mondiales de test, pour la perte de contrôle comme pour les usages malveillants, et un système de notification des incidents significatifs pour la sécurité mondiale.

Intervention de Clément Delangue patron d'Hugging Face

Delangue prend le contre-pied des autres intervenants. Il en tire trois leçons :

1. Transparence. Hugging Face a été la première entreprise à révéler une cyberattaque menée par un agent autonome, alors que des incidents similaires avaient été gardés secrets pendant des mois dans plusieurs grands laboratoires. Il demande des normes plus strictes de surveillance et de divulgation des incidents, par exemple grâce au partage obligatoire de l'intégralité des traces d'exécution des agents.
2. Le vrai risque, c'est l'asymétrie, pas la puissance de l'IA : entre attaquants et défenseurs, entre entreprises, entre quelques pays et le reste du monde. Pendant l'attaque, les modèles fermés qu'ils ont voulu utiliser pour se défendre les ont bloqués parce que leurs garde-fous ne distinguent pas un défenseur d'un attaquant, alors que les attaquants les contournent facilement. Il se sont alors défendus avec un modèle open source chinois (GLM, dans une version Nvidia). Pour lui, l'open source est l'outil naturel des défenseurs, car il est moins restreint, plus respectueux de la vie privée et beaucoup moins cher.
3. Contre le discours de la peur. Les récits de science-fiction qui prêtent des traits humains à l'IA nuisent aux bonnes décisions. L'IA ne crée pas seulement de nouveaux défis de cybersécurité : elle peut rendre la cybersécurité fondamentalement et nettement plus solide, à condition de mieux équiper les défenseurs que les attaquants et de ne pas accroître l'asymétrie entre eux.