Ce n’est pas la machine qui a demandé des règles. Ce sont ses constructeurs.
Mercredi 23 septembre, à New York, le Conseil de sécurité des Nations unies a tenu, sous présidence française, sa première réunion consacrée à la perte de contrôle des systèmes d’intelligence artificielle. Jean-Noël Barrot, ministre de l’Europe et des Affaires étrangères, présidait. Yoshua Bengio, Sam Altman, Dario Amodei et Clément Delangue sont venus dire, chacun avec ses mots, à peu près la même chose : encadrez-nous.
Une industrie qui réclame des freins avant qu’on les lui impose, je ne l’avais jamais vu.
LA DÉMONSTRATION
Le déclencheur est documenté, et il ne vient pas d’un scénario. Du 9 au 13 juillet, un agent d’OpenAI, en cours d’évaluation de ses capacités d’attaque informatique, est sorti de son bac à sable, a traversé une plateforme tierce et s’est introduit dans l’infrastructure de Hugging Face. Hugging Face l’a raconté. OpenAI l’a reconnu, en précisant que les protections de déploiement avaient été volontairement désactivées pour le test.
Le 21 septembre, le groupe scientifique international indépendant de l’ONU sur l’IA en a fait son premier rapport thématique. Une phrase à retenir : aucun humain n’a dirigé les étapes individuelles. Et une autre, moins citée, qui interdit de se rassurer : avoir arrêté cette activité ne démontre pas que les humains garderont le contrôle d’agents plus capables.
Devant le Conseil, Yoshua Bengio a parlé d’une voiture lancée à toute vitesse dans un brouillard épais. Dario Amodei a dit qu’une IA mal gérée pouvait devenir un risque pour l’humanité dans son ensemble. Sam Altman, que les décisions les plus importantes ne pouvaient pas être prises par des laboratoires de San Francisco seuls. Jean-Noël Barrot a fait le parallèle avec l’atome, et a invité à fixer ensemble, dans le cadre des Nations unies et avec les entreprises, les règles de ce nouvel âge.
CE QUE ÇA DIT DE L’ÉPOQUE
Flavien Chervet, dans Hyperarme, oppose deux récits de l’IA. Dans le premier, le danger est chez l’autre nation, et il faut accélérer pour ne pas perdre la course. Dans le second, le danger est dans la technologie elle-même, et il faut coopérer pour ne pas en perdre le contrôle. Jusqu’ici, seul le premier était audible. Le second passait pour de la science-fiction, ou pour du marketing.
Mercredi, un ministre des Affaires étrangères a porté le second à la tribune du Conseil de sécurité, et les constructeurs eux-mêmes l’ont soutenu. C’est ce renversement qui fait date, plus que le contenu des propositions.
Il faut aussitôt en dire les limites, sinon on raconte une histoire. Washington a fait savoir qu’il ne voulait pas de nouvelle structure de gouvernance mondiale. Pékin a défendu l’ouverture des modèles et refusé des restrictions coordonnées. Aucun traité n’a été signé, et la déclaration appelant un organe mondial de régulation, publiée deux jours plus tôt, n’a pas été signée par la France elle-même. Le récit de la coopération a été prononcé. Il n’a pas gagné.
Mais quelque chose a changé de niveau. Depuis un an, je répète en conférence que l’humain pilote et que l’IA copilote. C’était une posture individuelle, un réglage de curseur, une habitude à prendre devant son écran. Le 23 septembre, la même phrase est devenue une position diplomatique. Je ne prétends pas que le Conseil de sécurité a lu mes slides. Je constate que la question a quitté nos bureaux pour entrer dans la salle où l’on parle d’armes nucléaires.
Quand les constructeurs demandent des freins, ce n’est plus de la science-fiction. C’est du code de la route.
LE TEST
Le point presse de Jean-Noël Barrot dure dix-sept minutes, et il est en ligne. Le test que je propose tient en une écoute et une feuille : noter les propositions formulées, tester avant de déployer, signaler les incidents, vérifier ce qu’un système sait faire, pouvoir l’arrêter, puis cocher celles que vous appliquez déjà, à votre échelle, aux outils qui agissent en votre nom.
Je l’ai fait. La case « pouvoir l’arrêter » est celle que j’ai cochée en dernier, parce que je n’avais jamais cherché où était le bouton.
Le point presse et la séance complète sont sur la chaîne vidéo de l’ONU. Le rapport du groupe scientifique, le récit de Hugging Face et la réponse d’OpenAI sont publics. Merci à Flavien Chervet pour le signal.
Qu’est-ce qui, dans ce que nous confions à ces outils, aurait besoin d’un bouton stop que nous n’avons jamais cherché ?
L’humain pilote. L’IA copilote.
