L’aube du complexe IA-militaire

Dans mon Bulletin Je viens d’écrire un texte sur l’essor émergent du nouveau complexe militaire d’IA, je l’ai traduit pour Piqd à l’aide de ChatGPT, puis je l’ai édité.

—

L’aube du complexe IA-militaire

En décembre 2022, l’armée ukrainienne a diffusé une vidéo destinée aux soldats russes avec des instructions “Comment se rendre à un drone“. Dans la vidéo, nous voyons “trois hommes en uniforme et avec des brassards blancs dans une tranchée dans un paysage enneigé” qui sont ensuite “conduits en captivité ukrainienne par un petit quadricoptère rouge”. Ces drones sont très probablement (encore) exploités par des humains. , mais il est facile d’imaginer qu’il y aura bientôt des versions automatisées connectées à des systèmes de ciblage contrôlés par l’IA.

L’été dernier, le Financial Times titrait “Comment la Silicon Valley aide le Pentagone dans la course aux armements en matière d’IA“, dans un article sur la façon dont “l’armée américaine approche les startups de défense et d’armement” qui utilisent la technologie de l’IA. Il décrit, par exemple, la startup Saildrone, qui construit des voiliers autonomes qui utilisent des données pour “une base de données sans précédent de “cartes océaniques” sont collectées, qui sont ensuite analysées à l’aide de l’apprentissage automatique et utilisées pour la recherche sur le climat. De plus, Saildrone a été un entrepreneur majeur pour la marine américaine en 2021, l’aidant à développer une flotte de systèmes d’IA artificielle pour assurer la surveillance dans les eaux internationales, y compris l’Arctique. Océan autour de la Russie et de la mer de Chine méridionale. »

Saildrone est loin d’être la seule entreprise à tirer parti des progrès des applications civiles de la technologie de l’IA pour décrocher des contrats gouvernementaux lucratifs avec l’armée.

Lors de son exercice annuel Unitas, la marine américaine a apporté “Des essaims de drones aériens et maritimes (qui) collectait et partageait des données de reconnaissance et qui aidait une flotte multinationale à détecter, identifier et éliminer plus rapidement les véhicules ennemis. » Programme de réplication l’armée américaine a également conçu “un millier d’« ailiers robotiques »conçus pour prendre en charge les avions pilotés », ou « des milliers de « satellites intelligents » qui utilisent l’IA pour diriger les unités et suivre les ennemis. » SpaceX d’Elon Musk et Blue Origin de Jeff Bezos sont certainement des candidats sérieux pour mettre ces satellites en orbite tandis qu’Eric Schmidt son nouveau Startup militaire d’IA « White Stork » pour “Suicide Drones” était caché derrière une “matrioschka de SARL”. “Cigogne blanche” est “un clin d’œil à l’oiseau national et au totem sacré de l’Ukraine, où Schmidt a assumé le rôle de consultant et financier en matière de technologies de défense”.

Ce qui émerge ici est tout un pipeline pour une prise de décision semi-autonome basée sur l’IA sur le champ de bataille : des essaims de drones aériens et maritimes pour collecter des informations, une IA générative pour analyser ces informations pour la sélection des cibles, et enfin des systèmes de drones aériens autonomes pour les frappes. . Tout ce qu’un humain a à faire ici est de confirmer la sortie du système et de la convertir en commande.

Les systèmes d’armes autonomes sont sous la supervision des Nations Unies, et un Résolution sur les systèmes d’armes autonomes de novembre 2023 a déclaré qu’« un algorithme ne doit pas avoir un contrôle total sur les décisions qui impliquent de tuer ou de blesser des personnes » et que « le principe de la responsabilité humaine et de l’imputabilité pour tout recours à la force meurtrière doit être préservé », quelle que soit la situation. type de système d’arme impliqué”. Ce ne serait pas la première résolution de l’ONU à être violée par de mauvais acteurs.

Les États-Unis ont leur propre réglementation sur les armes autonomes dans la directive 3000.09 du DoD, qui vient d’être mise à jour en 2023. Human Rights Watch a examiné cette directive mise à jour et a trouvé un détail intéressant : la “définition préserve la définition précédente d’un système d’arme autonome de la directive de 2012, à savoir ‘un système d’arme qui, une fois activé, peut sélectionner et attaquer des cibles sans que d’autres opérateurs d’intervention humaine ne soient nécessaires’. ” mais ” la directive mise à jour de 2023 supprime le mot ” humain ” de ” opérateur ” ” et ” définit un ” opérateur ” comme ” une personne qui exploite une plate-forme ou un système d’armes “.

Le pipeline décrit ci-dessus, dans lequel des essaims de drones autonomes collectent des données qui sont ensuite analysées pour créer des cibles afin de déployer des drones autonomes pour des attaques meurtrières, peut facilement être considéré comme une plate-forme unique. Cela signifie qu’un humain ne peut pas spécifier une cible pour une arme autonome et appuyer sur un bouton, comme c’était le cas auparavant. Au lieu de cela, il lui suffit de spécifier une zone géographique approximative dans laquelle les systèmes de vision par ordinateur dans les essaims de drones rechercheront les combattants et les unités ennemies, et l’ensemble du processus, de la visée au tir, peut être entièrement automatisé. L’opérateur n’a qu’à faire confiance au système et à ses cibles générées automatiquement et à faire confirmer l’exécution par un commandant.

Le mot confiance est ici crucial : un Étude de 2022 a révélé que les gens font trop confiance aux systèmes d’IA dans les processus de prise de décision éthiques, alors qu’une étude scientifique Pré-publication d’octobre 2023 a révélé une « forte propension à une dépendance excessive à l’égard d’une IA peu fiable pour prendre des décisions vitales dans des circonstances incertaines » dans une série d’expériences examinant « la confiance dans les recommandations d’agents artificiels concernant les décisions de tuer ». Les implications sont évidentes : des systèmes d’armes autonomes sont développés avec des méthodes toujours plus simples et plus larges pour identifier, sélectionner et tuer des cibles, et les soldats accordent une confiance excessive à ces systèmes automatisés dans des situations critiques. Le changement mineur apporté à la directive 3000.09 du DoD américain, qui a supprimé le mot « humain » avant « opérateur », a ouvert la voie à une réglementation à cet effet.

Au moins une partie d’un pipeline comme celui-ci est déjà utilisée dans des situations de guerre réelles sur le champ de bataille. En décembre 2023, le Guardian, citant des rapports de la publication israélo-palestinienne +972 Magazine et du média en langue hébraïque Local Call, a révélé «L’Évangile : comment Israël utilise l’IA pour sélectionner les cibles des bombes à Gaza“. “The Gospel” est une “unité de renseignement militaire alimentée par l’IA qui joue un rôle important dans la réponse d’Israël au massacre du Hamas dans le sud d’Israël le 7 octobre.”

En bref, il s’agit d’un système de ciblage automatique qui aspire toutes sortes de données de renseignement, y compris « les images de drones, les communications interceptées, les données de surveillance et les informations provenant de l’observation des mouvements et des comportements d’individus et de grands groupes ». Cela a permis à Tsahal d’augmenter le nombre de cibles générées de 50 par an à 100 par jour, qui sont des « personnes autorisées à être assassinées ». Le système a également été décrit comme une « “usine de meurtres de masse” dans laquelle l’accent est mis sur la quantité plutôt que sur la qualité. “Un œil humain examinera les cibles avant chaque attaque, mais cela ne prendra pas beaucoup de temps””. Cela me semble beaucoup comme un « fort parti pris en faveur d’une dépendance excessive à l’égard d’une IA peu fiable lors de la prise de décisions vitales » issu de l’étude susmentionnée.

Palantir, la société de guerre IA de Peter Thiel, vient d’annoncer un “partenariat stratégique” avec Israël pour utiliser la “technologie avancée de l’entreprise pour soutenir les missions liées à la guerre”, et on peut s’attendre à ce que l’Évangile s’améliore considérablement à l’avenir (si l’on veut considérer ces développements comme des “améliorations”. ). présentation en 2023, Palantir a présenté un robot de type ChatGPT qui guide un opérateur humain depuis la notification d’une situation et l’identification de la cible, la prise de décision stratégique, jusqu’à la « transmission des options jusqu’à la chaîne de commandement » pour la décision finale de tirer. Dans ce scénario, deux personnes restent dans la chaîne décisionnelle : l’opérateur qui interagit avec l’IA et le commandant. Formellement, Palantir reste dans les limites fixées par la résolution de l’ONU sur les systèmes d’armes autonomes. Pour l’instant.

Dans le numéro du printemps 2023 du U.S. Army College Quarterly, Robert J. Sparrow et Adam Henschke ont remplacé le cadre des futures opérations de guerre décrit comme «Combat de Centaure” est connu – selon lequel l’avenir de la guerre réside dans les “hybrides homme-machine” et où l’approche centaure fait référence à la créature mythologique mi-humaine mi-cheval – à travers ce qu’on appelle “Encadrement du Minotaure“, qui fait référence à la créature mythologique avec une tête de taureau et un corps humain, et dans laquelle les systèmes d’IA forment efficacement le cerveau des futures opérations de guerre, guidant et guidant toutes les décisions dans toutes les phases de combat, ce qui est à ce stade le Le développement de l’IA semble plus probable, au moins à moyen terme, que les hybrides homme-robot de type science-fiction. L’analyse des données bat Terminator.

Il y a deux semaines OpenAI a levé son interdiction d’utiliser ChatGPT à des fins « militaires et de guerre » et annoncéqu’il travaille avec le Pentagone sur des « outils de cybersécurité ». Il est clair que les chouchous de l’IA générative veulent participer aux wargames du Pentagone, et je suis convaincu qu’ils ne sont pas les seuls. Avec des conflits internationaux de plus en plus brûlants, de la guerre d’Israël contre le Hamas après le massacre du 7 octobre à l’invasion de l’Ukraine par la Russie, en passant par les conflits locaux avec les Houthis, en passant par la pression concurrentielle de la Chine, qui développe certainement déjà ses propres versions de l’IA. systèmes d’armes automatisés guidés, je pense que les pipelines de guerre automatisés sont très demandés par de nombreux acteurs internationaux aux poches très profondes, et la Silicon Valley semble plus que prête à en profiter.

Ainsi, la course aux armements des sociétés d’IA est en fait une compétition pour devenir le principal composant d’entreprise de la tête de la machine du nouveau Minotaure.

Si vous avez encore des doutes sur la manière dont l’industrie de l’IA de la Silicon Valley gagnera l’argent nécessaire à ses jouets de bureau et de marketing « amusants » et exploiteurs pour les employés de bureau et à la montée en flèche des coûts énergétiques et informatiques :

C’est ici, dans le complexe militaire naissant de l’IA. Et j’ai un très mauvais pressentiment à ce sujet.