Des robots tueurs demain ?

Des robots tueurs demain ?

Sciences
FUTURAMA - Des armes autonomes capables de choisir leurs cibles et de tuer pourraient rapidement remplacer les soldats sur les champs de bataille ou dans des opérations de maintien de l'ordre. Cette perspective de robots militarisés, ou "robots tueurs", inquiète. Pour les ONG, les chercheurs et même certains militaires, il y a urgence à les interdire pour d'éviter notamment une course aux armements.

EDIT : cet article a été publié pour la première fois le 6 avril 2018. Nous le republions ce 21 novembre 2018 à l'occasion de la 

 réunion annuelle de la Convention sur certaines armes classiques (CCAC), qui s’ouvre mercredi à Genève, en Suisse. Les opposants à ces armes autonomes appellent à la signature d'un traité international afin de les abolir.


On dit de lui qu'il est la crème de la crème des machines de guerre. Son petit nom : SGR-A1. De jour comme de nuit, il détecte, grâce à son logiciel de "tracking ", les mouvements d’un intrus sur un rayon de quatre kilomètres. Cet automate pour poste-frontière, qui s'active à distance, tire de lui-même, sans la moindre supervision humaine, sur toute personne ou véhicule qui s’approche. Conçu par le géant sud-coréen Samsung, il est équipé d’une mitrailleuse, d’un lance-grenades, de capteurs de chaleur, de caméras de détection infrarouge et d’une intelligence électronique. La Corée du Sud a déjà installé, depuis maintenant trois ans, plusieurs de ces engins le long de la zone démilitarisée qui la sépare de la Corée du Nord afin d'éviter d'envoyer des soldats dans ces endroits isolés.


A l'autre bout du monde, c'est un dénommé MAARS, développé par la société américaine QinetiQ, qui a récemment intégré un bataillon des Marines, dans le cadre d’une expérimentation. Armé d’une mitraillette M240 ou d’un lance-roquette, cette machine de guerre possède une vision panoramique à 360 degrés et se déplace de façon autonome à une vitesse maximale de 7 km/h. Techniquement, il est déjà opérationnel. Mais, pour le moment, il est supervisé à distance par un opérateur. C'est donc un humain qui, au final, décide d'appuyer ou non sur la gâchette. Ce n'est le cas de PERDRIX, un essaim de 103 mini-drones, de 16 cm de long, déployés depuis un "avion mère" F-18. Cette arme de nouvelle génération, développée en secret par l'armée américaine, a effectué avec succès, il  y a deux ans, son premier vol expérimental.

Des robots formés à la guerre

L'idée que ces robots militaires puisse un jour faire leur apparition sur les champs de bataille inquiète au plus haut point. Cne sont, pourtant, que la première génération de robot tueur. Boston Dynamics, la plus célèbre des entreprises de robotique, dont Google avait fait l'acquisition en 2013 avant de s'en séparer en juin dernier pour la céder au Japonais Softbank, développe, depuis maintenant 25 ans, des robots principalement à usage militaire, en association avec le Département de l’Armement des Etats Unis. Endurance, agilité, techniques de combat et de self-défense. Dans les laboratoires de l'entreprise, des automates, bipèdes ou quadrupèdes, sont formés à l'art de la guerre, sous la supervision d'ingénieurs en robotique et de spécialistes de l'intelligence artificielle. 

 Au sein des états-majors des armées, l'idée que des machines pourraient rapidement remplacer les soldats fait doucement son chemin. La plus célèbre des créations de Boston Dynamics, connue sous le nom de Spot et dont les prouesses génèrent à chaque fois des millions de vues sur YouTube, n'est autre que la version réduite du robot quadrupède Big Dog, beaucoup plus robuste. Ce robot chien soldat se distingue par son exceptionnelle agilité. Il a déjà participé pendant plusieurs mois à des missions d'entraînement aux côtés de soldats humains.


Spot est capable de supporter une charge de 180 kilogrammes, d'escalader des pentes raides et d'avancer sur des terrains accidentés. Et ce, de manière totalement autonome. Après des mois d'expérimentation, un porte-parole de l'armée américaine avait déclaré qu'il était encore trop tôt pour l'utiliser sur un terrain d'opération. En cause ? "Son moteur à essence est trop bruyant, et risquerait ainsi de faire repérer nos positions", avait-il expliqué Kyle Olson, le porte-parole des US Marines.

Les craintes de plusieurs scientifiques

La volonté d’épargner les hommes va-t-elle nous conduire à donner le pouvoir aux machines ? La question, aujourd’hui, ne relève plus de la science-fiction. Conscientes de la nécessité de préserver au maximum la vie des combattants et fortes des progrès des technologies d’intelligence artificielle, les grandes puissances militaires sont en train de nous préparer un futur dans lequel une machine pourra, seule, prendre l’initiative de tuer. Or, quand on sait les ravages – collatéraux notamment – que font déjà les drones pilotés à distance par des humains, on imagine sans mal les dégâts provoqués par ces robots tueurs autonomes.


Dans une lettre ouverte publiée ce mercredi 18 juillet, plusieurs grands noms du monde de la tech, dont le PDG de SpaceX et Tesla, Elon Musk, les trois cofondateurs de DeepMind, la filiale de Google dédiée à l'intelligence artificielle, ou encore Jaan Tallinn, le fondateur de Skype, ont promis qu'ils ne s'impliquerait pas dans le développement d’armes létales autonomes. Le texte a été publié à l'occasion de l'International Joint Conference on Artificial Intelligence (IJCAI), qui se tient à Stockholm (Suède). Cette conférence internationale réunit tous les deux ans les plus grands spécialistes dans le domaine de l'IA. Les signataires demande aux Nations Unies leur interdiction, avant qu'une course aux armements s'engage.


Depuis 2012, le développement de ces engins de guerre est régulièrement dénoncé par une coalition de 51 organisations non gouvernementales, coordonnées par Human Rights Watch, dans le cadre de la campagne internationale  Stop Killer Robots (en français, " Arrêtez les robots tueurs"). Mercredi 4 avril, des spécialistes en robotique et en intelligence artificielle d’une trentaine de pays ont une nouvelle fois tiré la sonnette d'alarme concernant, cette fois-ci, un projet controversé de la prestigieuse université sud-coréenne KAIST. Selon les signataires, l'institution ambitionne de développer des armes autonomes pour le compte d'une société militaire du nom de Hanwha Systems.

Le terme 'robot-tueur' pose problème, car celui-ci suggère que le robot serait animé par l’intention de tuer, voire qu’il en serait conscient, ce qui n’a évidemment pas de sens pour une machine.Raja Chatila, directeur de recherche à l'Institut des systèmes intelligents et de robotique

Dans une lettre ouverte adressée aux Nations Unies et publiée en août 2017 sur le site du Future of Life Institute, une centaine de personnalités, dont des chercheurs en robotique, des scientifiques comme l'astrophysicien Stephen Hawking et des figures du monde de la tech, comme Elon Musk, Steve Wozniak (cofondateur d’Apple) ou encore Noam Chomsky (MIT) - des gens que l’on peut difficilement taxer de technophobie - s'alarmaient du retard pris à l'ONU dans les discussions sur les systèmes d'armes létales autonomes (SALA), plus communément appelées "robots tueurs". Pour eux, de telles machines de guerre, et toutes celles qui risquent de suivre du fait des avancées rapides de l’IA, soulèvent de graves questions éthiques et juridiques qui remettent en cause le droit de la guerre.


Pour beaucoup d’entre nous, le portrait type du robot-tueur se dessine sous les traits d'un Terminator, une sorte de cyborg au squelette d’acier et mû par des microprocesseurs, qui tire sur les gentils et revient toujours quoi qu'on fasse. "Les robots militaires dont on parle n’ont bien sûr rien à voir avec ce cliché hollywoodien", tempère le chercheur Raja Chatila, directeur de recherche à l’Institut des systèmes intelligents et de robotique (CNRS/Sorbonne Université). Selon ce spécialiste de l'intelligence artificielle, le terme "robot-tueur" pose problème, car celui-ci suggère que le robot serait animé par l’intention de tuer, voire qu’il en serait conscient, ce qui n’a évidemment pas de sens pour une machine, quand bien même elle a été conçue et programmée pour détruire, neutraliser ou tuer. "Les fonctions de guidage et de navigation existent depuis longtemps et n’ont pas soulevé de questionnement notable. On ne parle pas, par exemple, de 'missile-tueur'", souligne Raja Chatila.

La question de la prise de décision

Mais il ne s'agit plus seulement de donner la mort à distance, ce que font déjà de nombreux soldats, pilotes de chasse, opérateurs de drones ou de missiles guidés. Ce qui est inédit, dans cette affaire, c'est la question de donner à une machine autonome, sur la base de modèles mathématiques, la possibilité de tuer. Ce droit moral a toujours été réservé aux humains sur le champ de bataille. Comme le rappelait, en août 2017, un responsable de l'ONG Human Rights Watch, "il faut un homme pour décider d’arrêter le tir et faire des prisonniers, pour reconnaître un soldat portant un drapeau blanc, pour évaluer si la riposte est équilibrée ".


Or, à l'instar de la mitraillette "intelligente" SGR-A1, ces armes autonomes mortelles sont incapables de faire ces choix  : elles tirent automatiquement sur tout ce qui bouge. De ce fait, elles risquent à tout moment de violer deux principes du droit international humanitaire (DIH) émis la Comité international de la Croix-rouge, qui régit les conflits armés depuis les conventions de Genève de 1949 et leurs protocoles additionnels  : d’une part, la règle cardinale de la distinction entre les civils et les militaires  ; et d'autre part, la nécessité d’éviter des violences disproportionnées par rapport aux menaces, et donc de procéder à une évaluation.

A ce jour, avance Raja Chatila, il n’existe pas encore de robot totalement indépendant. Si ces armes peuvent tirer de façon "automatique" sur une cible, elles n’en sont pas pour autant " autonomes". L’homme " reste toujours dans la boucle de commandement ", même s’il est très éloigné du terrain, et peut toujours décider d’arrêter à distance la mitrailleuse automatique, de reprogrammer le missile en vol ou le drone – autrement dit, il conserve l’acte moral de suspendre la décision de tuer. Ce qui pose problème, poursuit le scientifique, c’est que la position selon laquelle une arme doit toujours rester sous le contrôle significatif d’un être humain n’est pas adoptée par tout le monde de manière claire.

Un robot peut-il être responsable pénalement ?

Raja Chatila préside depuis 2016 une initiative internationale pour l’éthique dans l'intelligence artificielle et les systèmes autonomes à l'Institut des ingénieurs en électricité et électronique (IEEE). "L'idée est d'identifier une série de problèmes et de faire des propositions. Dans certains cas, cela pourrait aboutir à définir des standards industriels, comme le fait régulièrement l’IEEE", explique le scientifique. En décembre dernier, l'institut a rendu public un rapport sur le sujet. On y trouve ainsi des questions sur la sécurité de ces systèmes. Par exemple : "Est-il éthiquement admissible que la décision de supprimer un être humain identifié par une machine soit confiée à cette machine ? Comment et qui contrôlera que les algorithmes sont conformes aux conventions internationales et aux réglés d'engagement ?"


L'autre problème soulevé par l’usage de machines capable de tuer est celui de la responsabilité pénale. Si l’un d’entre eux commettait un dommage collatéral ou abattait des civils, contre qui les victimes et leurs familles pourraient-elles se retourner ? L'ONG Human Rights Watch pointe le "vide juridique" qui entoure ces armes nouvelles. Rien n’est prévu dans le droit international humanitaire. À l'Onu, le secrétaire général appuie l'interdiction : "Je demande, déclarait récemment Antonio Gutteres, aux gouvernements d'interdire ces armes politiquement inacceptables et moralement révoltantes". 

En vidéo

Un robot-soldat signé Kalashnikov

Pour discuter des dangers des SALA, une réunion multilatérale mobilisant des représentants de 87 pays, ainsi que des délégués d'ONG soutenant la campagne Stop Killer Robots, se tient chaque année aux Nations unies, depuis 2013. Malheureusement, les premières réunions n'ont pas abouti à un consensus. "La réunion qui devait savoir lieu en 2017 a été reportée, avant d'être annulée, car certains pays n'étaient pas représentés lors des discussions", souligne Raja Chatila. "Une situation qui arrange les grandes puissances militaires qui, pendant ce temps-là, peuvent continuent à développer, en toute discrétion, des systèmes d'armes létales autonomes", déplore le scientifique.


Le scientifique espère, malgré tout, arriver à un accord pour interdire ces armes comme cela fut le cas, en 2008, pour les armes à sous-munitions, ou encore en 1997 pour les mines antipersonnel. "Il faut, pendant qu'il est encore temps, poser au préalable un cadre intellectuel et éthique. Nous n’avons pas beaucoup de temps pour agir, prévient le scientifique. Une fois cette boîte de Pandore ouverte, il sera difficile de la refermer." 

Tout savoir sur

Tout savoir sur

Jusqu'où ira l'intelligence artificielle ?

Sur le même sujet

Plus d'articles

Lire et commenter