4 octobre 2041 : on a assisté au 1er procès de l'intelligence artificielle

High-tech
CHRONIQUE DU FUTUR - Pour la première fois, une intelligence artificielle est sur le banc des accusés. En cause : un gigantesque accident mêlant des véhicules autonomes, contrôlés par des logiciels intelligents, a causé la mort la mort de 50 personnes et fait des centaines de blessés. Huit mois après les faits, le procès (fictif) s’est tenu vendredi soir. LCI y était.

Nous sommes en l’an 2041. Paris est calme. Les nuisances sonores et les embouteillages ne sont plus que de lointains souvenirs. La circulation est fluide, l’air est respirable. Plus aucun radar ou policier aux carrefours. Plus aucun accident de la circulation ni aucun piéton ou cycliste renversé. L’Etat a décidé de généraliser l’usage des véhicules autonomes et l’ensemble du parc automobile est, depuis déjà cinq ans, constitué exclusivement d’AutoNom, des voitures électriques dotées d’intelligence artificielle (IA).


En ce 5 février, le temps est glacial et les routes parsemées de verglas. M. Vigi se rend au travail à bord de l'un de ces engins du futur, quand soudain une Spectra, la dernière génération d'AutoNom, roulant à vive allure, lui coupe la route, l’obligeant à actionner le bouton d’urgence. S’en suit un gigantesque accident avec 50 morts. Le retentissement est immense. La confiance dans le système est rompue. Reste à savoir qui est responsable : Monsieur Vigi, l’occupant du véhicule, ou Eurêka, la société qui gère les véhicules AutoNom depuis dix ans.

Le temps d’une nuit, ce vendredi 4 octobre 2018, le palais de Justice de Paris s'est projeté dans le futur. La 1re chambre civile de la Cour d’appel de Paris a ainsi été le théâtre du premier procès (fictif) de l’intelligence artificielle.Le tout était organisé par l’association Jurisnautes. Pendant une heure et demie, magistrats, avocats, témoins, professeurs d’université et autres experts en IA ont donc défilé à la barre, devant le public. "Nous sommes le 4 octobre 2041, commence Valéry Turcey, le président de la cour, huit mois se sont écoulés depuis les faits que nous avons à juger, à savoir l’accident du 5 février". Le plus grand carambolage de tous les temps, poursuit-il, avec "plus de mille parties civiles, 200 blessés, 50 morts".

Sur le banc des prévenus : Eurêka et M. Vigi, cet utilisateur qui, voyant un véhicule foncer sur lui, à actionner le bouton d’urgence. Tous deux sont jugés pour "homicides et blessures involontaires". Si M. Vigi encourt jusqu’à cinq ans d’emprisonnement, la société Euréka risque une amende de deux millions de bitcoins (la monnaie virtuelle qui a remplacé la monnaie classique) et la dissolution (autrement dit : la peine de mort) de son IA. Depuis le décret du 2 janvier 2040, rappelle le président, les intelligences artificielles sont en effet reconnues comme des personnalités juridiques. 

Dans 99% des cas, elle fait le choix le plus judicieux.Jean-Claude Heulin, chercheur en IA

La parole est aux parties civiles. "Elles ont été abusées", soutient Me Gérard Haas, qui représente les victimes, regroupées dans une action de groupe. "Dépourvu de pédales et de volant, ce véhicule intelligent laisse ses occupants à la merci des algorithmes (…) Le bouton 'stop' est un leurre, il ne permet pas le transfert mécanique de l’IA à l’usager", plaide-t-il. Un fonds de garantie pour les victimes des accidents de la route a été mis en place. Il doit donc permettre l’indemnisation des victimes, estime l’avocat.


Jean-Claude Heudin, chercheur en IA, est appelé à la barre en tant que témoin. Selon ce spécialiste, l’intelligence artificielle d’Eurêka a des meilleures capacités de conduite qu’un humain. "Dans 99% des cas, elle fait le choix le plus judicieux. Mais elle est conçue par des humains. Elle n’est donc pas infaillible", dit-il. 

En vidéo

Intelligence artificielle : la prochaine révolution ?

Les gens se retrouvent face à une technologie qu’ils ne comprennent pasBenjamin Bayart, miliant à la Quadrature du net

Benjamin Bayart, de La Quadrature du net, une association de défense des droits et libertés des citoyens sur Internet, milite depuis des années pour avertir des risques entourant l’IA. Le président l’interroge : une IA peut-elle être intelligente ? "C’est un outil de statistiques, à la base, il n’y a pas d’intelligence du tout", souligne l'expert. Et d’ajouter : "Les gens se retrouvent face à une technologie qu’ils ne comprennent pas. Ils ne peuvent donc pas la contester. D’autant plus que les algorithmes qui régissent les IA sont tenus secrets par leurs concepteurs." Pour les spécialistes, ce fameux "effet boîte noire" est le talon d’Achille de l’intelligence artificielle. Impossible, en effet, d’expliquer son raisonnement. 


Et c’est d'ailleurs dans ce sens que l’avocate générale va ensuite requérir : "Eurêka est une IA dite forte. A la différence des IA faible, elle a donc une compréhension de son propre raisonnement. Elle peut analyser une situation complexe. Grâce à l'apprentissage automatique (en anglais, le "deep learning"), elle écrit son propre code. C’est presque un être conscient", plaide l’accusation. Et de poursuivre : "M. Vigi a reçu une formation. Il doit être suffisamment vigilant pour faire face à l’imprévu. Et c’est ce qu’il a fait en appuyant sur le bouton rouge. Eurêka aurait dû réagir. M Vigi n’a commis aucune faute. Il ne peut donc pas être poursuivi". Le représentant du ministère public requiert une amende de 2 millions de bitcoins à l’encontre de la société Eurêka et la dissolution de son IA. 

"N'attendez pas d'une machine qu'elle ressente de la compassion ou présente ses excuses"L'avocat de l'entreprise Eurêka

Au moment de la prendre la parole, la défense se place sur le terrain de l’éthique. "Eurêka est une machine. Elle ne connaît ni la douleur ni le chagrin. N’attendez pas qu’elle ressente de la compassion ou qu’elle présente ses excuses aux victimes", soutient l’avocate de la société. Selon elle, la machine n’a ni morale ni conscience, elle n’a donc pas pu avoir une intention malveillante.


Le deuxième avocat d’Eurêka s’avance à la barre et énumère alors tous les mérites apportés par l’IA à la population : le confort et la sécurité des passagers, le désengorgement du trafic, la baisse des accidents, la réduction de la pollution ou encore la fin des incivilités et des frais d’assurance. "Qui doit payer ? Nous, mais devons-nous payer seuls ? Non, car en appuyant sur le bouton d’urgence, M. Vigi n’était plus seulement un passager. Il a participé à la survenue du carambolage, la responsabilité est partagée", martèle encore le dernier avocat d’Eurêka.

Eurêka est condamnée à une amende de 2 millions de bitcoinsLe président de la cour

Après une demi-heure de délibéré, le jugement de la cour tombe : "L'intelligence artificielle d'Eurêka est condamnée à une mesure de rééducation algorithmique avec mise à l’épreuve en simulateur comprenant une autorisation de recertification du permis". L’indemnisation des victimes doit être mise à la charge de l’IA exclusivement, qui évite cependant la "mise à mort". M. Vigi, lui, est relaxé.  De son côté, le public, invité à voter, est allé dans le même sens en souhaitant qu'Eurêka indemnise les victimes.


"Ce procès, bien que fictif, a au moins le mérite d’ouvrir une réflexion sur la nécessité d’adapter nos règles de droit en vue du développement de ces technologies, analyse auprès de LCI Me Gérard Haas, l’un des initiateurs de l'événement. Et de conclure : "La question de la morale et de l’éthique de l’intelligence artificielle doivent être posées. Non pas dans 20 ans, quand il sera trop tard, mais dès aujourd’hui. Et ce débat concerne avant tout les gens, et non pas uniquement les lobbys de la Silicon Valley".

Tout savoir sur

Tout savoir sur

Jusqu'où ira l'intelligence artificielle ?

Sur le même sujet

Plus d'articles

Lire et commenter