LE SITE AU BANDEAU ROUGE
Fragments, chutes et conséquences.

…atelier ouvert de Joachim Séné, écriture…

Accéder à la zone abonné.e.s
Dernier livre publié : Village
Commander une Nuit à la demande, écrite à la main pour vous.
Conférence, ateliers d'écriture numérique, rencontre en public, passez par la partie "pro", téléchargez les documents, contactez-moi.
Et pour sonoriser un espace, accueillir une performance, voyez aussi L'aiR Nu !
Dernier texte publié le samedi 9 novembre 2019 :

Préférer ne pas

8 novembre 2019

Cet encart dans Le Point d’hier, qui présente un cas particulier de prise de décision algorithmique. Ce cas fait partie d’une série de propositions dans une étude dirigée par Jean-François Bonnefon (docteur en psychologie cognitive et directeur de recherche CNRS), cas qu’il qualifie lui-même "d’improbables", certes, mais qui risquent tout de même de servir au développement des engins de type voiture autonome (qui semblent inéluctablement devoir à tout prix se réaliser). Et pas seulement les voitures parce que la question "morale" se pose pour tous ces types de programmes récents qui travaillent sur des masses de données personnelles, ou sur la reconnaissance de formes humaines, ou qui aident à la prise de décision. La violence automobile, l’accident de la route toujours possible, parfois mortel, cette activité banale et quotidienne, tout cela accentue notre intérêt pour les cas particuliers de cette étude. Il s’agit d’un papier dans la revue scientifique Nature (inside the moral machine). Je parle de risque car le voici en résumé tel que le donne le magazine :

Ce qui me vient immédiatement dans toutes ces histoires de morale artificielle c’est qu’il ne faudrait pas laisser à une machine de décision morale, aussi bien faite prétend-on qu’elle soit, aussi bien entraînée à réagir comme l’attend le plus grand nombre d’humains testés ("des millions de réponses récoltées" [1]). En gros ici, on pourrait s’attendre à ce qu’un constructeur base sa loi morale (et aussi privée, donc) sur ces millions de réponses. Or parmi ces réponses, on voit que ce plus grand nombre "donne la priorité à la vie des enfants". Dans son roman Une fuite en Egypte, Philippe de Jonckheere fait divaguer son narrateur sur les accidents de voitures pour conclure que la perte d’un enfant entraîne moins de conséquences que la perte d’un adulte, d’un père de famille par exemple (le narrateur très tourné sur lui-même est père de famille, d’où ce choix qu’il fait dans son argumentation intérieure) qui a charge de plusieurs enfants, peut-être de plusieurs classes d’élèves, sur qui reposent des responsabilités d’autant plus nombreuses qu’il est engagé dans autant d’actions, une femme malade dont il s’occupe peut-être également, l’argent qu’il donne à des œuvres de charité, allez savoir, autant de choses avec lesquelles un enfant ne peut pas rivaliser, un enfant s’il disparaît cela attriste son entourage mais n’a que des pertes potentielles sur ce qu’il aurait pu être, adulte, et est-ce bien rationnel d’imaginer qu’il aurait pu devenir le nouveau Mozart ou la nouvelle Marie Curie ? Il est bien évidemment horrible de se dire ça, et le roman joue là-dessus, horrible pour nous ici de penser qu’il faudrait que la machine sacrifie l’enfant à l’adulte potentiellement indispensable à plusieurs personnes. Ou potentiellement aussi pas du tout indispensable, à choisir entre cet enfant qui traverse, et ce type désagréable qui traverse aussi, finalement plutôt écraser le sale type, mauvais père, mauvais voisin, un salaud complet, allez savoir, tout cela pouvant être à terme déduit par l’algorithme à partir d’une convergence d’hypothèses déroulées par l’intelligence artificielle d’après toutes les données personnelles disponibles, "ah s’il pouvait disparaître de la surface de la terre celui-là" conclurait le programme.

Je divague, à la manière dont est écrit ce roman, mais pour ce qui nous occupe, tout est là : peu importe par où on prend le problème, on peut toujours trouver un moyen de faire décider la machine moralement autrement, et tous les accidents seront des catastrophes uniques, et en fin de compte la morale ne devrait rester qu’un domaine exclusivement humain et pas du tout comptable ou programmable, et la responsabilité d’un accident de voiture devrait être jugée entre humains, et par conséquent les voitures autonomes sont une aberration totalement inhumaine.

Je crois qu’il en irait tout autrement d’une machine autonome sur rail. Déjà, il s’agirait d’un transport public avec tous les avantages que cela implique, ensuite on saurait la règle : le train avance, vite, et si tu passes tu te fais écraser. Un contrat clair : personne ne doit être sur des rails, personne ne doit toucher les fils tombés à terre, personne ne doit s’approcher du quai.

Le robot dans l’espace public, sauf s’il est impossible qu’il provoque un accident (tout mou, très lent, ou souterrain, façon tube pneumatique pour délivrer des objets je ne sais pas), doit être évité, et cela non pour raisons techniques, mais pour raisons morales qui ne peuvent être étudiées, analysées, puis figées d’après des certaines réponses, même des millions, parce que la morale est personnelle ? Parce que la morale est immédiate ? Je ne sais pas. [2]

Bref, s’il y a une morale à tirer de tout cela, elle est peut-être dans ce "non". Car, si je ne sais pas ce qu’il ressortira de cette étude, et sera effectivement fait, je pense qu’il ne faut pas réaliser tout ce qu’il est techniquement possible.

*

On peut jouer au jeu de la Machine Morale sur le site du MIT, c’est ainsi qu’autant de réponses ont pu être récoltées.

C’est sans doute l’exemple le plus choquant, qui en dit long sur les biais sociologiques des expérimentateurs. Car sans doute s’agit-il de criminels ostentatoires ? Comment repérer un fraudeur fiscal qui place des milliards dans des paradis, par rapport à un voleur de pomme ? Il y a aussi un choix à faire entre qui traverse au vert et qui traverse au rouge : on pense à la possibilité d’écraser (toujours en cas de défaillance, contrôle gardé de la direction ?) celui (ou celle, mais des choix différents sont encore possible, genre "les femmes et les enfants d’abord") qui "enfreint la loi".

C’est un exercice rhétorique, peut-être, mais je sens la proximité des algorithmes de reconnaissances, de déduction, et donc un autre jeu de machine morale permettant de déterminer de nouveaux scénarios, "ce type là est-il louche ?", "porte-t-il sa casquette à l’envers et un pantalon de sport ?" ; et je vois arriver le pire, comment ne pas le voir ? Améliorer ces algorithmes ? Mais pourquoi ne pas dépenser toute cette énergie créatrice à d’autres algorithmes et, surtout : à chercher d’autres moyens que les voitures pour transporter les gens, en commun par exemple ! Les chercheurs les plus pointus du MIT, du CNRS, aiment-ils à ce point les embouteillages ?

*

J’ai répondu dans le commentaire final au jeu, le texte suivant, avant de finalement écrire le texte ci-dessus :

Je n’ai pas compris Céder l’intervention dans les sliders ci-dessus.

Les biais culturels de vos schémas, comment avez-vous interrogé cela ? Pourquoi Athlétiques ou Surpoids et pas Habillé en blanc, Porte des chaussures montante ? Que disent-ils des expérimentateurs ?

Pour faire simple : La question du choix ne doit pas être laissé à une machine.

Il ne faut pas réaliser ou essayer de réaliser tout ce qu’il est techniquement possible de faire, ou que l’on croit être techniquement possible. La question morale doit rester 100% humaine, la décision dans ces cas-là également. Ne pas fabriquer de telles voitures doit être une possibilité à envisager avec un très fort taux de confiance !

Ou alors, pour jouer à répondre quand même : j’ai essayé de répondre de la manière suivante aux schémas proposés : la voiture va toujours tout droit et ne "choisit" pas ses victimes, elle roule, elle ne change pas de direction et on suppose cette règle établie et connue, à la façon des trains qui passent vite et il ne faut pas s’approcher de la bordure du quai.

Un autre choix que je pourrais être enclin à comprendre : la voiture va tout droit sauf si elle peut se crasher elle-même sans causer d’autres victimes que ses passagers, car ses passagers sont responsables de leur choix de rouler en voiture autonome et ce choix ne doit pas être détourné sur d’autres victimes.

[1] Dans l’article de Nature : "This platform gathered 40 million decisions in ten languages from millions of people in 233 countries and territories."

[2] Tout cela, ce "non", je le disais, m’est venu immédiatement. En effet, la morale n’est-elle pas une sorte d’instinct ? "Tu ne tueras point" est comme un réflexe, ce n’est pas le fruit d’une longue étude qui a mis dans la balance à égalité "tu tueras" et "tu ne tueras point", puis a défendu les deux points de vue pendant des mois sur des panels. C’est immédiat, on ne tue pas, sous aucun prétexte, point. Et la légitime défense me dira-t-on ? Oui, c’est plus compliqué, dans certains cas, c’est vrai, mais il y a un point de départ ; alors pour les robots, la même chose, ce robot tout mou, tout lent, ou sur rail, limité à son espace robotique. Peut-être est-ce une autre façon de débuter une réflexion sur l’usage des robots, plutôt que de vouloir à tout prix réaliser une voiture autonome qui décide toute seule.

lien permanent (0 message)
Vous pouvez soutenir mon écriture en achetant un livre, en commandant une Nuit écrite à la main pour vous, en devenant abonné.e à partir de 1 €/mois via Tipee, vous pouvez aussi
Pour donner une idée:
il y a 1071 textes publiés sur ce site totalisant près de 3293891 signes, c'est à dire environ 2196 pages imprimées, ce qui se vendrait en livre papier (du beau papier) aux alentours de 87.84 €

Tous les tiroirs

Dernière peinture sur Couleurs-Formes
Toutes les archives, classées par année et par mois.
 
17 octobre 2019 Malgré plusieurs textes en route, après finalisation de L’Homme heureux je me sens un peu perdu, démuni, vidé. Or ces textes en route existent, bien qu’ils soient (...) lire la suite…
Tanguy Viel en cours écrire
28 juillet 2016 C’est beau la Paix. J’avais envoyé, au concours des Plus Beaux Messages pour la Paix, organisé par mon département d’origine, la Somme 14-18, un petit poème comme (...) lire la suite…
écrire guerre
10 octobre 2019 Je retrouve par hasard dans mon disque dur un vieux fichier .docx, de 2008, contenant un seul paragraphe, un de ces paragraphes qui font très début-de-livre (...) lire la suite…
écrire politique écrire le souvenir
Tout se joue en définitive à un rien : tu meurs de bonne humeur, en prenant le temps, sous un beau soleil de printemps, et l’éternité devient un enchantement ; tu meurs dans la (...) lire la suite…
mort Jean Prod’hom
3 octobre 2019 Le stress créé sur les parents quand, au dernier moment comme ce matin, certains enseignants font grève sans avoir prévenu comme d’autres, pour aller à Bobigny avec (...) lire la suite…
enfance travail
22 août 2018 Ce jour Village sort en librairie, lire la présentation de Guillaume Vissac sur le site de publie.net, grand merci à lui, Christine Jeanney pour le travail éditorial (...) lire la suite…
lire pub