…atelier ouvert de Joachim Séné, écriture…

Ethique et algorithme

mise en ligne : mercredi 3 juillet 2019

12 juin 2019

Claire Mathieu est directrice de recherches au CNRS en informatique, elle a travaillé sur l’algorithme de ParcourSup et a participé à l’émission de philosophie d’Adèle Van Reeth, le 6 mai dernier, répondant à des questions sur l’éthique de la programmation d’algorithmes.

non verbatim mais presque
AVR : dans quelle mesure l’utilisation des algorithmes est détachée de toute forme d’idéologie, de fin, d’une manière d’être au service d’un gouvernement ?
CM : il n’y a pas de dimension de ce type, je pense que les concepteurs d’algorithmes... nous sommes des exécutants.
AVR : vous ne vous posez jamais la question des buts ?
CM : pas dans les choix d’algo, mais je pourrais décider de démissionner si les buts du ministère sont trop éloignés de ceux auxquels j’adhère. Il n’y a pas de dimension morale dans les questions que j’ai à résoudre.

Cette phrase : "Il n’y a pas de dimension morale dans les questions que j’ai à résoudre", est lourde de sens. Surtout quand on a travaillé pour le gouvernement. S’il s’agit de calculer la distance des étoiles, je veux bien le croire (elle utilisera cette comparaison), mais en l’occurrence, c’est comme si elle n’avait pas vu plus loin que : on propose un système de file d’attente. Sans aller plus loin, et voir jusqu’à quelle sélection, jusqu’à quelles discriminations ça pouvait aller, une simple question comme : "comment gérer les files d’attente". Déjà il y a la terminologie, on peut chercher quelle problématique se cache là, remplaçons "file d’attente" par "vœux". "Nous gérons les vœux des étudiants pour leurs études supérieures". Tout rentre dans cette phrase : les moyens que l’État met pour rendre possible des études supérieures pour tous, les possibilités qu’on les étudiants de choisir leurs études par rapport à la distance au domicile, c’est à dire par rapport à leurs moyens, aux moyens en hébergement. Comme cela ne pourrait-il pas être éthique ? La mise en question du désir d’apprendre.

Et pour mesurer la distance des étoiles, ou autre calcul sur elles, l’éthique se situe peut-être dans les moyens mis à disposition de ces calculs : l’État trouve-t-il important ces calculs astronomiques ? Et alors, faut-il accepter un faible budget, ou demander un budget plus important pour faire avancer la connaissance ?

On poserait cette question au bac de philosophie : "Une bonne politique est-elle nécessairement éthique ?" On parlerait du Prince de Machiavel probablement, du procès Eichmann peut-être. Enfin, on essaierait de se poser quelques questions.

J’ai senti que Claire Mathieu se rattrapait aux branches après la relance, et le reste de l’émission laisse à penser que pour elle, avec cet algorithme tout va bien, qu’il répond en tout cas à la demande, et que celle-ci n’est pas à questionner sur le plan éthique. On a pourtant vu les effets de bord, les détournements d’usage, les inégalités, de l’algorithme [1] [2] [3] :

  • liberté pour chaque établissement d’établir une sélection sociale d’après le lycée d’origine et les options choisies
  • réduction de la mobilité des étudiants issus des périphéries
  • valeur mérite devant valeur égalité, problème directement lié à la philosophie de l’algorithme sur lequel ParcourSup se base.

Donc en effet, il existe une éthique de l’algorithme et si Claire Mathieu ne le voit pas pour celui-ci, c’est qu’elle accepte cette éthique compétitive, discriminatoire. Il y a une politique de l’algorithme et l’on peut donc se situer du côté d’un algorithme du Pouvoir, ou s’y opposer, voire se situer du côté d’un algorithme d’opposition, un algorithme de résistance, qui reste à développer et se situerait quelque part sur l’île du Piratage.

Dans la même semaine l’émission invitait Aurélie Jean (Ph.D., docteure en sciences des matériaux et en mécanique numérique, fondatrice et dirigeante de la société In Silico Veritas spécialisée en algorithmique et en modélisation numérique) et Serge Abiteboul (chercheur à Inria, Institut national de recherche en sciences du numérique, et Membre du Collège de l’Arcep, Autorité de régulation des communications électroniques et des postes). Adèle Van Reeth repose la question des buts, de la fin, après qu’Aurélie Jean ait parlé des biais (comme le sexisme, le racisme à l’embauche pour un algorithme ayant appris avec une base de données biaisée). Serge Abiteboul défend l’algorithme et le risque de biais car il dit que l’on peut mesurer et corriger : "Il est plus facile de corriger un algorithme que des humains". Aurélie Jean renchérit en précisant qu’un programme d’aide au recrutement, par exemple, va fournir comme résultat une base décisionnaire, pas des décisions, celles-ci appartenant aux humains, en précisant, dit-elle, qu’il faut regarder les CVs écartés et pas forcément uniquement les CVs sélectionnés. Dans les deux cas, des deux émissions, il me semble que quelque chose soit évité, protégé, et il s’agit de la technicisation à tout prix. Car un recruteur faisant appel à un programme pour l’aider n’ira pas voir les CVs non-retenus, puisqu’il l’a payé pour s’éviter cette masse de travail ! Autant continuer à l’ancienne, se dira-t-il et soit il n’achète pas le programme, soit il lui fait totalement confiance.

Sur la crise financière de 2008 et les transactions financières folles qui étaient, avant le krach, dissimulées dans les chiffres et les processus avant d’éclater, Serge Abiteboul insiste sur le fait que nous avons créé ces algorithmes, donc nous les maîtrisons.

Il y a une erreur sur le qui-fait-quoi ici : les mathématiciens et informaticiens ayant fabriqué les outils de la crise de 2008, n’étaient pas ceux qui les utilisaient dans les banques et les assurances. Quoiqu’il y ait pu avoir de contrôlable, le contrôle n’a pas été fait. Et quand bien même, une fois les programmes testés et validés sur des données de tests et des cas imaginés, définis, une fois ces programmes lâchés dans la nature aux mains de dealers d’action sans scrupules, il est trop tard. Ce cas n’a pas été prévu, pas pensé, ou s’il a été pensé les programmes n’étaient plus entre les mains des ingénieurs qui avaient pu les concevoir selon des critères qui n’étaient pas ceux des donneurs d’ordres et utilisateurs finaux, selon un environnement qui n’est plus le même, économique, politique, je ne sais pas. Un autre écosystème d’utilisation, vivant, par essence imprévisible, prémédité ou improvisé, comment savoir, dont on peut dire qu’il a la puissance de changer le programme, de le détourner de ses buts — toujours en supposant des buts différents. Si les buts sont simplement ignorés des fabricants, ils n’en existent pas moins, même s’ils se révèlent a posteriori, et auraient pu être, il est permis de le penser, de l’espérer, pour le futur, prévus, évités. Ou peut-être est-il vain de penser ça, que l’usage transformera toujours le programme pour les buts pour lesquels il est utilisé. Ces buts de 2008, cette crise, sans doute fallait-il qu’ils soient atteints, à court terme, et une part de bêtise n’est pas à écarter, de cette bêtise qui caractérise les riches et les rends si irresponsables.

Tout comme les invités veulent croire au bien possible, personne n’a pu imaginé la crise catastrophique. Tout fonctionne dans le meilleur des mondes où "l’Etat régule les algorithmes" (Abiteboul à propos d’un livre de Cathy O’Neil dont Aurélie Jean trouve le titre "trop dur" (!?)). Mais comment faire attention à ça ? Il serait question de contrôler, de penser, au sens de philosopher, a priori, et de politiser aussi, avec des jalons, des lois ; et le risque est là encore, bien sûr, que les lois soient dévoyées comme elles peuvent l’être au sujet du droit d’auteur [4].

Aurélie Jean conclue sur un cas de conscience qu’elle a eu au sujet d’un programme d’apprentissage basé sur de mauvaises données, et comment elle a pu arrêter le projet au lieu de le poursuivre. Elle dit, fort justement : "La société, les entreprises, les institutions doivent soutenir cette démarche de mesurer l’efficacité d’un scientifique par l’effort", et non par le résultat.

Éthique algorithmique de moyenne section

Vous pouvez soutenir mon écriture en achetant un livre, en commandant une Nuit écrite à la main pour vous, en devenant abonné.e à partir de 1 €/mois via Tipee, vous pouvez aussi