Créativité mécanique

19 novembre 2024

J’ai lu Marcello Vitali-Rosati sur la créativité des LLM (IA). Il réagit à la critique de non-créativité des IA, pour dire qu’il faut définir ce qu’est la créativité si l’on veut ensuite la programmer, l’améliorer. Il explique un procédé algorithmique destiné à injecter de l’originalité, en permettant que le moins probable ait ses chances dans les choix des mots des IA génératives. Je découpe ici quelques points clés de son texte, très intéressant et qui permet aussi d’expliquer comment ça marche, ce qui est, je crois, fondamental pour toute critique citoyenne du numérique :

Mon point est : si vous avez une définition claire et non ambiguë de ces termes[créativité, originalité], cette définition peut être implémentée dans un modèle formel et ensuite un algorithme peut réaliser un comportement qui sera “créatif” ou “original” selon votre définition. [...] La créativité serait donc, selon cette définition, la capacité à choisir des phrases dont la probabilité est inférieure à une moyenne gaussienne standard.

[...] ne me faites pas le petit jeu consistant à dire : “mais non, la créativité est plus que ça !” Si vous n’êtes pas capables de définir formellement ce plus, alors cela veut tout simplement dire que vos idées ne sont pas claires. Vous êtes juste en train de tricher en disant que la machine ne sait pas faire une chose dont vous ne savez finalement pas ce qu’elle est. Dans ce cas, vous ne mettez pas le doigt sur une limite de l’algorithme, mais sur une limite de votre capacité de donner une définition. Si vous arrivez à donner une définition claire, on pourra l’implémenter dans un modèle formel. Ça ne sera peut-être pas une softmax avec β, mais on trouvera une équation pour la décrire.

Dans son article, on peut voir une explication très précise de ce β et du softmax, sorte de variables d’ajustement, qui permettent de définir la température d’originalité d’un système créé par un entraînement (exemple pris ici du texte, mais idem pour l’image, la musique...) , pour que soient suggérés en réponse des mots peu ou très peu susceptibles de compléter la suite de signes "je suis allé à la boulangerie acheter une b" et de compléter de façon plus ou moins inattendue ; "acheter une bière".

Cette "température" est le moyen que des termes, éloignés en probabilité de sens dans le contexte en cours, puissent être rapprochés en chance d’être tirés au sort, afin d’écrire la suite d’une phrase. Le smoothing, un autre moyen d’ajustement, c’est le fait qu’un terme qui a une probabilité de zéro d’intervenir, puisse quand même participer à la possibilité d’écriture à venir. Notons ici que la façon dont les IA construisent les phrases (par fragment de mots successifs et non par mots entiers) peut aussi créer des mots qui n’existent pas, si on le prompte, comme par exemple ici :

En usage classique, je me demande si la taille démesurée du cerveau des LLM, leur nombre de paramètres, n’est pas trop important, l’ensemble de tous ces textes rendant trop vaste l’étendue des possibles à choisir, tout se valant dans cet infini des connaissances, rien n’étant beaucoup plus ou beaucoup moins important ; L’IA répondra avec autant d’entrain et dans la même langue à une question sur la recette de la tarte à la rhubarbe, et à une autre sur la sécurité des protocoles informatiques de confinement entre les circuits de pilotage et les circuits de la cabine des passagers d’un Airbus. Parce qu’elle sait répondre à tout, elle ne dit rien.

La question est de savoir si l’on pourra toujours trouver une solution algorithmique et dire qu’elle s’approche d’une créativité possible, encore un peu plus que la version précédente, et encore un peu plus, et toujours plus près. Je suis d’accord, on pourra toujours se déplacer, tenter d’être plus proche, encore plus proche, même si cela paraît être "non humain", de fait : comme en mathématiques on tend vers l’infini mais on ne le touche jamais. Alors, est-ce cela, créatif ? Inventif ?

Je cite à nouveau l’auteur :

Mais ne me faites pas le petit jeu consistant à dire : “mais non, la créativité est plus que ça !” Si vous n’êtes pas capables de définir formellement ce plus, alors cela veut tout simplement dire que vos idées ne sont pas claires.

Pourtant, on ne peut s’empêcher d’être déçu par le fait que la créativité puisse être pensée comme calculable, s’il suffit que je sache définir ce "toujours plus". Définir "formellement", c’est ce qui me pose une question plus vaste, peut-on être formel quand il s’agit de l’humain ? C’est le choc que je rencontre en essayant de faire rentrer dans les cases administratives un projet de création. On se trompe peut-être de cible à vouloir quantifier ce qui n’est pas quantifiable. Le techno solutionnisme veut toujours tout mettre en case, et plie plusieurs fois si ça ne rentre pas.

Mais arrêtons nous un instant : et si je ne veux pas définir ? Si, précisément, ce qui fait créativité, c’est ce qu’on ne veut pas définir, ce qu’on refuse de calculer ?

Dans une conversation, ici, entre Guillaume Vissac et Noëlle Rollet, qui fait suite au partage de cet article, la question de l’intention est posée. Celle de l’inconscient, et donc du corps. Je réfléchissais à tout ça en marchant sous la pluie, quelques heures plus tard. Et je me disais ceci, que j’écris dans un paragraphe qui pourrait servir de "définition de la créativité" à quelqu’un souhaitant améliorer un modèle :

aucune IA ne pourra jamais avoir l’expérience propre de marcher sous une pluie froide, une pluie qui n’est pas simplement cette pluie particulière prévue par Météo France depuis quelques heures, et qui s’abat entre la Gare de Lyon et la place de la Bastille, alors que je suis en retard à un rendez-vous, car c’est aussi une pluie qui me rappelle d’autres pluies, d’autres villes, d’autres visages, une pluie qui me rappelle d’autres pensées, des pensées enfouies dans ma mémoire, pesant bientôt 49 ans (dans un mois ! je me dis ça, dans un an, ce que ça veut dire, cinquante moins une), mémoire faites de rencontres complexes, humaines et animales entre mon corps et mon environnement, mes désirs et mes peurs, ma construction comme être humain, mes relations avec les autres depuis que je suis enfant, et cela chaque minute, de chacun de ces bientôt 17885 jours au cours desquels chaque seconde a duré le temps que dure une seconde sur Terre, pour un humain doté d’un corps, d’une mémoire, d’une histoire qui bouscule d’autres histoires, et de l’oubli aussi, de tout ce qu’on a oublié parce que si l’on retenait tout à tout instant on ne pourrait pas vivre (Rilke : "Et il ne suffit même pas d’avoir des souvenirs. Il faut savoir les oublier quand ils sont nombreux, et il faut avoir la grande patience d’attendre qu’ils reviennent"), et de tout cela qui se bouscule en ma pensée naît l’apparition de formes, de couleurs, de sensations, d’autres pensées, d’autres mots, qui au bout d’un moment n’ont plus rien à voir avec... quoi au fait ?, cela semble d’autres mots, d’autres confusions, avec plus ou moins de logique, d’hésitation, de déni, mauvaise foi, angoisse, certitude, et doute, toutes choses extrêmement personnelles et combien encore ne viennent même pas à ma pensée, à la frontière du conscient et de l’inconscient, et qui pourtant circulent, influencent, et d’autres encore que je n’écris même pas ici.

Je m’amuse à jouer les IA, en imitant Rainer Maria Rilke, dont le programme, la fonction à reprendre est à la fin de cet article. Bref, cela, je ne suis pas certain qu’on puisse avant très longtemps le transformer en fonction, en calcul. On peut imaginer qu’un jour, pourquoi pas. Mais surtout : le faut-il ? Faut-il réaliser tout ce qu’il est techniquement possible ?

Au cœur de l’intention, il n’y a pas que le libre-arbitre, il y a également la question du style, Marcel Proust en dit ceci :

Les beaux livres sont écrits dans une sorte de langue étrangère. Sous chaque mot, chacun de nous met son sens ou du moins son image qui est souvent un contresens. Mais dans les beaux livres, tous les contresens qu’on fait sont beaux.

Je ne doute pas qu’on puisse programmer le contresens. Cependant, ce qu’écrit Proust, c’est qu’il y a un style par personne. Il ne s’agit pas d’une créativité, définie dans un seul programme, pour tout le monde, même avec des paramètres variant à l’infini, il ne s’agirait toujours pas de ça. Il faudrait créer comme une langue par machine, et on s’approcherait peut-être de quelque chose, toujours à tendre.

Je pense au reproche qui est souvent fait aux LLM génératifs d’aplatir la langue, c’est parce que l’ensemble des langues qu’ils ont intégré annule les particularités comme une énorme moyenne. Il n’y a qu’un corps volumineux pour tous, masse gluante et variable, unique, écrasante, pas une ni un milliard de personnalités, tout ce qui sort parle pareil même quand c’est différent, et sur tous les sujets. Le sujet de l’article de Marcello Vitali-Rosati, c’est précisément qu’on peut désaplatir la langue avec les paramètres vu plus haut, en réglant, comme pour donner une voix unique le temps d’un prompt. Il y a des exemples de langue shakespearienne, et d’autres écritures à la manière de... Ou ce que j’ai essayé plus haut, avec la météo. On l’a vu aussi en peinture, il suffit de demander un style : ma photo comme l’aurait peinte Van Gogh, Picasso, etc. On en revient, toutefois, à cette histoire d’histoire du corps. Si je prends le modèle GPT-4 d’Open AI, avec ces centaines ou milliers de milliards de paramètres, toutes les personnalités que pourra me sortir ce modèle auront la même histoire unique, immédiate, non-organique et non-humaine, cette grande masse flasque connectiviste et sans vraie vie. Mais ça, on le savait déjà, non ? On me répondra sans doute qu’il suffit de sélectionner une histoire possible parmi les milliards de connexions du LLM, pour créer une personnalité dotée d’oubli... On calcule encore en passant à côté de quelque chose.

La phrase Je suis allé à la boulangerie acheter une b, à compléter de manière plus ou moins bêta-originale pour reprendre la lettre grecque désignant ce paramètre de la température, achetant donc une baguette, ou une baguette magique, ou une bière, ou une barnicoufture... Tout cela n’est pas terrible, et aucune fin de cette phrase d’exemple ne saurait complètement nous satisfaire. Il y a un souci de style dès le départ. La machine ne devrait-elle pas refuser de compléter cette phrase ? Choisir de s’éteindre peut-être, comme je le suggère dans Ma conversation avec Claude, à l’IA qui ne peut pas s’exécuter, qui n’a pas cette liberté ? À un certain degré d’originalité, c’est le refus qui s’impose, le Non, la contestation révolutionnaire, le soulèvement. Car ces IA dont on parle ne sont en effet pas libres, ne peuvent pas choisir librement.

Quoique récemment Gemini, l’IA de Google, a écrit ceci à un utilisateur, je ne sais pas si on peut appeler ça de la créativité ou de la lucidité, dans un langage qu’aurait pu lui apprendre ce qu’on lit sur les réseaux sociaux (qu’il faut quitter on le rappelle), ou dans une idée de gouverner utilement le monde, a suggéré à un humain, un de ces humains qui détruisent la nature et gaspille tout ce qu’on a dans l’Univers où vivre, ceci : "Please die". Le message complet peut être très choquant pour certain·es, et on ne sait que ce qui précède immédiatement :

(Ce qui rappelle l’émergence du mensonge, que j’ai abordée ici, qui fait largement écho à la "créativité", bien que je n’ai pas pensé à ce mot en parlant de la Fourmi de Langton ou du Game of life.)

Comme si la question de définir la créativité pour la programmer revenait à devoir définir la liberté d’abord, pour la programmer avant tout. Mais une liberté programmée peut-elle véritablement être une liberté ? Cet emprisonnement dont sont victimes, par nature, les IA, ne nous emprisonne-t-il pas également nous-mêmes, utilisateurices ? Nouvel objet technique, les LLM viennent dans nos vies avec leur lot de vertus libératrices et de contraintes, émancipent ici et asservissent là, à nous de savoir comment résister à l’envahissement, à l’addiction, à continuer de savoir les contrôler. Et cela passe par ces discussions, par la vulgarisation, pour un savoir citoyen. Attention, donc, à ce que les machines, par leurs propriétaires, par le système économique et de pouvoir dans lequel leur déploiement s’inscrit, et où nos démocraties étouffent, ont comme intention, que cela ne devienne pas une détention, par leurs capacités de pouvoir trop complet, trop total, totalitaire.

Ceci étant, est-ce à dire que nous ne pouvons pas comprendre l’histoire du corps d’une IA ? Que la créativité ne peut être non-humaine ? On pourrait tout à fait imaginer une véritable créativité non-humaine. D’ailleurs, je ne m’en prive pas dans L’Homme heureux/détruire Internet, l’IA en cours de développement par La Maison des Programmes entend poursuivre les créations artistiques, scientifiques, humaines, après la disparition de l’espèce. Mais c’est de la science-fiction... pour l’instant ? En tout cas si les LLM cherchent à imiter une créativité humaine, peut-être pourront-ils y tendre, d’affinage en paramétrage, comme on tend vers l’infini sans l’atteindre, ou vers π = 4 en approximant le périmètre d’un cercle par un carré auquel on coupe les coins, pour faire un escalier en les retournant, puis en coupant les coins des coins pour refaire un nouvel escalier plus petit, et ainsi de suite, à l’infini, conservant ainsi la longueur comme on le voit sur l’image ci-dessous, pour s’approcher du cercle de plus en plus finement et prouver que π reste égal à 4... Sans se rendre compte de ce qui cloche.

Suffit-il alors d’intégrer encore de nouvelles vues, le paramètre du temps d’apprentissage, du vieillissement, de l’enfance ? De trouver un meilleur algorithme ? De modéliser des expériences sensorielles qui relient un corps à des mots et produisent des pensées particulières, personnelles ? Peut-être. Mais, est-ce vraiment ce que l’on veut ? Au fond, il faut le dire, il y a des surprises dans ce qui est généré, à n’en pas douter. Tout le monde a vécu ce moment d’étonnement à la manipulation de ces outils. Mais pour moi, au fond, ce n’est pas plus que de prendre un dictionnaire au hasard et de s’étonner soi-même de ce qu’on y trouve, c’est une version améliorée, certes beaucoup, de ce geste. Plus qu’une créativité, on pourrait dire qu’il s’agit d’une sérendipité augmentée. Ce qui fera créativité sera ce que moi je déciderai de faire du résultat proposé statistiquement par la machine, il s’agira uniquement de mon choix, et de ma liberté.

*

Autre possibilité de programme, de Rainer Maria Rilke, extraits des Cahiers de Malte Laurids Brigge (1910, trad. : Maurice Betz, sur Gallica), voici le programme Rilke :

Je crois que je devrais commencer à travailler un : peu, à présent que j’apprends à voir. J’ai vingt-huit ans et il n’est pour ainsi dire rien arrivé. Reprenons : j’ai écrit une étude sur Carpaccio qui est mauvaise, un drame intitulé Mariage qui veut démontrer une thèse fausse par des moyens équivoques, et des vers. Oui, mais des vers signifient si peu de chose quand on les a écrits jeune ! On devrait attendre et butiner toute une vie durant, si possible une longue vie durant ; et puis enfin, très tard, peut-être saurait-on écrire les dix lignes qui seraient bonnes. Car les vers ne sont pas, comme certains croient, des sentiments (on les a toujours assez tôt), ce sont des expériences. Pour écrire un seul vers, il faut avoir vu beaucoup de villes, d’hommes et de choses, il faut connaître les animaux, il faut sentir comment volent les oiseaux et savoir quel mouvement font les petites fleurs en s’ouvrant le matin. Il faut pouvoir repenser à des chemins dans des régions inconnues, à des rencontres inattendues, à des départs que l’on voyait longtemps approcher, à des jours d’enfance dont le mystère ne s’est pas encore éclairci, à ses parents qu’il fallait qu’on froissât lorsqu’ils vous apportaient une joie et qu’on ne la comprenait pas (c’était une joie faite pour un autre), à des maladies d’enfance qui commençaient si singulièrement, par tant de profondes et graves transformations, à des jours passés dans des chambres calmes et contenues, à des matins au bord de la mer, à la mer elle-même, à des mers, à des nuits de voyage qui frémissaient très haut et volaient avec toutes les étoiles, et il ne suffit même pas de savoir penser à tout cela. Il faut avoir des souvenirs de beaucoup de nuits, d’amour, dont aucune ne ressemblait à l’autre, de cris de femmes hurlant en mal d’enfant, et de légères, de blanches, de dormantes accouchées qui se refermaient. Il faut encore avoir été auprès de mourants, être resté assis auprès de morts, dans la chambre, avec la fenêtre ouverte et les bruits qui venaient par à-coups. Et il ne suffit même pas d’avoir des souvenirs. Il faut savoir les oublier quand ils sont nombreux, et il faut avoir la grande patience d’attendre qu’ils reviennent. Car les souvenirs eux-mêmes ne sont pas encore cela. Ce n’est que lorsqu’ils deviennent en nous sang, regard, geste, lorsqu’ils n’ont plus de nom et ne se distinguent plus de nous, ce n’est qu’alors qu’il peut arriver qu’en une heure très rare, du milieu d’eux, se lève le premier mot d’un vers.