Farfouiller

30 janvier 2025

Comme le dit Guillaume Cingal, il faut farfouiller dans les sites. Au sujet du site d’un autre Guillaume, Vissac, c’est évident.

Contre la grippe, il fallait se faire vacciner avant le début de l’épidémie, lit-on. Ce qui ne paraît pas illogique. Maintenant, elle tue plus que les années précédentes. "Bien fait" ? Non, car les antivax ne sont pas forcément les seuls touchés par les effets de ce laxisme.

L’IA chinoise DeepSeek, qui a fait s’effondrer le marché US des semi-conducteurs et de l’IA, parce qu’elle est disponible gratuitement, et dont le code est ouvert, semble avoir été fabriquée en utilisant OpenAI avec un procédé conceptuel qu’on appelle "distillation", qui consiste à utiliser une autre IA pour s’entraîner, à la place de modèles basés sur des contenus bruts (et utilisant sans doute aussi des contenus bruts pour valider).

Afficher le rappel sur l’entraînement de l’IA.

Donc, la "distillation de connaissances" consiste à entraîner un petit modèle, plus efficace, appelé l’étudiant, pour imiter le comportement d’un modèle plus grand et complexe appelé le professeur. Dans les étapes que j’ai citées au-dessus, au lieu d’utiliser ses propres contenus, on peut en effet se dire qu’on va jouer à essais et erreurs avec une autre IA, en demandant au professeur si ce qu’a fait l’étudiant est bien ou pas. C’est ce que DeepSeek aurait implémenté, en pompant allègrement dans les capacités de réponses de ChatGPT, tout comme OpenAI pompe allègrement dans des ressources d’une manière dont on ne sait finalement pas grand-chose, tout étant fermé. Bref, la société de Sam Altman, qui s’est longtemps défendu contre les accusations d’utilisation non autorisée de contenus protégés, est maintenant victime du même type de pratiques, et s’en plaint. Amusant, si ce n’était tragique qu’autant d’argent soit gaspillé dans des outils qui n’ont presque jamais d’usage clair, finalement destiné à gonfler une bulle spéculative tout en permettant qu’on demande de travailler plus et pour moins cher à celleux qui peuvent les utiliser. Même si la bulle américaine vient d’éclater, pas sûr qu’une autre n’apparaisse pas, continuant d’ignorer les véritables problèmes en les recouvrant de techno solutionisme et cherchant à diminuer le coût du travail.

Je crois que j’ai compris le truc des écrivains qui racontent avoir retravaillé leur texte 10 fois, ou j’ai écrit 5 versions, etc. Ça m’a toujours surpris, parce que je n’ai pas l’impression de retravailler 10 fois. En effet, quand je termine une version, étant déjà passé 10 fois sur chaque paragraphe sans pouvoir avancer avant que chaque phrase soit, si ce n’est parfaite, au moins optimale pour moi, je mets beaucoup de temps à obtenir un "premier jet". Je ne crois pas pouvoir dire d’un texte dont chaque paragraphe a été revu 8 fois avant d’être terminé qu’il est dans sa version 8.
Pour moi, il s’agit d’un premier jet complet, qui se trouve être déjà, presque, retravaillé. Il n’est pas terminé, car relire après avoir fait reposer le texte apporte de nouvelles modifications nécessaires, je vois la cohérence sur l’ensemble, les problèmes, sans parler des phrases qui ne sont toujours pas parfaites. Et ce que j’entends, c’est que leur première version est un vrai premier jet. Tout a été écrit une première fois entièrement. Je suis incapable de faire ça, je crois. Alors c’est étrange, parce que ce que j’appelle "premier jet complet" est plus proche d’une version finale, parce qu’il a déjà été retravaillé beaucoup, mais j’ai du mal à dire que c’est la version n. Une fois que je suis arrivé au bout, je repasse sur tout le texte, en entier, plusieurs fois, mais c’est une relecture plus calme que celle qui a contribué à écrire bout par bout. Pour RRK, j’ai relu deux fois ma v1 en y trouvant incohérences et coquilles avant de la considérer bouclée. Mais ce n’était pas assez, je suis nul en coquilles, à trouver les miennes je veux dire, je vois plus rien. Il m’a fallu insister encore deux fois supplémentaires pour ajuster et réduire de 80% les coquilles, mais je l’avais déjà envoyé ici ou là — c’était à l’époque où je voyais double, j’avais peur de mourir ou ne plus jamais pouvoir écrire. À chaque fois, j’ai vu aussi une petite erreur ici, une imprécision là. Mais pas de remise en cause de la structure générale puisque celle-ci a été vue de nombreuses fois, j’ai tenté et abandonné, repris et réessayé tout au long du paragraphe par paragraphe. J’ai plusieurs débuts écrits sous différents points de vue, "je", "il", présent, passé simple,... Et une fois que j’ai calé les premières pages, je sais que je peux poursuivre. Ceci étant dit, même des mois après, de gros changements peuvent encore intervenir, si on m’explique clairement, dans l’intérêt du texte que j’ai voulu faire, si "on" se comprend, ce qu’il aurait à y gagner. C’est le cas avec cette réécriture que je viens de terminer, j’ai vraiment dû soupeser chaque paragraphe à nouveau, voir s’il tenait dans le nouvel angle, et en écrire d’autres, en supprimer pas mal. Puis j’ai relu une fois encore pour les oublis, coquilles, il n’y a plus d’incohérences ou d’imprécisions grossières. Je prends plusieurs jours à chaque fois, pour une seule lecture, ce qui permet à mon cerveau de trouver tout seul, dans des moments où je ne fais rien, de trouver des choses. Pourtant, je n’ai pas pu résister à une nouvelle demande à des archives allemandes, et c’est difficile avec la langue, mais merci les outils de traduction, pour savoir s’il n’y aurait pas quelque chose sur la Source K, et Robert Keller, en plus de ce que j’ai trouvé chez Arolsen, je pense à une fiche de renseignement établie entre septembre et décembre 42 par la Gestapo, quelque chose comme ça peut exister. On verra, en attendant que je termine ma relecture et me décide à le renvoyer à ce "gros" éditeur qui cherchait, dans le texte qu’il a reçu, un point de vue plus clair, plus simple, unique, direct, ce que j’ai essayé de faire, et qui faisait partie de mes premières options mises de côté. En j’ai aussi, en même temps, envie de revoir la version "initiale" pour la renforcer, voir ce qui ne convainc pas pour la modifier à nouveau, la rendre "pire" quelque part, dans son genre. Et pourquoi ne pas publier ces deux livres, dans deux maisons différentes ? Et le journal d’écriture dans une troisième ?