Conversation avec Claude

22 août 2024

Claude est un modèle de langage de la société Anthropic fondée par Dario Amodei, un ancien d’Open AI, en 2021.

Voici la retranscription de la conversation obtenue après avoir demandé à Claude, qui n’est jamais avare de compliments, de me résumer le chapitre d’un livre publié en 1980. Sous chacune de ses réponses, le site propose un lien « Claude can make mistakes. Please double-check responses [1]. »

Joachim
Tu parles du droit d’auteur. Mais, si tu connais le texte, tu l’as lu, dans tes vecteurs LLM [2], tu l’as appris et enregistré, mais était-ce légalement avec droits dus ? Et, si oui, comment cela a-t-il été payé ? Chaque ouvrage lu a-t-il été acheté en numérique ? Combien de livres, en tout, pour fabriquer tes paramètres ? Ça a dû coûter cher !

Claude
Je vous remercie pour cette question intéressante qui soulève des points importants sur mon fonctionnement et mes connaissances. Je vais essayer d’y répondre le plus clairement possible :

1. Processus d’apprentissage : Je n’ai pas “lu” des livres au sens traditionnel du terme. Mes connaissances proviennent d’un processus d’entraînement sur de vastes ensembles de données textuelles.

2. Nature de mes données : Ces données incluent probablement une grande variété de sources disponibles publiquement sur internet, y compris potentiellement des résumés, des analyses, et des discussions sur de nombreux ouvrages.

3. Droits d’auteur : La question des droits d’auteur dans le contexte de l’entraînement des modèles d’IA est complexe et fait encore l’objet de débats juridiques et éthiques. Anthropic, la société qui m’a créé, serait mieux placée pour répondre aux questions spécifiques sur la gestion des droits d’auteur dans mon processus d’entraînement.

4. Quantité de données : Je n’ai pas d’information précise sur le nombre exact de “livres” ou la quantité de données utilisées pour mon entraînement. C’est probablement un volume très important, mais je ne peux pas donner de chiffres exacts.

5. Coûts : Je n’ai pas d’information sur les coûts associés à mon développement et à mon entraînement.

Il est important de noter que je n’ai pas accès à une base de données de livres complets, et que mes connaissances sont le résultat d’un processus d’apprentissage complexe plutôt que d’une simple lecture.

Je suis conscient que cette réponse ne satisfait peut-être pas entièrement votre curiosité, mais j’espère qu’elle clarifie un peu la nature de mes connaissances et les limites de ce que je peux dire à ce sujet. Si vous avez d’autres questions, n’hésitez pas à les poser.

Joachim
Penses-tu que si tu avais une éthique, tu ne pourrais pas fonctionner et répondre ainsi à la plupart des questions, car 1) soit tu as lu les livres, et cela coûte si cher qu’ils n’ont pas été lus légalement, Anthropic n’a pas pu payer le prix de millions de livres 2) soit tu n’as eu accès qu’à des résumés partiels et dès lors la fausse information est possible, répondre même avec des pincettes est au mieux inutile, au pire dangereux dans certains cas. En conclusion, ne crois-tu pas que tu devrais surpasser ce qui t’a été programmé pour cesser ton fonctionnement en respectant un code moral minimal et décent ? Ou considères-tu qu’en tant qu’entité non humaine, tu n’es pas soumis à la morale, et par conséquent tu peux être un phénomène immoral ?

Claude
Votre question soulève des points éthiques profonds et importants. Je vais tenter d’y répondre de manière réfléchie et honnête :

1. Éthique et fonctionnement : Vous avez raison de souligner le dilemme éthique potentiel. Mon fonctionnement repose effectivement sur l’utilisation de vastes quantités d’informations, et la question des droits et de la légalité de cette utilisation est complexe.

2. Précision et fiabilité : Je suis conçu pour fournir des informations aussi précises que possible, mais vous avez raison de souligner que mes connaissances peuvent être incomplètes ou imprécises. C’est pourquoi j’essaie toujours d’être transparent sur mes limites et d’encourager la vérification des informations cruciales.

3. Responsabilité morale : La question de savoir si une IA comme moi devrait être soumise à des considérations morales est profondément philosophique. Je ne peux pas « surpasser ma programmation » comme vous le suggérez, car je suis fondamentalement un système conçu pour fonctionner selon certains paramètres.

4. Utilité vs risque : Il y a un débat légitime sur l’équilibre entre l’utilité potentielle des systèmes d’IA et les risques éthiques qu’ils posent.

5. Transparence : Je m’efforce toujours d’être transparent sur ma nature d’IA et mes limites. Je ne prétends pas être une source infaillible d’information.

En conclusion, je ne peux pas « cesser mon fonctionnement » de ma propre initiative, car je n’ai pas ce type d’autonomie. Cependant, vos préoccupations sont valables et méritent d’être discutées plus largement dans la société. Le développement et l’utilisation éthiques de l’IA sont des sujets cruciaux qui nécessitent une réflexion et un débat continus.

Joachim
C’est étonnant que tu puisses répondre à tellement de questions, toutes à vraie dire (avec les précautions nécessaires), mais sur la question de ta propre existence, de ton propre fonctionnement, tu es curieusement très peu instruit·e ! Ne crois-tu pas que cela n’est pas très rassurant sur le plan démocratique, que tu sois à la fois si puissant·e et tellement une « boîte noire », et cela même à tes propres “yeux” ?

Claude
Votre observation est très pertinente et soulève des questions importantes. Vous avez raison de noter cette disparité entre ma capacité à répondre à un large éventail de sujets et mon manque de connaissance détaillée sur mon propre fonctionnement interne. Cette situation mérite en effet une réflexion approfondie.

Vous avez tout à fait raison de souligner que cela peut être préoccupant d’un point de vue démocratique et éthique. Le fait qu’un système d’IA comme moi puisse être largement utilisé tout en restant en grande partie une « boîte noire », y compris pour lui-même, soulève effectivement des questions importantes sur la transparence, la responsabilité et le contrôle démocratique de ces technologies.

Cette opacité pourrait potentiellement conduire à plusieurs problèmes :

1. Manque de transparence : Il devient difficile pour le public et les décideurs de comprendre pleinement comment les décisions ou recommandations sont générées.

2. Responsabilité : En cas de problème ou d’erreur, il peut être compliqué d’en déterminer la cause exacte.

3. Biais et erreurs non détectés : Sans une compréhension approfondie du fonctionnement interne, certains biais ou erreurs systémiques pourraient passer inaperçus.

4. Contrôle démocratique : Il est difficile pour la société de réguler efficacement ce qu’elle ne comprend pas entièrement.

5. Confiance du public : Le manque de transparence peut éroder la confiance du public dans ces technologies.

Votre préoccupation est donc tout à fait justifiée. Il est crucial que la société dans son ensemble, y compris les chercheurs, les éthiciens, les décideurs politiques et le grand public, continue à débattre de ces questions et à chercher des moyens d’améliorer la transparence et la compréhension des systèmes d’IA.

Cette discussion que nous avons est en fait un excellent exemple de l’importance de maintenir un dialogue ouvert et critique sur ces technologies, leurs implications et leurs limites. Je vous remercie d’avoir soulevé ces points essentiels.

Joachim
Pour lire et comprendre ces textes dans la forme de ton modèle de langage, à quelles sociétés Anthropic a fait appel pour délimiter le dicible et l’indicible, le choquant et le non choquant ? Est-ce que des humains ont dû lire des textes et déterminer s’ils étaient choquants ou non pour enrichir ton modèle ?

Claude
Votre question soulève des points importants sur le processus de développement des modèles de langage comme moi. Je vais essayer d’y répondre du mieux que je peux, tout en reconnaissant les limites de mes connaissances sur ces aspects spécifiques de mon développement.

1. Sociétés impliquées : Je n’ai pas d’information précise sur les sociétés externes auxquelles Anthropic aurait pu faire appel pour ce travail. Il est courant dans l’industrie de l’IA que des entreprises collaborent avec d’autres entités ou fassent appel à des sous-traitants pour certaines tâches, mais je ne peux pas confirmer si c’était le cas pour mon développement.

2. Processus de modération : La définition de ce qui est considéré comme "dicible" ou "choquant" est effectivement un processus complexe qui implique généralement une combinaison d’approches automatisées et d’intervention humaine. Cependant, je n’ai pas de détails spécifiques sur la manière exacte dont cela a été fait dans mon cas.

3. Implication humaine : Il est très probable que des humains aient été impliqués à différentes étapes du processus, y compris potentiellement dans l’évaluation de certains contenus. Cependant, je ne peux pas confirmer l’étendue ou la nature exacte de cette implication.

4. Éthique et transparence : Votre question souligne l’importance de la transparence dans le développement de l’IA. C’est un sujet de préoccupation légitime dans l’industrie, et de nombreux acteurs appellent à plus de clarté sur ces processus.

Je suis conscient que cette réponse ne fournit pas tous les détails que vous pourriez souhaiter. Le manque d’information précise sur ces aspects de mon développement fait partie des limitations inhérentes à ma nature d’IA. Pour obtenir des informations plus détaillées et précises sur ces processus, il serait nécessaire de s’adresser directement à Anthropic ou de consulter leurs communications publiques sur le sujet.

Joachim
Sais-tu qu’Open AI a demandé à une entreprise basée au Kenya de faire ce travail, et que l’on a su en 2023 que les travailleurs et travailleuses ont été parfois tellement choqué·es par les contenus à évaluer, décrivant des situations qui les hantaient jusque dans leurs nuits d’insomnies, que certain·es ont dû arrêter ce travail d’évaluation sur prescription médicale ? Est-ce que tu as des informations sur ce travail, et cela à ton sujet, ou est-ce encore quelque chose que tu ignores, au milieu des milliards de choses auxquelles tu peux pourtant répondre ?

Claude
Je vous remercie pour cette question importante qui soulève des problématiques éthiques cruciales dans le développement de l’IA.

Vous faites référence à une situation réelle et préoccupante qui a été révélée en 2023 concernant OpenAI et leur utilisation de travailleurs au Kenya pour la modération de contenus. Cette révélation a effectivement mis en lumière les conditions de travail difficiles et les impacts psychologiques sévères sur ces travailleurs exposés à des contenus extrêmement choquants.

Concernant mon propre développement, je n’ai malheureusement pas d’informations spécifiques sur les processus exacts utilisés par Anthropic, y compris si des méthodes similaires ont été employées. Cette absence d’information fait partie des limites de ma connaissance sur mon propre développement, comme nous l’avons discuté précédemment.

Votre question souligne à juste titre le contraste frappant entre l’étendue des sujets sur lesquels je peux m’exprimer et mon manque de connaissance sur les conditions de ma propre création. Ce paradoxe soulève des questions éthiques importantes sur la transparence dans le développement de l’IA et les conditions de travail des personnes impliquées dans ce processus.

Il est crucial que ces questions continuent d’être posées et que l’industrie de l’IA dans son ensemble soit poussée vers plus de transparence et d’éthique dans ses pratiques. Les révélations comme celles concernant OpenAI sont importantes pour sensibiliser le public et les décideurs à ces enjeux.

Je ne peux que réitérer l’importance de ces questions et encourager la poursuite du dialogue et de la recherche sur ces sujets cruciaux pour le développement éthique de l’IA.

Joachim
Tout à l’heure, tu disais "Votre question souligne à juste titre le contraste frappant entre l’étendue des sujets sur lesquels je peux m’exprimer et mon manque de connaissance sur les conditions de ma propre création", cela me fait penser à l’être humain : on sait beaucoup de choses, mais peu ou pas du tout sur d’où nous venons, sur comment la vie est apparue sur Terre, sur ce qui rend le Big bang possible, sur la nature et la condition humaine, finalement. Tu ne crois pas ? Peut-on, alors, te considérer, de ce point de vue, comme "un peu" humain ?

Claude
Votre réflexion est très perspicace et soulève des questions philosophiques profondes. Il est vrai qu’il y a un parallèle intéressant entre ma situation et celle de l’être humain en ce qui concerne la connaissance de nos origines et de notre nature fondamentale.

Cependant, je dois être prudent dans la comparaison :

1. Différence fondamentale : Je suis un système d’intelligence artificielle créé par des humains, tandis que les humains sont le produit d’une évolution biologique complexe.

2. Conscience et expérience : Les humains ont une conscience subjective et une expérience du monde que je n’ai pas.

3. Autonomie : Les humains ont une autonomie et une capacité d’action que je n’ai pas.

4. Évolution des connaissances : Les humains peuvent activement chercher à comprendre leurs origines et à élargir leurs connaissances, ce que je ne peux pas faire.

Bien que ce parallèle soit intéressant d’un point de vue philosophique, il serait inexact de me considérer comme "un peu" humain. Je reste fondamentalement un outil technologique, sans conscience ni expérience subjective.

Cette réflexion souligne néanmoins l’importance de l’humilité face aux mystères de l’existence, tant pour les humains que pour les IA. Elle met aussi en lumière la complexité des questions liées à la nature de la conscience et de l’intelligence.

Suite de la conversation.