Capable de converser avec un humain, de structurer une réponse, de restituer un certain nombre de connaissances, le ChatGPT peut également écrire et déboguer du code, composer de la musique, jouer à des jeux, répondre à des questionnaires d’évaluation, écrire des poèmes et des chansons…

Selon Laure Soulier, maîtresse de conférences en informatique dans l'équipe Machine learning for information access de l’ISIR¹, ce nouvel outil s’inscrit dans la lignée des gros modèles de langue développés depuis quelques années, capables de traiter un très grand nombre de données et de résoudre des tâches de plus en plus variées et complexes. « En quelques mois, indique-t-elle, on a vu émerger de nombreux modèles de langue intéressants, plus ou moins spécialisés, tels que Galactica ou LaMDA ». Pour la chercheuse, le ChatGPT ne constitue donc pas une rupture, mais plutôt une amélioration des modèles existants et contribue à démocratiser l’intelligence artificielle auprès du grand public grâce à une interface conversationnelle accessible.

Pour arriver à atteindre ce niveau d’efficacité aujourd’hui médiatique, les ingénieurs de l’entreprise OpenAI ont utilisé l’algorithme GPT 3.5 entrainé sur de nombreux documents (Wikipédia, articles web, forum, etc.) et le modèle instructGPT qui permet de raffiner l’entraînement des modèles de langues en intégrant des jugements humains. Les ingénieurs ont également repris et adapté les données d’instructGPT pour les orienter vers des tâches de dialogue et obtenir une meilleure pertinence dans les réponses. « L’entraînement du ChatGPT comprend plusieurs étapes. Lors de la première, on demande à deux personnes de converser pour obtenir un jeu de données avec l’une qui simule le système et l’autre l’utilisateur, explique Laure Soulier. On apprend un premier modèle de langue dédié à la conversation. On donne un exemple à la machine, on regarde ce qu'elle répond et en fonction de son niveau d’erreur, on modifie les paramètres jusqu’à ce qu’elle le réduise ». Une fois que le modèle a appris à partir de ces données, la deuxième partie de l'entraînement consiste à lui demander de générer plusieurs sorties pour une même conversation. Des annotateurs vont ensuite classer les réponses du modèle par ordre de pertinence. « Cela permet d’avoir un deuxième jeu de données supervisé et d'apprendre un modèle de récompense, souligne la chercheuse. La dernière étape consiste à raffiner le modèle appris lors de la première étape en l’augmentant par l’apprentissage par renforcement². Ce dernier utilise le modèle de récompense appris à la deuxième étape pour réajuster les paramètres du modèle ». Une fois entraîné, le modèle peut être utilisé pour générer du texte de manière autonome.

Des limites éthiques et technologiques

Rapide et précis, avec des résultats qui paraissent presque magiques, le ChatGPT soulève son lot d’interrogations éthiques et notamment celui de la crédibilité et de la véracité des informations. « Il écrit des réponses plausibles qui nous semblent cohérentes, mais qui peuvent en réalité se révéler inexactes ou trompeuses. L’entrainement basé sur l’apprentissage par renforcement ne contraint pas le modèle à générer des informations véridiques et sa connaissance du monde est limitée aux données qu’on lui a fournies lors de l’entraînement. N’étant pas pour le moment connecté au web, le ChatGPT n’a pas accès aux nouvelles informations publiées. D’autres biais existent, ajoute l'informaticienne, comme la tendance à la sur-génération de la part des modèles de langue. Par ailleurs, ce modèle est opaque. On ne connaît pas les données sur lesquelles il a été entraîné, ni comment l’annotation a été faite, ni les consignes qui ont été données aux annotateurs humains ». Autre interrogation, celle de savoir si le ChatGPT doit répondre à toutes les questions. Open AI a déjà fait évoluer son modèle afin qu’il ne fournisse plus la recette pour créer des bombes à la demande.

La question du plagiat et des droits d’auteur est également au cœur des débats. A qui appartient le texte généré ? à l’utilisateur qui pose la question ? aux ingénieurs qui ont conçu le modèle ? Pour tenter de lutter contre les potentiels plagiats, Open AI développe actuellement un système permettant de détecter automatiquement les textes générés par le chat. « Nous avions les mêmes inquiétudes quand Wikipédia est sorti. Mais au final, Wikipédia est un support qui ne remplacera jamais l’école. De même, ChatGPT va permettre d'avoir un aperçu de beaucoup choses qu’il faudra ensuite retravailler. Cela pose la question de la place de l’utilisateur », pointe la chercheuse. Contrairement au ChatGPT, un moteur de recherche permet à l’utilisateur d’accéder aux sources, de donner du sens aux informations qu’il trouve et d’être actif dans le processus de construction des connaissances. « Des systèmes conversationnels ne permettent pas forcément d’avoir cette diversité en fournissant des réponses directes. C’est un domaine de la recherche d’information en vogue actuellement. L’une des thèses que je dirige porte justement sur la clarification des questions pour bénéficier des avantages des moteurs de recherche et des systèmes conversationnels », précise Laure Soulier.

Face à ces enjeux, le rôle de la communauté scientifique qui travaille depuis des années sur ces modèles de langue est grand. « Chacun est responsable de la façon dont il produit les modèles, les rend disponibles et les utilise. Une fois qu’ils existent, on ne peut pas les ignorer. La question est maintenant de savoir quelles sont les prochaines étapes et comment utiliser ces avancées pour améliorer d’autres modèles et d’autres tâches », affirme la chercheuse. D’autres modèles ayant une connaissance du monde qui ne se limite pas à la donnée textuelle, mais à l'ensemble des données (visuelles, audio, etc.) sont en cours de développement.

Selon Laure Soulier, la communauté scientifique a également un rôle de sensibilisation et d’éducation à la conception et l’utilisation de ces modèles et à leurs limites. « Même si ce ne sont pas des outils qui visent à remplacer l'utilisateur, mais à l'aider à gagner en efficacité, il est important que les gens développent un esprit critique vis-à-vis d’eux et des biais qu’ils comportent », conclut-elle.

¹ Institut des Systèmes Intelligents et de Robotique (Sorbonne Université/CNRS/Inserm)

² L’apprentissage par renforcement consiste, pour un système autonome, à apprendre à partir d’expériences avec l’environnement en observant le résultat positif ou négatif de ses actions. Il permet à des machines de déterminer automatiquement le comportement idéal à adopter dans un contexte spécifique afin de maximiser ses performances.