Envoyer 'Le service de questions/réponses Eurêkoi gagne le match face à ChatGPT' à un ami

Bonjour à tous,
Merci pour ces commentaires nombreux, positifs comme négatifs, qui nous donnent l’opportunité d’approfondir le sens de cette comparaison.

Tout d’abord, il s’agissait d’un “match” réel et non artificiellement conçu par l’équipe Eurêkoi. La personne usagère du service s’est sentie libre de le faire tel qu’il est présenté : en posant volontairement la même question, en le faisant à partir de l’outil gratuit (celui qui est la plupart du temps utilisé par les publics du web), et en étant a priori confiante en ce type de réponse machine. Avec des informations complémentaires (il n’y en a pas eu avec Eurêkoi), un prompt réalisé dans les règles de l’art (et donc une question différente de celle faite à Eurêkoi), avec une version payante, les réponses machines auraient pu être beaucoup plus pertinentes que celle rapportée par l’IA dans cette expérience-là. En d’autres termes, toute expérience comporte des biais, ou plutôt, appelons-les un “cadre d’expérience” (ici chatgpt gratuit, question rigoureusement identique, absence de compléments ou de séquençage de la demande faite à GPT). Les résultats ne valent que dans ce cadre (mais ne semble-t-il pas assez commun si vous interrogez vos connaissances sur leur usage de cet outil ?), et resteront datés aussi.

Mais ces paramètres d’expérience, que vos commentaires mettent en évidence, sont ceux-là mêmes qui rendent une médiation numérique institutionnelle, gratuite et désintéressée encore nécessaire pour l’instant : tout le monde n’a pas la version payante, ni ne sait toujours prompter efficacement, dialoguer avec pertinence avec la machine ; tout le monde n’en prend pas nécessairement le temps, ni n’est informé des “biais” ou limites volontairement et/ou involontairement présents dans l’algorithme.

Enfin, concernant la qualité de la réponse d’Eurêkoi sur l’une des références, elle représente également une des limites de l’appréciation de la qualité de la documentation sélectionnée. Cette référence, présente dans de nombreux fonds de collections de bibliothèques en France (donc choisie par les chargés de collection experts de la production éditoriale de leur discipline), préfacée par un sociologue de référence, est une documentation existante à mettre en regard des autres références proposées.

Merci, enfin, de nous donner l’occasion de le redire et d’abonder dans le sens de cette remarque : “on peut faire confiance à la profession pour s’adapter”. Les bibliothèques s’adaptent continûment à l’évolution du contexte numérique, mais gardent leur cœur de métier en matière de documentation et d’information : prendre le temps de sélectionner les ressources (dont des ressources spécialisées onéreuses et sous droit, auxquels une IA n’a pas accès pour générer son texte de réponse), en vérifier la qualité, pour assurer une réponse à la fois pertinente et fiable, documenter la démarche de recherche toujours même si la réponse est non, de manière gratuite, désintéressée et neutre, mettant ainsi en évidence que la réponse est aussi humaine que la programmation de l’algorithme d’IA, et toujours perfectible.

Et plus largement, dans le contexte informationnel et documentaire actuel, où l’arrivée attendue de la Google Search Experience va peut-être inciter encore davantage les webinautes à s’en remettre à la réponse probabiliste de l’IA fondée sur divers sites web de qualité hétérogène et de niveau de fiabilité variable, il paraît opportun, sinon nécessaire, de donner à ces internautes la possibilité de faire appel aux bibliothécaires.