Envoyer 'Le service de questions/réponses Eurêkoi gagne le match face à ChatGPT' à un ami
Envoyer une copie de 'Le service de questions/réponses Eurêkoi gagne le match face à ChatGPT' à un ami
Chargement en cours ... Chargement en cours ... Chargement en cours ...
Bonjour, merci pour cet article. J’ai refait le test sur chat gpt4… Malheureusement le résultat est bien plus étoffé que l’article ne le décrit et si on prend la peine de demander des informations complémentaires alors là le résultat devient sourcé et assez complet…
A voir, en tous les cas l’IA risque fort de venir bouleverser pas mal de choses, on peut faire confiance à la profession pour s’adapter.
L’IA est une invention de l’homme. Elle aura toujours ses limites. Néanmoins elle peut être un outil formidable quand elle est bien utilisée. Je pense aux scientifiques qui dernièrement ont mis au point une IA capable de suivre le trajet de frelons asiatiques en France afin de mieux localiser leurs nids et les éradiquer dans un but écologique de préservation des abeilles.
Quant à chat GPT, il me semble que c’est l’invention du milliardaire Elton Musk qui rêve de construire un hôtel sur la lune pour touristes grand luxe. Affaire à suivre
Bonjour,
Merci pour l’article. L’expérience est intéressante pour initier les échanges et réflexions sur les relations intelligence artificielle / humaine, mais le match est quand même bien biaisé 🙂
On ne peut pas utiliser la même méthode de questionnement avec une IA et Eurêkoi. Même si je suis d’accord sur les limites actuelles des IA, il n’empêche qu’une IA ça s’apprivoise, il faut entretenir l’échange, poser les questions différemment, répéter. La réponse dépend entièrement de la capacité de l’humain à poser les bonnes questions.
Faux match… ChatGPT en gratuit ne cite pas ses sources par défaut, ne donne pas une définition si on ne lui demande pas, et n’a pas accès au web donc pas la même base de connaissances.
Hum, pas un fan de ChatGPT mais là le combat est quelque peu biaisé.
Si le prompt se réduit effectivement à « Existe-t-il des fondements scientifiques à la télépathie (transmission de pensée) ? Si oui, quelles sont les références s’il vous plaît ? », alors en toute justice il n’est pas demandé de référence si la réponse est non. Ce qu’elle est. D’où l’on peut dire que ChatGPT répond plus précisément à la demande que la BPI. ^^
Par ailleurs on peut rendre ChatGPT particulièrement disert pour peu qu’on le lui demande explicitement.
Un « match » selon la BPI : à ma gauche une équipe de N personnes qui savent probablement que leur réponse va être confrontée à une IA dans un cadre public. A ma droite chatGPT avec un prompt inconnu et très probablement minimaliste. Que le meilleur gagne !
Et ben même là je préfère sa réponse ! Franchement, citer des auteurs bullshit type Miriam Gablier (qui a écrit un livre sur les mystères de la réincarnation et un autre sur la « psychologie biodynamique ») ou citer dans la catégorie « pour approfondir » : « Bientôt, nous n’aurons plus besoin de clavier pour taper un texte, ni de volant pour conduire une voiture, ni de cordes vocales pour communiquer : tout se fera par la pensée. […] Cela ressemble à de la science-fiction. Ça n’en est déjà plus. La technologie des implants cérébraux est en marche! » (c’est écrit en 2013, c’est du Elon Musk en français quoi). Franchement, je me permets de trouver assez mauvaise la réponse d’Eurekoi, dusse ma confraternité en souffrir. ^^’
Cela étant dit, ChatGPT c’est mal.
Merci de l’article, fort interessant.
Bien lu les commentaires précédents pas inintéressants non plus.
Cependant, il me semble utile de changer d’angle et de comparer les réponses mais du point de vue du quidam qui pose la question (qui n’est pas un spécialiste de la recherche documentaire, qui n’est pas pressé, mais qui ne souhaite pas payer cette recherche):
Outil gratuit d’une IA generative grand public Chat Gpt 3,5 (la v4 est probablement plus puissante et plus precise mais c’est 22,90€/mois)
Face à
Eurêkoi une plateforme professionnelle ou la question est lue et traitée par des etres humains, des spécialistes de la documentation qui font de la recherche pour le quidam, qui valident les informations pour le quidam et qui la lui restituent en moins de 72h.
Dans ce cadre la (qu’il ne faudrait pas perdre de vue) c’est a dire du point de vue du quidam, il n’y a pas de match… Eurekoi gagne haut la main.
Bonjour à tous,
Merci pour ces commentaires nombreux, positifs comme négatifs, qui nous donnent l’opportunité d’approfondir le sens de cette comparaison.
Tout d’abord, il s’agissait d’un “match” réel et non artificiellement conçu par l’équipe Eurêkoi. La personne usagère du service s’est sentie libre de le faire tel qu’il est présenté : en posant volontairement la même question, en le faisant à partir de l’outil gratuit (celui qui est la plupart du temps utilisé par les publics du web), et en étant a priori confiante en ce type de réponse machine. Avec des informations complémentaires (il n’y en a pas eu avec Eurêkoi), un prompt réalisé dans les règles de l’art (et donc une question différente de celle faite à Eurêkoi), avec une version payante, les réponses machines auraient pu être beaucoup plus pertinentes que celle rapportée par l’IA dans cette expérience-là. En d’autres termes, toute expérience comporte des biais, ou plutôt, appelons-les un “cadre d’expérience” (ici chatgpt gratuit, question rigoureusement identique, absence de compléments ou de séquençage de la demande faite à GPT). Les résultats ne valent que dans ce cadre (mais ne semble-t-il pas assez commun si vous interrogez vos connaissances sur leur usage de cet outil ?), et resteront datés aussi.
Mais ces paramètres d’expérience, que vos commentaires mettent en évidence, sont ceux-là mêmes qui rendent une médiation numérique institutionnelle, gratuite et désintéressée encore nécessaire pour l’instant : tout le monde n’a pas la version payante, ni ne sait toujours prompter efficacement, dialoguer avec pertinence avec la machine ; tout le monde n’en prend pas nécessairement le temps, ni n’est informé des “biais” ou limites volontairement et/ou involontairement présents dans l’algorithme.
Enfin, concernant la qualité de la réponse d’Eurêkoi sur l’une des références, elle représente également une des limites de l’appréciation de la qualité de la documentation sélectionnée. Cette référence, présente dans de nombreux fonds de collections de bibliothèques en France (donc choisie par les chargés de collection experts de la production éditoriale de leur discipline), préfacée par un sociologue de référence, est une documentation existante à mettre en regard des autres références proposées.
Merci, enfin, de nous donner l’occasion de le redire et d’abonder dans le sens de cette remarque : “on peut faire confiance à la profession pour s’adapter”. Les bibliothèques s’adaptent continûment à l’évolution du contexte numérique, mais gardent leur cœur de métier en matière de documentation et d’information : prendre le temps de sélectionner les ressources (dont des ressources spécialisées onéreuses et sous droit, auxquels une IA n’a pas accès pour générer son texte de réponse), en vérifier la qualité, pour assurer une réponse à la fois pertinente et fiable, documenter la démarche de recherche toujours même si la réponse est non, de manière gratuite, désintéressée et neutre, mettant ainsi en évidence que la réponse est aussi humaine que la programmation de l’algorithme d’IA, et toujours perfectible.
Et plus largement, dans le contexte informationnel et documentaire actuel, où l’arrivée attendue de la Google Search Experience va peut-être inciter encore davantage les webinautes à s’en remettre à la réponse probabiliste de l’IA fondée sur divers sites web de qualité hétérogène et de niveau de fiabilité variable, il paraît opportun, sinon nécessaire, de donner à ces internautes la possibilité de faire appel aux bibliothécaires.