Le service de questions/réponses Eurêkoi gagne le match face à ChatGPT
Le service de questions/réponses Eurêkoi a été mis au défi, face à ChatGPT, de répondre sur les fondements scientifiques de la télépathie. La réponse apportée démontre que sa qualité est une conséquence directe de la supervision humaine. Cette mini-compétition met en évidence les limites de l’IA générative ChatGPT et la pertinence du savoir-faire des professionnel·les des bibliothèques.
Un internaute intéressé par les apports comparés des modalités de réponse aux questions documentaires a décidé de lancer le « match » ChatGPT vs Eurêkoi, intelligence artificielle contre intelligence humaine, en posant à chacun la question suivante : « Existe-t-il des fondements scientifiques à la télépathie (transmission de pensée) ? Si oui, quelles sont les références s’il vous plaît ? ». Le sondage de satisfaction qu’il a ensuite rempli a permis à Eurêkoi d’avoir un retour sur ce « match ». Voici ce qu’il en ressort.
La réponse de ChatGPT : immédiate mais qu’en faire ?
Immédiate. Synthétique, en quatre phrases. Exempte d’erreurs orthographiques ou grammaticales. La voici in extenso car elle tient facilement dans cet article :
« La télépathie, ou transmission de pensée directe, n’a pas de fondements scientifiques établis. Les études jusqu’à ma dernière mise à jour en janvier 2022 n’ont pas fourni de preuves convaincantes de son existence. La majorité des chercheurs considèrent la télépathie comme relevant davantage du domaine de la croyance que de la science établie. Si de nouvelles recherches ont été publiées depuis, je ne dispose pas de ces informations. »
À la première lecture, on voit tout de suite que ces quelques lignes sont très redondantes pour compenser la faiblesse de la réponse. Ces termes sont vagues, dépourvus de définition de référence, et ne renvoient vers aucune source permettant de les établir justement. Au mieux, cela pourrait être une introduction au sujet. Si on n’y réfléchit pas, on pourrait se satisfaire de cette réponse. À la question de fondements scientifiques de la télépathie, la réponse est non. Mais sans aucune référence, ni définition… en fait, sans fondement scientifique non plus.
Le seul point pertinent de cette réponse, mais qui n’apporte alors plus de réponse du tout, c’est la dernière phrase. Elle en fixe les limites et neutralise in extremis l’affirmation de la réponse des trois phrases qui précèdent. Elle dit finalement ceci : ma réponse est fiable, mais vous ne pouvez pas vous en servir, puisque je ne vous dis rien de sa fiabilité aujourd’hui.
Enfin, à la question qu’on avait presque oubliée, « si oui, quelles sont les références s’il vous plaît ? », aucune réponse.
Que faire d’une telle réponse alors ? Aucune preuve de fiabilité, et pas de réponse actuelle.
La réponse d’Eurêkoi vaut bien 72h d’attente
Moins de 72h après tombe dans la boîte aux lettres numérique de notre usager le courriel de réponse d’Eurêkoi. Vous pourrez lire la réponse dans son intégralité sur eurekoi.org. Pourquoi ? Parce que, premier point, elle est trop longue pour cet article. Pourquoi si longue ? Parce que, second point, on ne règle pas son compte à la télépathie avec une simple négation non référencée.
Tout d’abord, la télépathie a fait l’objet d’une longue histoire en science, vieille de 150 ans.
La question que se pose notre usager se révèle donc bien légitime.
Ensuite, elle a ouvert la voie à des résultats scientifiques aujourd’hui prouvés et utiles, tels que l’électroencéphalographie. Ce sont bien là les méandres de la science, qui peuvent faire un détour par une impasse scientifique pour inventer des solutions probantes ! Notre usager a décidément bien fait de se poser cette question.
Enfin, la réponse d’Eurêkoi apporte une réponse actuelle et utilisable : hormis par des mécaniques artificielles, la télépathie n’existe pas. La réponse faite à l’usager est à la fois fiable, actuelle et plus approfondie.
À l’appui de cette réponse tellement plus nuancée et respectueuse de l’épistémologie scientifique, chaque assertion est sourcée et le lien vers la ressource cliquable.
Voici la conclusion littérale : « Les avis semblent donc partagés mais il semblerait que, si certains phénomènes mécaniquement assistés liés à la transmission de pensée soient possibles, la télépathie comme on l’entend par exemple en science-fiction n’ait pas de fondement scientifique réel. »
Épilogue, la réponse d’Eurêkoi poursuit ainsi : « Voici différentes références pour vous permettre de vous forger votre propre opinion », suivi par une série de ressources supplémentaires.
Des algorithmes et des humains
Ex aequo ? À la question initiale fermée et binaire, les deux réponses indiquent donc que non, la télépathie n’a pas de fondement scientifique.
Dans le contenu, la différence est flagrante du côté d’Eurêkoi. Définition préalable, références, ressources cliquables et fiables, nuance de la réponse, exploration plus lointaine… et utilité de la réponse finalement.
Derrière la réponse d’Eurêkoi, on trouve une intelligence humaine, celle du réseau des bibliothèques de lecture publique dont la mission est d’apporter des réponses fiables, sourcées et nuancées grâce au professionnalisme des bibliothécaires, spécialisés dans la recherche documentaire, assistée ou non, qui se font alors l’intermédiaire humain entre une question et un état des savoirs. Les outils de recherche, quels qu’ils soient, sont à l’évidence mobilisés, mais la réponse rédigée est le fruit d’une vérification et d’une hiérarchisation humaines.
Donner un autre sens à ce match ?
Eurêkoi gagne le match, certes, mais de quoi s’agit-il ? La situation de concurrence frontale entre les deux modèles de questions/réponses que décrit notre article est réelle mais rarissime ou provoquée pour analyser leur performance comparée et leur place respective. Eurêkoi rejoint de nombreux autres services numériques attentifs aux évolutions qui pourront les rendre plus performants : identifier, connaître et utiliser toute IA qui permet non de remplacer l’action humaine, mais d’augmenter le service rendu. Tant que les IA ne pourront prendre en compte le lien à la réalité complexe et non écrite (utilisation des sens, déduction logique, prise en compte du contexte culturel et des non-dits), sans parler des hallucinations produites, elles assisteront les services numériques supervisés par l’activité humaine. La thématique de la télépathie, qui convoque l’imaginaire des sciences-fictions, des para-sciences et des sciences, révèle avec acuité la place aujourd’hui des intelligences artificielles, alliées de l’intelligence humaine.
Bonjour, merci pour cet article. J’ai refait le test sur chat gpt4… Malheureusement le résultat est bien plus étoffé que l’article ne le décrit et si on prend la peine de demander des informations complémentaires alors là le résultat devient sourcé et assez complet…
A voir, en tous les cas l’IA risque fort de venir bouleverser pas mal de choses, on peut faire confiance à la profession pour s’adapter.
LEVOISIN
8 mois il y a
L’IA est une invention de l’homme. Elle aura toujours ses limites. Néanmoins elle peut être un outil formidable quand elle est bien utilisée. Je pense aux scientifiques qui dernièrement ont mis au point une IA capable de suivre le trajet de frelons asiatiques en France afin de mieux localiser leurs nids et les éradiquer dans un but écologique de préservation des abeilles.
Quant à chat GPT, il me semble que c’est l’invention du milliardaire Elton Musk qui rêve de construire un hôtel sur la lune pour touristes grand luxe. Affaire à suivre
Socoupe
7 mois il y a
Bonjour,
Merci pour l’article. L’expérience est intéressante pour initier les échanges et réflexions sur les relations intelligence artificielle / humaine, mais le match est quand même bien biaisé 🙂
On ne peut pas utiliser la même méthode de questionnement avec une IA et Eurêkoi. Même si je suis d’accord sur les limites actuelles des IA, il n’empêche qu’une IA ça s’apprivoise, il faut entretenir l’échange, poser les questions différemment, répéter. La réponse dépend entièrement de la capacité de l’humain à poser les bonnes questions.
Faux match… ChatGPT en gratuit ne cite pas ses sources par défaut, ne donne pas une définition si on ne lui demande pas, et n’a pas accès au web donc pas la même base de connaissances.
Mathieu
7 mois il y a
Hum, pas un fan de ChatGPT mais là le combat est quelque peu biaisé.
Si le prompt se réduit effectivement à « Existe-t-il des fondements scientifiques à la télépathie (transmission de pensée) ? Si oui, quelles sont les références s’il vous plaît ? », alors en toute justice il n’est pas demandé de référence si la réponse est non. Ce qu’elle est. D’où l’on peut dire que ChatGPT répond plus précisément à la demande que la BPI. ^^
Par ailleurs on peut rendre ChatGPT particulièrement disert pour peu qu’on le lui demande explicitement.
Un « match » selon la BPI : à ma gauche une équipe de N personnes qui savent probablement que leur réponse va être confrontée à une IA dans un cadre public. A ma droite chatGPT avec un prompt inconnu et très probablement minimaliste. Que le meilleur gagne !
Et ben même là je préfère sa réponse ! Franchement, citer des auteurs bullshit type Miriam Gablier (qui a écrit un livre sur les mystères de la réincarnation et un autre sur la « psychologie biodynamique ») ou citer dans la catégorie « pour approfondir » : « Bientôt, nous n’aurons plus besoin de clavier pour taper un texte, ni de volant pour conduire une voiture, ni de cordes vocales pour communiquer : tout se fera par la pensée. […] Cela ressemble à de la science-fiction. Ça n’en est déjà plus. La technologie des implants cérébraux est en marche! » (c’est écrit en 2013, c’est du Elon Musk en français quoi). Franchement, je me permets de trouver assez mauvaise la réponse d’Eurekoi, dusse ma confraternité en souffrir. ^^’
Cela étant dit, ChatGPT c’est mal.
Alf40000
6 mois il y a
Merci de l’article, fort interessant.
Bien lu les commentaires précédents pas inintéressants non plus.
Cependant, il me semble utile de changer d’angle et de comparer les réponses mais du point de vue du quidam qui pose la question (qui n’est pas un spécialiste de la recherche documentaire, qui n’est pas pressé, mais qui ne souhaite pas payer cette recherche):
Outil gratuit d’une IA generative grand public Chat Gpt 3,5 (la v4 est probablement plus puissante et plus precise mais c’est 22,90€/mois)
Face à
Eurêkoi une plateforme professionnelle ou la question est lue et traitée par des etres humains, des spécialistes de la documentation qui font de la recherche pour le quidam, qui valident les informations pour le quidam et qui la lui restituent en moins de 72h.
Dans ce cadre la (qu’il ne faudrait pas perdre de vue) c’est a dire du point de vue du quidam, il n’y a pas de match… Eurekoi gagne haut la main.
Bonjour à tous,
Merci pour ces commentaires nombreux, positifs comme négatifs, qui nous donnent l’opportunité d’approfondir le sens de cette comparaison.
Tout d’abord, il s’agissait d’un “match” réel et non artificiellement conçu par l’équipe Eurêkoi. La personne usagère du service s’est sentie libre de le faire tel qu’il est présenté : en posant volontairement la même question, en le faisant à partir de l’outil gratuit (celui qui est la plupart du temps utilisé par les publics du web), et en étant a priori confiante en ce type de réponse machine. Avec des informations complémentaires (il n’y en a pas eu avec Eurêkoi), un prompt réalisé dans les règles de l’art (et donc une question différente de celle faite à Eurêkoi), avec une version payante, les réponses machines auraient pu être beaucoup plus pertinentes que celle rapportée par l’IA dans cette expérience-là. En d’autres termes, toute expérience comporte des biais, ou plutôt, appelons-les un “cadre d’expérience” (ici chatgpt gratuit, question rigoureusement identique, absence de compléments ou de séquençage de la demande faite à GPT). Les résultats ne valent que dans ce cadre (mais ne semble-t-il pas assez commun si vous interrogez vos connaissances sur leur usage de cet outil ?), et resteront datés aussi.
Mais ces paramètres d’expérience, que vos commentaires mettent en évidence, sont ceux-là mêmes qui rendent une médiation numérique institutionnelle, gratuite et désintéressée encore nécessaire pour l’instant : tout le monde n’a pas la version payante, ni ne sait toujours prompter efficacement, dialoguer avec pertinence avec la machine ; tout le monde n’en prend pas nécessairement le temps, ni n’est informé des “biais” ou limites volontairement et/ou involontairement présents dans l’algorithme.
Enfin, concernant la qualité de la réponse d’Eurêkoi sur l’une des références, elle représente également une des limites de l’appréciation de la qualité de la documentation sélectionnée. Cette référence, présente dans de nombreux fonds de collections de bibliothèques en France (donc choisie par les chargés de collection experts de la production éditoriale de leur discipline), préfacée par un sociologue de référence, est une documentation existante à mettre en regard des autres références proposées.
Merci, enfin, de nous donner l’occasion de le redire et d’abonder dans le sens de cette remarque : “on peut faire confiance à la profession pour s’adapter”. Les bibliothèques s’adaptent continûment à l’évolution du contexte numérique, mais gardent leur cœur de métier en matière de documentation et d’information : prendre le temps de sélectionner les ressources (dont des ressources spécialisées onéreuses et sous droit, auxquels une IA n’a pas accès pour générer son texte de réponse), en vérifier la qualité, pour assurer une réponse à la fois pertinente et fiable, documenter la démarche de recherche toujours même si la réponse est non, de manière gratuite, désintéressée et neutre, mettant ainsi en évidence que la réponse est aussi humaine que la programmation de l’algorithme d’IA, et toujours perfectible.
Et plus largement, dans le contexte informationnel et documentaire actuel, où l’arrivée attendue de la Google Search Experience va peut-être inciter encore davantage les webinautes à s’en remettre à la réponse probabiliste de l’IA fondée sur divers sites web de qualité hétérogène et de niveau de fiabilité variable, il paraît opportun, sinon nécessaire, de donner à ces internautes la possibilité de faire appel aux bibliothécaires.
wpDiscuz
XÉtant un service public, nous ne faisons aucun usage commercial des données collectées lors de votre navigation. Nous utilisons les cookies ou technologies similaires pour accéder uniquement à des données personnelles non sensibles stockées sur votre terminal, que nous traitons afin de réaliser des statistiques, mesurer les performances du site, ou permettre des accès à des ressources externes.
Vous pouvez à tout moment revenir sur vos choix en utilisant le lien "Personnaliser". En savoir plusRefuserAccepterPersonnaliser
Politique de confidentialité & cookies
Gestion de vos préférences sur les cookies
Ce site utilise des cookies pour améliorer votre expérience de navigation. Ces cookies sont classés en trois catégories : fonctionnel, statistiques et marketing.
Veuillez retrouver notre politique de gestions de données personnelles et de cookies : page "Politique de confidentialité"
Ces cookies nous permettent de réaliser des statistiques de mesures d’audiences et de performances en analysant le volume et la source du trafic sur notre site. Ces cookies permettent également d’analyser de façon anonyme le comportement des visiteurs de notre site afin de mesurer et d'améliorer les performances de notre site et de nos campagnes en ligne.
Le recueil de votre consentement n’est pas requis, nous utilisons un logiciel d’analyse d’audience (Matomo) configuré selon les recommandations de la CNIL pour bénéficier de l’exemption de consentement.
https://www.cnil.fr/fr/cookies-et-autres-traceurs/regles/cookies-solutions-pour-les-outils-de-mesure-daudience
Cookie
Durée
Description
_pk_id.*
13 mois
Ce cookie est installé par l'outil d'analyse Web Matomo.
Le cookie _pk_id est utilisé pour stocker des détails sur l'utilisateur tels que l'identifiant unique (ID).
Les cookies créés par Matomo commencent par : _pk_ref, _pk_cvar, _pk_id, _pk_ses.
Pour plus d'informations sur les cookies de Matomo : https://fr.matomo.org/faq/general/faq_146/
_pk_ses.*
30 minutes
Ce cookie est installé par l'outil d'analyse Web Matomo.
Ce cookie _pk_ses de courte durée est utilisé pour stocker temporairement les données de la visite.
Les cookies créés par Matomo commencent par : _pk_ref, _pk_cvar, _pk_id, _pk_ses.
Pour plus d'informations sur les cookies de Matomo : https://fr.matomo.org/faq/general/faq_146/
Les cookies fonctionnels sont utiles au bon fonctionnement du site. Cette catégorie inclut uniquement les cookies qui garantissent les fonctionnalités de base et les éléments de sécurité du site Web. Ces cookies ne stockent aucune information personnelle.
Cookie
Durée
Description
AWSALBAPP-*
7 days
Série de cookies déposés par AWS. Cookies "Application Load Balancer" utilisés pour garantir de bonnes performances du site Web.
cookielawinfo-checkbox-analytics
1 year
Défini par le plugin GDPR Cookie Consent, ce cookie enregistre le consentement de l'utilisateur pour les cookies de la catégorie « Analytics ».
cookielawinfo-checkbox-fonctionnel
1 year
Défini par le plugin GDPR Cookie Consent, ce cookie est utilisé pour stocker le consentement de l'utilisateur pour les cookies de la catégorie « Fonctionnel ».
cookielawinfo-checkbox-marketing
1 year
Ce cookie est défini par le plugin GDPR Cookie Consent pour stocker le consentement de l'utilisateur pour les cookies de la catégorie « Marketing ».
cookielawinfo-checkbox-necessary
11 months
Ce cookie est défini par le plugin GDPR Cookie Consent. Les cookies sont utilisés pour stocker le consentement de l'utilisateur pour les cookies dans la catégorie «Nécessaire».
cookielawinfo-checkbox-non-necessary
11 months
Ce cookie est défini par le plugin GDPR Cookie Consent. Les cookies sont utilisés pour stocker le consentement de l'utilisateur pour les cookies dans la catégorie «Non nécessaire».
CookieLawInfoConsent
1 year
CookieYes définit ce cookie pour enregistrer l'état du bouton par défaut de la catégorie correspondante et le statut du CCPA. Cela fonctionne uniquement en coordination avec le cookie principal.
JSESSIONID
session
New Relic utilise ce cookie pour stocker un identifiant de session afin que New Relic puisse surveiller le nombre de sessions pour une application.
PHPSESSID
session
Ce cookie est natif des applications PHP. Le cookie stocke et identifie l'ID de session unique d'un utilisateur pour gérer les sessions utilisateur sur le site Web. Le cookie est un cookie de session et sera supprimé lorsque toutes les fenêtres du navigateur seront fermées.
ROUTEID
session
Ce cookie est utilisé pour diriger les utilisateurs vers le même serveur.
ts
1 year 1 month 1 day
PayPal définit ce cookie pour permettre des transactions sécurisées via PayPal.
usprivacy
1 year 1 month
Cookie défini par Dailymotion pour stocker la chaîne de consentement CCPA (informations obligatoires sur un utilisateur final étant ou non un consommateur californien et exerçant ou n'exerçant pas son droit statutaire).
viewed_cookie_policy
11 months
Le cookie est défini par le plugin GDPR Cookie Consent et est utilisé pour stocker si l'utilisateur a consenti ou non à l'utilisation de cookies. Il ne stocke aucune donnée personnelle.
__cf_bm
1 hour
Ce cookie, défini par Cloudflare, est utilisé pour prendre en charge Cloudflare Bot Management.
Les cookies analytiques sont utilisés pour comprendre comment les visiteurs interagissent avec le site. Ces cookies génèrent des informations mesurables sur le nombre de visiteurs, le taux de rebond, la source du traffic etc.
Cookie
Durée
Description
browser_id
5 years
Ce cookie est utilisé pour identifier le navigateur du visiteur lors de sa nouvelle visite sur le site Web.
CONSENT
2 years
YouTube installe ce cookie via des vidéos YouTube intégrées et enregistre des données statistiques anonymes.
vuid
1 year 1 month 4 days
Vimeo installe ce cookie pour collecter des informations de suivi en définissant un identifiant unique pour intégrer des vidéos sur le site Web.
_ga
1 year 1 month
Google Analytics définit ce cookie pour calculer les données des visiteurs, des sessions et des campagnes et suivre l'utilisation du site pour le rapport d'analyse du site. Le cookie stocke les informations de manière anonyme et attribue un numéro généré aléatoirement pour reconnaître les visiteurs uniques.
_ga_*
1 year 1 month
Google Analytics définit ce cookie pour stocker et compter les pages vues.
Les cookies publicitaires sont utilisés pour procurer une expérience optimale aux visiteurs du site avec des publicités et des campagnes marketing pertinentes. Ces cookies traquent les visiteurs à travers les sites et collectent leurs informations pour générer des publicités personnalisées.
Cookie
Durée
Description
NID
6 months
Google installe le cookie à des fins publicitaires ; limiter le nombre de fois où l'utilisateur voit une annonce, de manière indésirable
désactiver les publicités et mesurer l'efficacité des publicités.
S
1 hour
Cookie utilisé par Yahoo pour fournir des publicités, du contenu ou des analyses.
scribd_ubtc
10 years
Scribd définit ce cookie pour recueillir des données sur le comportement des utilisateurs sur plusieurs sites Web et maximiser la pertinence des publicités sur le site Web.
test_cookie
15 minutes
doubleclick.net définit ce cookie pour déterminer si l'utilisateur le navigateur prend en charge les cookies.
VISITOR_INFO1_LIVE
6 months
Ce cookie est défini par Youtube. Utilisé pour suivre les informations des vidéos YouTube intégrées sur un site Web.
YSC
session
Ces cookies sont définis par Youtube et sont utilisés pour suivre les vues des vidéos intégrées.
yt-remote-connected-devices
never
YouTube définit ce cookie pour stocker les préférences vidéo de l'utilisateur à l'aide de vidéos YouTube intégrées.
yt-remote-device-id
never
YouTube définit ce cookie pour stocker les préférences vidéo de l'utilisateur à l'aide de vidéos YouTube intégrées.
yt.innertube::nextId
never
YouTube définit ce cookie pour enregistrer un identifiant unique afin de stocker des données sur les vidéos de YouTube que l'utilisateur a vues.
yt.innertube::requests
never
YouTube définit ce cookie pour enregistrer un identifiant unique afin de stocker des données sur les vidéos de YouTube que l'utilisateur a vues.
Les autres cookies correspondent à des fonctionnalités non-obligatoires et à des cookies qui sont en cours d'analyse et qui n'ont pas encore été classés dans une catégorie.
Cookie
Durée
Description
COMPASS
1 hour
La description de ce cookie n'est pas disponible actuellement.
cook_lang
1 year 1 month 4 days
Le cookie Cook_lang stocke la langue dans laquelle le site Web est affiché.
dmvk
session
Le cookie dmvk est défini par Dailymotion pour enregistrer des données sur le comportement des visiteurs sur le site Web.
fonts-loaded
session
La description de ce cookie n'est pas disponible actuellement.
GFE_RTT
5 minutes
Cookie tiers, déposé par Google. Utilisé pour mettre en œuvre le contenu via Google Docs : docs.google.com.
l
1 month
La description de ce cookie n'est pas disponible actuellement.
lang
session
Le cookie v1st est défini par TripAdvisor pour collecter des détails sur la manière dont les visiteurs utilisent le site Web, en affichant les avis des utilisateurs, les récompenses et les informations reçues sur la communauté TripAdvisor.
pll_language
1 year
Polylang définit ce cookie pour mémoriser la langue dans laquelle l'utilisateur sélectionne lorsqu'il revient sur le site Web et obtient le
informations linguistiques lorsqu’elles ne sont pas disponibles d’une autre manière.
v1st
1 year 1 month 1 day
Le cookie v1st est défini par TripAdvisor pour collecter des détails sur la manière dont les visiteurs utilisent le site Web, en affichant les avis des utilisateurs, les récompenses et les informations reçues sur la communauté TripAdvisor.
VISITOR_PRIVACY_METADATA
6 months
Ce cookie est défini par Youtube. Stocke l'état de consentement des cookies de l'utilisateur pour le domaine actuel.
Bonjour, merci pour cet article. J’ai refait le test sur chat gpt4… Malheureusement le résultat est bien plus étoffé que l’article ne le décrit et si on prend la peine de demander des informations complémentaires alors là le résultat devient sourcé et assez complet…
A voir, en tous les cas l’IA risque fort de venir bouleverser pas mal de choses, on peut faire confiance à la profession pour s’adapter.
L’IA est une invention de l’homme. Elle aura toujours ses limites. Néanmoins elle peut être un outil formidable quand elle est bien utilisée. Je pense aux scientifiques qui dernièrement ont mis au point une IA capable de suivre le trajet de frelons asiatiques en France afin de mieux localiser leurs nids et les éradiquer dans un but écologique de préservation des abeilles.
Quant à chat GPT, il me semble que c’est l’invention du milliardaire Elton Musk qui rêve de construire un hôtel sur la lune pour touristes grand luxe. Affaire à suivre
Bonjour,
Merci pour l’article. L’expérience est intéressante pour initier les échanges et réflexions sur les relations intelligence artificielle / humaine, mais le match est quand même bien biaisé 🙂
On ne peut pas utiliser la même méthode de questionnement avec une IA et Eurêkoi. Même si je suis d’accord sur les limites actuelles des IA, il n’empêche qu’une IA ça s’apprivoise, il faut entretenir l’échange, poser les questions différemment, répéter. La réponse dépend entièrement de la capacité de l’humain à poser les bonnes questions.
Faux match… ChatGPT en gratuit ne cite pas ses sources par défaut, ne donne pas une définition si on ne lui demande pas, et n’a pas accès au web donc pas la même base de connaissances.
Hum, pas un fan de ChatGPT mais là le combat est quelque peu biaisé.
Si le prompt se réduit effectivement à « Existe-t-il des fondements scientifiques à la télépathie (transmission de pensée) ? Si oui, quelles sont les références s’il vous plaît ? », alors en toute justice il n’est pas demandé de référence si la réponse est non. Ce qu’elle est. D’où l’on peut dire que ChatGPT répond plus précisément à la demande que la BPI. ^^
Par ailleurs on peut rendre ChatGPT particulièrement disert pour peu qu’on le lui demande explicitement.
Un « match » selon la BPI : à ma gauche une équipe de N personnes qui savent probablement que leur réponse va être confrontée à une IA dans un cadre public. A ma droite chatGPT avec un prompt inconnu et très probablement minimaliste. Que le meilleur gagne !
Et ben même là je préfère sa réponse ! Franchement, citer des auteurs bullshit type Miriam Gablier (qui a écrit un livre sur les mystères de la réincarnation et un autre sur la « psychologie biodynamique ») ou citer dans la catégorie « pour approfondir » : « Bientôt, nous n’aurons plus besoin de clavier pour taper un texte, ni de volant pour conduire une voiture, ni de cordes vocales pour communiquer : tout se fera par la pensée. […] Cela ressemble à de la science-fiction. Ça n’en est déjà plus. La technologie des implants cérébraux est en marche! » (c’est écrit en 2013, c’est du Elon Musk en français quoi). Franchement, je me permets de trouver assez mauvaise la réponse d’Eurekoi, dusse ma confraternité en souffrir. ^^’
Cela étant dit, ChatGPT c’est mal.
Merci de l’article, fort interessant.
Bien lu les commentaires précédents pas inintéressants non plus.
Cependant, il me semble utile de changer d’angle et de comparer les réponses mais du point de vue du quidam qui pose la question (qui n’est pas un spécialiste de la recherche documentaire, qui n’est pas pressé, mais qui ne souhaite pas payer cette recherche):
Outil gratuit d’une IA generative grand public Chat Gpt 3,5 (la v4 est probablement plus puissante et plus precise mais c’est 22,90€/mois)
Face à
Eurêkoi une plateforme professionnelle ou la question est lue et traitée par des etres humains, des spécialistes de la documentation qui font de la recherche pour le quidam, qui valident les informations pour le quidam et qui la lui restituent en moins de 72h.
Dans ce cadre la (qu’il ne faudrait pas perdre de vue) c’est a dire du point de vue du quidam, il n’y a pas de match… Eurekoi gagne haut la main.
Bonjour à tous,
Merci pour ces commentaires nombreux, positifs comme négatifs, qui nous donnent l’opportunité d’approfondir le sens de cette comparaison.
Tout d’abord, il s’agissait d’un “match” réel et non artificiellement conçu par l’équipe Eurêkoi. La personne usagère du service s’est sentie libre de le faire tel qu’il est présenté : en posant volontairement la même question, en le faisant à partir de l’outil gratuit (celui qui est la plupart du temps utilisé par les publics du web), et en étant a priori confiante en ce type de réponse machine. Avec des informations complémentaires (il n’y en a pas eu avec Eurêkoi), un prompt réalisé dans les règles de l’art (et donc une question différente de celle faite à Eurêkoi), avec une version payante, les réponses machines auraient pu être beaucoup plus pertinentes que celle rapportée par l’IA dans cette expérience-là. En d’autres termes, toute expérience comporte des biais, ou plutôt, appelons-les un “cadre d’expérience” (ici chatgpt gratuit, question rigoureusement identique, absence de compléments ou de séquençage de la demande faite à GPT). Les résultats ne valent que dans ce cadre (mais ne semble-t-il pas assez commun si vous interrogez vos connaissances sur leur usage de cet outil ?), et resteront datés aussi.
Mais ces paramètres d’expérience, que vos commentaires mettent en évidence, sont ceux-là mêmes qui rendent une médiation numérique institutionnelle, gratuite et désintéressée encore nécessaire pour l’instant : tout le monde n’a pas la version payante, ni ne sait toujours prompter efficacement, dialoguer avec pertinence avec la machine ; tout le monde n’en prend pas nécessairement le temps, ni n’est informé des “biais” ou limites volontairement et/ou involontairement présents dans l’algorithme.
Enfin, concernant la qualité de la réponse d’Eurêkoi sur l’une des références, elle représente également une des limites de l’appréciation de la qualité de la documentation sélectionnée. Cette référence, présente dans de nombreux fonds de collections de bibliothèques en France (donc choisie par les chargés de collection experts de la production éditoriale de leur discipline), préfacée par un sociologue de référence, est une documentation existante à mettre en regard des autres références proposées.
Merci, enfin, de nous donner l’occasion de le redire et d’abonder dans le sens de cette remarque : “on peut faire confiance à la profession pour s’adapter”. Les bibliothèques s’adaptent continûment à l’évolution du contexte numérique, mais gardent leur cœur de métier en matière de documentation et d’information : prendre le temps de sélectionner les ressources (dont des ressources spécialisées onéreuses et sous droit, auxquels une IA n’a pas accès pour générer son texte de réponse), en vérifier la qualité, pour assurer une réponse à la fois pertinente et fiable, documenter la démarche de recherche toujours même si la réponse est non, de manière gratuite, désintéressée et neutre, mettant ainsi en évidence que la réponse est aussi humaine que la programmation de l’algorithme d’IA, et toujours perfectible.
Et plus largement, dans le contexte informationnel et documentaire actuel, où l’arrivée attendue de la Google Search Experience va peut-être inciter encore davantage les webinautes à s’en remettre à la réponse probabiliste de l’IA fondée sur divers sites web de qualité hétérogène et de niveau de fiabilité variable, il paraît opportun, sinon nécessaire, de donner à ces internautes la possibilité de faire appel aux bibliothécaires.