Le service de questions/réponses Eurêkoi gagne le match face à ChatGPT

Le service de questions/réponses Eurêkoi a été mis au défi, face à ChatGPT, de répondre sur les fondements scientifiques de la télépathie. La réponse apportée démontre que sa qualité est une conséquence directe de la supervision humaine. Cette mini-compétition met en évidence les limites de l’IA générative ChatGPT et la pertinence du savoir-faire des professionnel·les des bibliothèques.

Eurêkoi face à l'IA
Empty dark room, Modern Futuristic Sci Fi Background. 3D illustration

Un internaute intéressé par les apports comparés des modalités de réponse aux questions documentaires a décidé de lancer le « match » ChatGPT vs Eurêkoi, intelligence artificielle contre intelligence humaine, en posant à chacun la question suivante : « Existe-t-il des fondements scientifiques à la télépathie (transmission de pensée) ? Si oui, quelles sont les références s’il vous plaît ? ». Le sondage de satisfaction qu’il a ensuite rempli a permis à Eurêkoi d’avoir un retour sur ce « match ». Voici ce qu’il en ressort.

La réponse de ChatGPT : immédiate mais qu’en faire ?

Immédiate. Synthétique, en quatre phrases. Exempte d’erreurs orthographiques ou grammaticales. La voici in extenso car elle tient facilement dans cet article : 

« La télépathie, ou transmission de pensée directe, n’a pas de fondements scientifiques établis. Les études jusqu’à ma dernière mise à jour en janvier 2022 n’ont pas fourni de preuves convaincantes de son existence. La majorité des chercheurs considèrent la télépathie comme relevant davantage du domaine de la croyance que de la science établie. Si de nouvelles recherches ont été publiées depuis, je ne dispose pas de ces informations. »

À la première lecture, on voit tout de suite que ces quelques lignes sont très redondantes pour compenser la faiblesse de la réponse. Ces termes sont vagues, dépourvus de définition de référence, et ne renvoient vers aucune source permettant de les établir justement. Au mieux, cela pourrait être une introduction au sujet. Si on n’y réfléchit pas, on pourrait se satisfaire de cette réponse.  À la question de fondements scientifiques de la télépathie, la réponse est non. Mais sans aucune référence, ni définition… en fait, sans fondement scientifique non plus.

Le seul point pertinent de cette réponse, mais qui n’apporte alors plus de réponse du tout, c’est la dernière phrase. Elle en fixe les limites et neutralise in extremis l’affirmation de la réponse des trois phrases qui précèdent. Elle dit finalement ceci : ma réponse est fiable, mais vous ne pouvez pas vous en servir, puisque je ne vous dis rien de sa fiabilité aujourd’hui.

Enfin, à la question qu’on avait presque oubliée, « si oui, quelles sont les références s’il vous plaît ? », aucune réponse.

Que faire d’une telle réponse alors ? Aucune preuve de fiabilité, et pas de réponse actuelle.

La réponse d’Eurêkoi vaut bien 72h d’attente

Moins de 72h après tombe dans la boîte aux lettres numérique de notre usager le courriel de réponse d’Eurêkoi. Vous pourrez lire la réponse dans son intégralité sur eurekoi.org. Pourquoi ? Parce que, premier point, elle est trop longue pour cet article. Pourquoi si longue ? Parce que, second point, on ne règle pas son compte à la télépathie avec une simple négation non référencée.

Tout d’abord, la télépathie a fait l’objet d’une longue histoire en science, vieille de 150 ans.

La question que se pose notre usager se révèle donc bien légitime.

Ensuite, elle a ouvert la voie à des résultats scientifiques aujourd’hui prouvés et utiles, tels que l’électroencéphalographie. Ce sont bien là les méandres de la science, qui peuvent faire un détour par une impasse scientifique pour inventer des solutions probantes ! Notre usager a décidément bien fait de se poser cette question.

Enfin, la réponse d’Eurêkoi apporte une réponse actuelle et utilisable : hormis par des mécaniques artificielles, la télépathie n’existe pas. La réponse faite à l’usager est à la fois fiable, actuelle et plus approfondie.

À l’appui de cette réponse tellement plus nuancée et respectueuse de l’épistémologie  scientifique, chaque assertion est sourcée et le lien vers la ressource cliquable.

Voici la conclusion littérale : « Les avis semblent donc partagés mais il semblerait que, si certains phénomènes mécaniquement assistés liés à la transmission de pensée soient possibles, la télépathie comme on l’entend par exemple en science-fiction n’ait pas de fondement scientifique réel. »

Épilogue, la réponse d’Eurêkoi poursuit ainsi : « Voici différentes références pour vous permettre de vous forger votre propre opinion », suivi par une série de ressources supplémentaires.

Des algorithmes et des humains

Ex aequo ? À la question initiale fermée et binaire, les deux réponses indiquent donc que non, la télépathie n’a pas de fondement scientifique.

Dans le contenu, la différence est flagrante du côté d’Eurêkoi. Définition préalable, références, ressources cliquables et fiables, nuance de la réponse, exploration plus lointaine… et utilité de la réponse finalement.

Derrière la réponse d’Eurêkoi, on trouve une intelligence humaine, celle du réseau des bibliothèques de lecture publique dont la mission est d’apporter des réponses fiables, sourcées et nuancées grâce au professionnalisme des bibliothécaires, spécialisés dans la recherche documentaire, assistée ou non, qui se font alors l’intermédiaire humain entre une question et un état des savoirs. Les outils de recherche, quels qu’ils soient, sont à l’évidence mobilisés, mais la réponse rédigée est le fruit d’une vérification et d’une hiérarchisation humaines.

Donner un autre sens à ce match ?

Eurêkoi gagne le match, certes, mais de quoi s’agit-il ? La situation de concurrence frontale entre les deux modèles de questions/réponses que décrit notre article est réelle mais rarissime ou provoquée pour analyser leur performance comparée et leur place respective. Eurêkoi rejoint de nombreux autres services numériques attentifs aux évolutions qui pourront les rendre plus performants : identifier, connaître et utiliser toute IA qui permet non de remplacer l’action humaine, mais d’augmenter le service rendu. Tant que les IA ne pourront prendre en compte le lien à la réalité complexe et non écrite (utilisation des sens, déduction logique, prise en compte du contexte culturel et des non-dits), sans parler des hallucinations produites, elles assisteront les services numériques supervisés par l’activité humaine. La thématique de la télépathie, qui convoque l’imaginaire des sciences-fictions, des para-sciences et des sciences, révèle avec acuité la place aujourd’hui des intelligences artificielles, alliées de l’intelligence humaine.

Publié le 21/03/2024 - CC BY-SA 4.0

5 2 votes
Article Rating
S’abonner
Notifier de
guest
7 Commentaires
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
Yomama
Yomama
8 mois il y a

Bonjour, merci pour cet article. J’ai refait le test sur chat gpt4… Malheureusement le résultat est bien plus étoffé que l’article ne le décrit et si on prend la peine de demander des informations complémentaires alors là le résultat devient sourcé et assez complet…

A voir, en tous les cas l’IA risque fort de venir bouleverser pas mal de choses, on peut faire confiance à la profession pour s’adapter.

LEVOISIN
LEVOISIN
7 mois il y a

L’IA est une invention de l’homme. Elle aura toujours ses limites. Néanmoins elle peut être un outil formidable quand elle est bien utilisée. Je pense aux scientifiques qui dernièrement ont mis au point une IA capable de suivre le trajet de frelons asiatiques en France afin de mieux localiser leurs nids et les éradiquer dans un but écologique de préservation des abeilles.

Quant à chat GPT, il me semble que c’est l’invention du milliardaire Elton Musk qui rêve de construire un hôtel sur la lune pour touristes grand luxe. Affaire à suivre

Socoupe
Socoupe
7 mois il y a

Bonjour,
Merci pour l’article. L’expérience est intéressante pour initier les échanges et réflexions sur les relations intelligence artificielle / humaine, mais le match est quand même bien biaisé 🙂

On ne peut pas utiliser la même méthode de questionnement avec une IA et Eurêkoi. Même si je suis d’accord sur les limites actuelles des IA, il n’empêche qu’une IA ça s’apprivoise, il faut entretenir l’échange, poser les questions différemment, répéter. La réponse dépend entièrement de la capacité de l’humain à poser les bonnes questions.

Alice
7 mois il y a

Faux match… ChatGPT en gratuit ne cite pas ses sources par défaut, ne donne pas une définition si on ne lui demande pas, et n’a pas accès au web donc pas la même base de connaissances. 

Mathieu
Mathieu
7 mois il y a

Hum, pas un fan de ChatGPT mais là le combat est quelque peu biaisé.
Si le prompt se réduit effectivement à « Existe-t-il des fondements scientifiques à la télépathie (transmission de pensée) ? Si oui, quelles sont les références s’il vous plaît ? », alors en toute justice il n’est pas demandé de référence si la réponse est non. Ce qu’elle est. D’où l’on peut dire que ChatGPT répond plus précisément à la demande que la BPI. ^^
Par ailleurs on peut rendre ChatGPT particulièrement disert pour peu qu’on le lui demande explicitement.

Un « match » selon la BPI : à ma gauche une équipe de N personnes qui savent probablement que leur réponse va être confrontée à une IA dans un cadre public. A ma droite chatGPT avec un prompt inconnu et très probablement minimaliste. Que le meilleur gagne !

Et ben même là je préfère sa réponse ! Franchement, citer des auteurs bullshit type Miriam Gablier (qui a écrit un livre sur les mystères de la réincarnation et un autre sur la « psychologie biodynamique ») ou citer dans la catégorie « pour approfondir » : « Bientôt, nous n’aurons plus besoin de clavier pour taper un texte, ni de volant pour conduire une voiture, ni de cordes vocales pour communiquer : tout se fera par la pensée. […] Cela ressemble à de la science-fiction. Ça n’en est déjà plus. La technologie des implants cérébraux est en marche! » (c’est écrit en 2013, c’est du Elon Musk en français quoi). Franchement, je me permets de trouver assez mauvaise la réponse d’Eurekoi, dusse ma confraternité en souffrir. ^^’

Cela étant dit, ChatGPT c’est mal.

Alf40000
Alf40000
6 mois il y a

Merci de l’article, fort interessant.
Bien lu les commentaires précédents pas inintéressants non plus.
Cependant, il me semble utile de changer d’angle et de comparer les réponses mais du point de vue du quidam qui pose la question (qui n’est pas un spécialiste de la recherche documentaire, qui n’est pas pressé, mais qui ne souhaite pas payer cette recherche):
Outil gratuit d’une IA generative grand public Chat Gpt 3,5 (la v4 est probablement plus puissante et plus precise mais c’est 22,90€/mois)
Face à
Eurêkoi une plateforme professionnelle ou la question est lue et traitée par des etres humains, des spécialistes de la documentation qui font de la recherche pour le quidam, qui valident les informations pour le quidam et qui la lui restituent en moins de 72h.

Dans ce cadre la (qu’il ne faudrait pas perdre de vue) c’est a dire du point de vue du quidam, il n’y a pas de match… Eurekoi gagne haut la main.