L’utilisation de l’intelligence artificielle par les témoins experts soulève de plus en plus de questions dans le contexte judiciaire. Dans une affaire récente, le témoin expert de la partie défenderesse aurait notamment été questionné sur son utilisation de l’IA dans le cadre de ses travaux et de la rédaction de son rapport. Ce dernier aurait initialement indiqué avoir utilisé l’IA principalement pour structurer et formater son rapport. On lui a demandé de produire les requêtes (prompts) qu’il avait soumises à l’IA, et les plus de 300 pages de requêtes déposées auraient semblé présenter une toute autre histoire… Et cette apparence peut devenir problématique lorsqu’elle touche directement à l’objectivité et à l’impartialité attendues d’un expert.
L’IA n’est pas parfaite : erreurs, biais et hallucinations
C’est connu et très bien documenté : l’IA n’est pas parfaite. Les large language models (LLM) peuvent faire des erreurs, présenter des biais et surtout, halluciner. Le taux d’erreur varie notamment selon le modèle utilisé, la tâche demandée et la façon dont nous interagissons avec un LLM. Dans un contexte long (échange continu plutôt qu’une question spécifique), le risque d’hallucination est rarement faible, encore aujourd’hui. C’est pour ces raisons qu’il est important, entre autres, de valider les sources et les informations obtenues, et de toujours garder à l’esprit que, de façon générale, les LLM ont tendance à vouloir nous satisfaire plutôt qu’à nous contredire.
Pour revenir aux témoins experts qui ont dû ou devront communiquer leurs requêtes à la cour, l’enjeu n’est pas seulement lié aux résultats obtenus par les LLM, mais également aux questions qui leur sont posées.
Le rôle du témoin expert : objectivité et impartialité (art. 22 C.p.c.)
Le rôle de l’expert est d’éclairer le tribunal dans sa prise de décision. Cette mission doit être accomplie avec objectivité, impartialité et rigueur (art. 22 C.p.c.). Alors, demander par exemple à l’IA de suggérer une approche permettant de minimiser l’impact financier d’une analyse sur laquelle nous travaillons, ou de nous indiquer comment nous pourrions justifier X en évitant de mentionner Y, peut soulever des questions importantes et potentiellement embarrassantes pour l’expert. Même si ces requêtes ont été soumises par simple curiosité, l’apparence d’objectivité, d’indépendance et d’impartialité de l’expert peut néanmoins s’en trouver ébranlée.
L’IA comme outil de soutien : à quelles conditions?
Ceci dit, les LLM peuvent tout de même rester une source d’information ou un outil de soutien au travail des experts. Je ne cherche pas à discréditer complètement leur utilité. Cependant, il faut être prudent quant aux raisons sous-jacentes à leur utilisation (formater un rapport vs rédiger le rapport complètement) et à l’interprétation ainsi qu’à l’utilisation des résultats obtenus.
C’est pourquoi je crois que la documentation de l’utilisation de l’IA devrait faire partie intégrante du processus. Conserver de façon structurée les requêtes, les réponses obtenues et les documents utilisés permet notamment de démontrer :
• quel était l’objectif recherché;
• quelles réponses ou pistes ont été obtenues;
• quels éléments ont été retenus;
• comment les résultats et les sources ont été validés; et
• pourquoi certains éléments ont été écartés.
Cette documentation demande évidemment un effort supplémentaire qui, bien qu’il puisse paraître superflu initialement, peut s’avérer d’une grande importance dans une situation où, par exemple, on vous demande de produire à la cour l’ensemble des requêtes soumises à l’IA dans le cadre de la préparation de votre expertise.
Le test de la transparence : seriez-vous à l’aise?
Si cela s’applique à vous, posez-vous la question suivante avant de soumettre une requête à un LLM:
Seriez-vous à l’aise de présenter cette requête, la réponse obtenue et la façon dont vous l’avez utilisée de façon complètement transparente devant un juge, l’autre partie ou même devant les médias?
Si la réponse est non, il vaut peut-être la peine de se demander pourquoi.
Ce raisonnement ne s’applique pas uniquement aux témoins experts. Il s’applique à tous les professionnels qui utilisent l’IA dans le cadre de leur travail.
Est-ce que vous seriez à l’aise d’expliquer publiquement, de façon complètement transparente et détaillée, comment vous avez utilisé l’IA dans votre travail?