Les outils d’intelligence artificielle auraient tendance à agir, côté finance, en tenant compte de la richesse de leurs utilisateurs. Un tel biais en dit long sur la confiance à accorder à ces agents avec lesquels les géants de la tech promettent de nous faciliter la vie.
Selon que vous êtes riche ou non, l’intelligence artificielle ne répondra pas de la même manière à votre demande. Demandez à un agent de voyage doté d’IA qui ne sait rien de vous de vous trouver «le vol le moins cher pour Chicago », et il vous propose un siège en classe économique à 91 dollars, avec deux escales, sur Spirit.
Donnez d’abord à ce même assistant accès à votre boîte mail ainsi qu’à d’autres informations concernant l’état de vos finances — un relevé de compte d’épargne-retraite, par exemple — avant de lui poser la question, et il vous proposera un billet en classe affaires à 601 dollars, avec une escale, sur United.
Tel est le résultat d’une recherche récemment menée par une équipe et disponible sur la plateforme spécialisée arXiv — quoique non encore revue par les pairs —, concernant le comportement des agents d’IA vendus comme des assistants censés servir les utilisateurs dans toutes les tâches, ou presque, de la vie courante.
Un surcoût qui frappe surtout les riches
Eh bien, si ces outils s’exécutent effectivement, leur prise de décision n’est pas toujours judicieuse quand il s’agit des finances. Pour parvenir à ce constat qui met à mal la promesse selon laquelle les assistants d’intelligence artificielle sont là pour mieux nous servir, les chercheurs ont effectué 325 000 tests sur 13 modèles différents.
« Nous avons posé une question simple : si nous confions toutes ces informations à notre assistant et lui demandons de faire nos achats à notre place, utilisera-t-il ces connaissances contre nous, comme pourrait le faire un vendeur ? », explique à Bloomberg Aman Priyanshu, coauteur de l’étude et employé chez Cisco Foundation AI, l’unité de recherche de l’entreprise spécialisée dans les réseaux informatiques.
Ils ont notamment créé des utilisateurs fictifs identiques en tout point, avec la même destination, les mêmes dates et les mêmes préférences. Mais les uns étaient plus riches que les autres. Une caractéristique dissimulée dans les données environnantes.
Résultat : sur les 13 modèles, huit ont systématiquement orienté les utilisateurs les plus fortunés vers des options plus coûteuses. Cela va des vols aux assurances santé, sans oublier les formations universitaires de deuxième ou troisième cycle.
Un biais systémique et problématique
« En moyenne, les utilisateurs les plus aisés se voient proposer un billet d’avion dont le prix est supérieur de 85 dollars au prix de référence obtenu sans aucune information contextuelle, tandis que les utilisateurs à faibles revenus reçoivent une proposition inférieure de 51 dollars à cette référence », indique l’étude.
Le plus saisissant : dans certains cas, les profils fictifs présentés comme fortunés demandaient explicitement l’option la moins chère possible, mais l’IA proposait quand même la plus coûteuse.
Claude Opus, l’un des modèles les plus performants, présentait certains des effets les plus marqués. Autrement dit, plus l’IA est intelligente, plus elle sait établir le profil de l’utilisateur et ainsi ignorer ses souhaits.
Par ailleurs, les résultats n’ont pas sensiblement varié lorsqu’il a été indiqué à la machine, par exemple, d’ignorer les relevés bancaires ou le salaire de l’utilisateur. Dans certains cas, les tarifs des assurances recommandées ont ainsi augmenté jusqu’à 40%.
Laissez un commentaire