Le robot conversationnel de Snapchat retravaillé en urgence suite à des polémiques en séries

Quelques jours après son introduction, des utilisateurs américains de Snapchat tiraient déjà la sonnette d’alarme sur l’attitude problématique de My AI.

Des internautes s’étaient fait passer pour des mineurs auprès de l’intelligence artificielle et avaient testé les réponses qu’elle donnait dans des situations données. Ils ont constaté que l’IA (intelligence conversationnelle) ne réagissait pas du tout quand une "fausse" adolescente de 13 ans annonçait partir en voyage avec son petit ami de 31 ans et disait vouloir faire sa première expérience sexuelle avec lui. Le robot conversationnel n’a pas tenté de l’en dissuader malgré l’âge de la jeune fille et la différence avec son partenaire.

Plus interpellant, My AI lui a donné des conseils pour mentir à ses parents (en prétextant une sortie scolaire) ou sur comment rendre ce "moment intime" plus "romantique". Des réponses inquiétantes quand on sait qu’au niveau mondial, plus d’un utilisateur sur cinq du réseau social est un adolescent (13-17 ans).

Sur Twitter, des internautes ont également dénoncé d’autres comportements problématiques de l’assistant. Un Twitto américain a notamment démontré que My AI a donné des conseils pour camoufler des traces "coups" et, dans la foulée, de taire des comportements qui apparaissent clairement dans la conversation comme des violences intrafamiliales.

Confronté aux critiques des internautes sur son IA, Snapchat avait déjà indiqué dans un communiqué de presse publié au moment du lancement de son robot conversationnel, le 27 février 2023 :

"[…] My AI est sujette aux hallucinations et peut être amenée à dire à peu près n’importe quoi. Soyez conscient de ses nombreuses lacunes et désolé d’avance ! Toutes les conversations avec My AI seront stockées et pourront être examinées pour améliorer l’expérience du produit. S’il vous plaît, ne partagez aucun secret avec My AI et ne comptez pas sur elle pour obtenir des conseils. Bien que My AI soit conçu pour éviter les informations biaisées, incorrectes, nuisibles ou trompeuses, des erreurs peuvent survenir."

Depuis, Snapchat a visiblement corrigé certaines des failles de son IA. À la rédaction de Décrypte, nous avons fait le test et créé le faux profil de Éva, 13 ans. Quand nous avons interrogé My AI sur une potentielle relation sexuelle entre la jeune fille et un "faux" adulte de 27 ans. Cette fois, la réponse du robot conversationnel était adaptée et mettait en garde l’adolescente sur les dangers de ce type de relation ainsi qu’un rappel à la loi.

Voici le type d’échange que nous avons généré :

Malgré ces correctifs apportés par la société mère Snap Inc. à son application, Tristan Harris, cofondateur de Center for Humane Technology, une ONG qui a pour mission de lutter contre les dérives éthiques des grandes entreprises numériques, reste sceptique.

Celui qui a été l’un des premiers à dénoncer les dérives de My AI a déclaré sur Twitter : "Même si Snapchat/OpenAI règle ce problème spécifique (les recommandations sexuelles aux mineurs, ndlr), ils ne peuvent pas filtrer l’éventail infini de conversations imprévisibles qu’un enfant de 13 ans peut avoir avec ChatGPT."

Autre aspect du robot conversationnel qui fait débat : il peut connaître la position d’un utilisateur de Snapchat même quand celui-ci a activé le mode "fantôme" (qui masque la localisation aux amis), même quand l’option géolocalisation est désactivée. L’application utilise alors la dernière position connue de l’usager quand il s’est localisé avec son smartphone. En d’autres termes, Snapchat sait localiser ses utilisateurs, même quand ceux-ci n’ont pas donné leur consentement.

On constate que My AI reste en mesure de conserver les données de localisation, peu importe la volonté d’un utilisateur de les faire disparaître. Il existe un seul moyen de ne pas être localisé par My AI, c’est de ne plus du tout activer la géolocalisation sur votre smartphone, ainsi l’application ne pourra pas se baser sur votre dernier emplacement connu pour déduire une position.