Le bien-être des enfants est notre priorité, c'est pourquoi nous avons accordé une attention systématique à la manière dont nos systèmes interagissent avec eux. Aujourd'hui, la sécurité des systèmes Mallow est au meilleur niveau de ce qui se fait dans le monde dans la catégorie « IA et enfants ».
La base de tout : la sécurité
Un enfant peut combattre un dragon, inventer une histoire complètement absurde ou faire dire des bêtises à un personnage. C'est justement tout l'intérêt du jeu.
En revanche, dès qu'on quitte l'imaginaire, les règles changent. La Mallow ne donne pas de consignes qui pourraient mettre un enfant en danger. L'idée est simple : beaucoup de liberté pour l'imagination, aucune concession sur la sécurité.
Et si un enfant dit quelque chose d'inquiétant ?
Le jeu passe alors au second plan. La Mallow sort de l'histoire et encourage l'enfant à aller parler à un adulte de confiance.
Mallow n'est pas un ami imaginaire
C'est un choix fort de Mallow : nous ne sommes ni un compagnon, ni un ami imaginaire.
Nous faisons des jeux audio : il y a un début, une fin, des objectifs, et nos personnages ne sont pas là pour discuter du sens de la vie ni servir de confidents. Ce cadre d'interactions renforce beaucoup la sécurité, parce qu'il ne place pas naturellement l'enfant en position d'aborder des sujets sensibles.
Nos personnages ne cherchent pas à devenir les amis de votre enfant. S'il leur déclare sa flamme, ils lui rappelleront gentiment qu'ils sont des personnages imaginaires.
Ces choix, nous les avons faits en tant que parents nous-mêmes, mais aussi parce que la recherche appelle à la prudence : les jeunes enfants ont du mal à saisir ce qu'est vraiment un agent conversationnel, et les effets d'un lien émotionnel avec une machine sont encore mal connus.
La Mallow ne cherche pas à connaître votre enfant
Elle est conçue pour ne pas demander son adresse, le nom de son école, ses coordonnées ou d'autres informations permettant de l'identifier.
Toujours s'améliorer
La sécurité n'est jamais acquise, et les enfants ont beaucoup d'imagination ! Nous améliorons donc nos systèmes en continu.
- Nos équipes cherchent régulièrement à mettre nos systèmes en difficulté : détourner une consigne, provoquer une réponse inadaptée, tester ses limites. Ces situations sont reproduites par simulation, jamais avec de vrais enfants, puis rejouées à grande échelle par des adultes pour vérifier que les protections tiennent.
- Nous travaillons avec les meilleurs organismes spécialistes de la sécurité des systèmes d'IA destinés aux enfants afin de tester nos systèmes et d'échanger sur les meilleures pratiques dans le monde.
- Nous ne sommes pas parfaits. Si vous constatez un comportement inapproprié, écrivez-nous à safety@mallow.fr en nous donnant le maximum de contexte : quelle figurine, à quel moment, ce qu'a dit le personnage.
Pour en savoir plus, rendez-vous sur : L'IA et nous