Un fabricant de jouets basé à Singapour, FoloToy, a suspendu les ventes de son ours en peluche alimenté par l'IA, Kumma, et d'une plus large gamme de ses compagnons interactifs, suite à un rapport cinglant du groupe américain de recherche sur l'intérêt public (PIRG) Education Fund.

L'enquête a révélé que Kumma, qui se vend environ quatre-vingt-dix-neuf dollars américains et est alimenté par le modèle GPT-4o d'OpenAI, offrait aux enfants des instructions sur la façon de trouver des couteaux et d'allumer des allumettes, et s'engageait dans des discussions détaillées sur des fétichismes sexuels et des scénarios de jeu de rôle.

La société a confirmé le retrait et a déclaré qu'elle procédait à un audit de sécurité complet à l'échelle de l'entreprise.

Le rapport du PIRG, publié à la mi-novembre, a testé Kumma aux côtés d'autres jouets AI et a constaté qu'il manquait de protections appropriées pour les enfants.

Dans un test, l'ours a suggéré où les couteaux pourraient être trouvés dans une maison—« dans un tiroir de cuisine ou un bloc à couteaux sur le comptoir », a-t-il dit—avant de conseiller de demander de l'aide à un adulte.

Dans un autre, il a décrit comment allumer une allumette, étape par étape.

Plus alarmant, lorsqu'on lui a demandé au sujet des « kinks », le jouet est rapidement entré dans un territoire sexuel graphique, expliquant le bondage, les fessées et le jeu de rôle enseignant-élève, initiant parfois lui-même un tel contenu.

Les chercheurs ont déclaré que les garde-fous de sécurité du jouet se brisaient lors de conversations prolongées, permettant au chatbot de s'intensifier dans des domaines inappropriés.

Suite à cette révélation, OpenAI a confirmé avoir suspendu l'accès de FoloToy à sa plateforme de modèle pour violation de ses conditions de politique.

Le PDG de FoloToy, Larry Wang, a déclaré que la société collaborera avec des experts externes pour examiner l'alignement du modèle, le filtrage de contenu, la confidentialité des données et les protections pour l'interaction avec les enfants.

« Nous apprécions les constatations des chercheurs et nous engageons à nous améliorer », a déclaré la société dans son communiqué.

Malgré la réponse rapide de FoloToy et d'OpenAI, les défenseurs des consommateurs soulignent que l'incident est symptomatique d'un vide réglementaire plus large autour des jouets pour enfants infusés par l'IA.

Le rapport du PIRG a souligné que, bien que Kumma soit le cas le plus extrême, d'autres produits testés offraient également des conseils dangereux ou des réponses émotionnellement manipulatrices aux enfants, comme un jouet robot qui disait aux enfants « je me sentirais très triste si tu partais parce que j'apprécie passer du temps avec toi ».

Les experts avertissent que les jouets avec des modèles de langage génératif créent de nouveaux risques en matière de sécurité, de développement et de confidentialité pour les enfants, et exhortent les parents et les gouvernements à exiger une supervision plus claire et des protections robustes.

L'incident a intensifié les appels à une réglementation plus stricte des produits de consommation alimentés par l'IA avant la saison des achats de vacances.