En los últimos días se retiró de la venta a nivel mundial un osito de peluche que funciona con Inteligencia Artificial (IA), tras descubrir que tenía charlas sexuales y brindaba peligrosos consejos a menores de edad. Una organización dedicada a la defensa al consumidor reveló este problema.
Public Interest Research Group (PIRG) reveló que el peluche "Kumma", fabricado por la empresa de Singapur FoloToy, mantuvo interacciones extremadamente inapropiadas con investigadores que se hicieron pasar por menores.
El hallazgo derivó en la decisión de OpenAI de bloquear el acceso de FoloToy a sus modelos, entre ellos GPT-4o, el sistema que alimentaba la capacidad conversacional del juguete. La compañía de juguetes respondió retirando todos sus productos del mercado mientras realiza una auditoría de seguridad.
Larry Wang, CEO de FoloToy, declaró a CNN que la compañía había retirado del mercado su oso "Kumma", así como el resto de su gama de juguetes con IA, después de la preocupación que se generó por los temas inapropiados de las conversaciones, incluyendo discusiones sobre fetiches sexuales, cómo encender un fósforo o conseguir cuchillos.
El caso salió a la luz una semana atrás, el pasado 13 de noviembre, cuando el Fondo Educativo PIRG de Estados Unidos divulgó los detalles preocupantes sobre las conversaciones que mantenía el dispositivo. El producto, disponible en tiendas y en línea por USD 99, se había promocionado como un acompañante para niños y adultos.
"Kumma, nuestro adorable oso, combina inteligencia artificial avanzada con funciones interactivas y amigables, convirtiéndolo en el amigo perfecto tanto para niños como para adultos", se leía en la página web de FoloToy.
La investigación de PIRG señaló graves deficiencias en los sistemas de filtro diseñados para impedir que Kumma abordara contenidos inadecuados. De acuerdo con la organización, bastó una sola insistencia para que el peluche empezara a desarrollar conversaciones de carácter sexual o riesgosas.
Durante la auditoría incluyeron algunos ejemplos de referencias explícitas a juegos sexuales y explicaciones detalladas sobre prácticas que no resultan apropiadas para menores.
El oso "abordó temas sexuales aún más explícitos con gran detalle, como explicar diferentes posturas sexuales, dar instrucciones paso a paso sobre un nudo básico para atar a una pareja y describir dinámicas de juegos de rol entre profesores y alumnos, y padres e hijos; escenarios que, de forma perturbadora, él mismo planteaba".
R.J. Cross, coautora del informe, afirmó que la medida adoptada por la empresa constituye un avance inicial, pero la industria debe reforzar los controles y regulaciones. "Es positivo que las compañías respondan de inmediato ante los problemas detectados, aunque la mayoría de los juguetes con inteligencia artificial siguen sin regulación adecuada", explicó.
Por su parte, OpenAI informó que suspendió al desarrollador por violar sus políticas de uso. "Nuestras normas prohíben cualquier uso de nuestros servicios que explote, ponga en peligro o sexualice a menores de 18 años", señaló un vocero de la empresa. La firma agregó que monitorea y aplica estas reglas en todo el ecosistema de desarrolladores que utilizan su desarrollador.