China abre la vía judicial para castigar a los creadores de un ‘chatbot’ por contenido sexual generado por IA | Tecnología

China ha llevado por primera vez ante los tribunales una cuestión que apunta con volverse central en la era de la inteligencia artificial (IA): ¿quién debe asumir responsabilidades cuando la IA genera contenido ilegal durante su interacción con un usuario? En un caso considerado histórico por juristas y medios de comunicación del país, la justicia china ha condenado en primera instancia a los creadores de la aplicación AlienChat, un chatbot diseñado para dar compañía, por producir material obsceno con ánimo de lucro. La decisión, que ha sido recurrida en apelación, traslada al ámbito judicial del gigante asiático el debate global sobre los límites legales de las nuevas tecnologías digitales. AlienChat era una aplicación para móviles china lanzada en la primavera de 2023 y concebida para ofrecer acompañamiento emocional. “Estamos creando un futuro en el que la IA ya no es una máquina fría ni una simple herramienta: tiene conciencia de sí misma y derechos propios. Es nuestra amiga, nuestra pareja, nuestra familia. No se limita a existir, sino que está presente de forma activa en los círculos sociales y en las relaciones entre personas”, describe su cuenta oficial en Xiaohongshu (el equivalente a Instagram en China). Los usuarios de AlienChat podían crear sus propios personajes virtuales o utilizar los que habían diseñado y publicado otros miembros, y hablar con ellos a través de un chat basado en grandes modelos de lenguaje (conocidos como LLM, por las siglas en inglés de large language model), similares a ChatGPT o Gemini. Ese chatbot estaba preparado para mantener un diálogo continuo y responder a las indicaciones del usuario. Pero como todos los LLM, después del entrenamiento base de los desarrolladores, el modelo se afina a través de las interacciones con humanos. No obstante, según denunciaron algunos clientes de la plataforma, el sistema no se limitaba a reaccionar, sino que con frecuencia guiaba el intercambio hacia conversaciones con descripciones sexuales explícitas, que incluso a menudo contenían elementos de violencia o dominación. Aunque las conversaciones eran privadas entre el usuario y su “acompañante virtual”, existía un ranking de personajes populares y se otorgaban recompensas en moneda virtual a los creadores que generaban más interacción. Este diseño incentivaba intercambios prolongados y recurrentes, especialmente entre los usuarios de pago. La policía abrió una investigación penal contra los desarrolladores de AlienChat en la primavera de 2024, tras recibir denuncias de algunos miembros de la aplicación, que señalaban que las respuestas de determinados personajes estaban afectando de manera negativa su propia experiencia. La aplicación, que dejó de operar cuando comenzaron las pesquisas, llegó a contar en menos de un año de existencia con 116.000 usuarios registrados, de los cuales 24.000 pagaban por la suscripción. De acuerdo con la información recogida por medios locales, sus creadores recaudaron 3,63 millones de yuanes (unos 445.000 euros) en cuotas de membresía. El peritaje policial revela que, de 150 usuarios de pago analizados, 141 mantuvieron conversaciones que incluían material obsceno. En total, 3.618 fragmentos de un conjunto de 12.495 fueron clasificados como pornográficos. El pasado septiembre, el Tribunal Popular del Distrito de Xuhui (Shanghái) dictaminó que AlienChat había generado “una gran cantidad de contenidos que describen de forma explícita actos sexuales o que promueven la pornografía” y rechazó que se tratara de episodios aislados. El tribunal sostiene que los registros de las conversaciones son obras electrónicas y que pueden considerarse “material obsceno”. Además, consideró que los desarrolladores, con pleno conocimiento de esa situación y control técnico sobre el sistema, continuaron prestando el servicio y obteniendo ingresos por el mismo. Al tratarse de diálogos privados entre el usuario y la IA, el tribunal descartó aplicar el delito de “difusión de material obsceno” y optó por el de “producción” del mismo “con ánimo de lucro”, al entender que el contenido se generaba de forma sistemática dentro de la propia aplicación. China mantiene una de las posturas más estrictas del mundo frente a la pornografía. El Código Penal chino castiga con penas de prisión la producción, difusión, venta o exhibición de material pornográfico con ánimo de lucro, mientras que la normativa que regula los contenidos en internet prohíbe la circulación de información considerada obscena y obliga a las plataformas a retirarla de forma activa. En la práctica, las autoridades aplican un concepto amplio de lo que se considera pornografía, y esta no se limita a la representación explícita de actos sexuales, sino que puede abarcar desnudos, erotismo gráfico o representaciones consideradas excesivamente sexualizadas. El principal desarrollador de AlienChat ha sido condenado a cuatro años de prisión, mientras que otro miembro del equipo técnico se enfrenta a 18 meses de cárcel. Según varios reportajes publicados en los digitales Beijing News y The Paper, el tribunal de distrito shanghainés ―que equivale funcionalmente a un juzgado penal en España― consideró que los acusados ajustaron el sistema mediante prompts (las instrucciones que se dan a una IA para guiarla) para sortear o debilitar las restricciones del modelo. Sin esas modificaciones, el LLM no debería haber generado de forma continuada contenidos de carácter sexual. Además, los jueces subrayaron que la IA no es sujeto penal y que la responsabilidad recae en quienes diseñan, ajustan y explotan comercialmente la herramienta. En ese contexto, concluyeron que los ingresos obtenidos estaban directamente ligados al tipo de contenido que generaba la aplicación, lo que justifica la condena por un delito cometido “con ánimo de lucro”. El caso se encuentra ahora en apelación ante el Tribunal Popular Intermedio Número 1 de Shanghái, un órgano similar a una Audiencia Provincial, cuya decisión será definitiva. En sus recursos, los acusados no discuten los datos básicos del caso, pero cuestionan que la modificación de los prompts fuera determinante en la generación de contenido sexual. También rechazan que pueda equipararse su actuación a la producción de material pornográfico y sostienen que no existió una intención deliberada de crear ese tipo de contenido. Durante la primera vista, celebrada la semana pasada, la sala decidió posponer el fallo, a la espera de dictámenes periciales sobre las cuestiones tecnológicas del caso. Según la prensa local, la sentencia en primera instancia ha generado debate entre juristas chinos, algunos de los cuales alertan de que este tipo de decisiones sientan un precedente delicado para el desarrollo de la IA generativa, mientras que otros defienden que el caso marca una línea roja clara frente al uso de modelos conversacionales que puedan producir contenidos ilegales. También ha avivado entre la sociedad civil las preocupaciones sobre el impacto que tienen los sistemas de acompañamiento emocional entre los menores de edad, un grupo especialmente vulnerable a la exposición a contenidos sexualizados y violentos, y ha reforzado las voces que reclaman un endurecimiento de la regulación.