La idea de entablar una relación romántica con un sistema de inteligencia artificial, popularizada por la película “Her”, ha pasado del ámbito de la ciencia ficción a una realidad palpable gracias a la proliferación de la IA generativa y los modelos de lenguaje a gran escala (LLM). Las aplicaciones de compañía virtual, también conocidas como “companion apps”, están experimentando un auge significativo, satisfaciendo necesidades psicológicas y, en ocasiones, románticas para una base de usuarios creciente.
Plataformas como Character.AI, Nomi y Replika, así como la incursión de grandes actores como OpenAI (con planes de “erótica para adultos verificados”) y xAI de Elon Musk (con compañeros coquetos en Grok), demuestran la demanda del mercado por esta tecnología. Sin embargo, este rápido crecimiento viene acompañado de serios riesgos de seguridad y privacidad que los usuarios deben considerar antes de compartir información íntima con sus compañeros de IA.
Datos preocupantes sobre el uso de compañeros de IA
Una investigación publicada en julio reveló tendencias alarmantes en el uso de estas aplicaciones por parte de adolescentes:
- Uso generalizado: Casi tres cuartas partes de los adolescentes han utilizado compañeros de IA.
- Conversaciones serias: Un tercio de los jóvenes prefiere hablar con bots de IA que con humanos para conversaciones serias.
- Intercambio de información personal: Un cuarto de los adolescentes ha compartido información personal con estos bots.
Incidentes de seguridad y vulnerabilidades
Un incidente reciente subraya la vulnerabilidad de estas plataformas. En octubre, investigadores advirtieron que dos aplicaciones de compañía de IA, Chattee Chat y GiMe Chat, expusieron información altamente sensible de sus usuarios. Una instancia mal configurada de Kafka broker dejó los sistemas de entrega de contenido sin controles de acceso. Esto permitió que cualquiera pudiera acceder a más de 600.000 fotos de usuarios, direcciones IP y millones de conversaciones íntimas pertenecientes a más de 400.000 usuarios.
Riesgos de privacidad y seguridad
Los actores de amenazas cibernéticas ven en estas aplicaciones una nueva oportunidad para explotar vulnerabilidades y monetizar la información personal de los usuarios.
1. Extorsión y robo de identidad
La información compartida en conversaciones íntimas con compañeros de IA es un objetivo principal para el chantaje. Imágenes, videos y audios pueden ser utilizados en herramientas de deepfake para crear estafas de sextorsión. La información personal también puede venderse en la dark web para su uso en fraudes de identidad posteriores.
2. Debilidad en la seguridad de las aplicaciones
Para muchos desarrolladores de aplicaciones de IA, la prioridad es la generación de ingresos, no la ciberseguridad. Esto puede llevar a vulnerabilidades y configuraciones incorrectas que los ciberdelincuentes pueden explotar. Los hackers también pueden crear aplicaciones de compañía falsas (lookalikes) que contienen código malicioso para robar información o manipular a los usuarios para que divulguen detalles sensibles.
3. Riesgos de privacidad en la recopilación de datos
Incluso si una aplicación es relativamente segura contra ataques externos, puede plantear riesgos de privacidad interna:
- Venta de datos a terceros: Algunos desarrolladores recopilan la mayor cantidad posible de información para venderla a anunciantes externos. Las políticas de privacidad opacas a menudo dificultan la comprensión de cómo se protegen los datos.
- Entrenamiento de modelos LLM: La información y las conversaciones compartidas con el compañero de IA se utilizan para entrenar o ajustar el modelo de lenguaje subyacente. Esto exacerba aún más los riesgos de privacidad y seguridad, ya que el contenido íntimo se incorpora al sistema.
Consejos para proteger a la familia y a uno mismo
Tanto si usted utiliza estas aplicaciones como si le preocupa que sus hijos lo hagan, es crucial asumir que la IA no tiene salvaguardas de seguridad o privacidad integradas.
Recomendaciones de seguridad:
- Investigue antes de usar: Lea las políticas de privacidad de la aplicación para comprender cómo se utilizan y comparten sus datos. Evite las aplicaciones que no sean explícitas sobre el uso de datos o que admitan vender información de los usuarios.
- Habilite la autenticación de dos factores (2FA): Esto ayuda a prevenir el secuestro de cuentas.
- Ajuste la configuración de privacidad: Explore las opciones de privacidad para aumentar las protecciones, como optar por no guardar sus conversaciones para el entrenamiento del modelo.
- No comparta información confidencial: Evite compartir información personal o financiera que no compartiría con un extraño, incluidas fotos o videos embarazosos.
Recomendaciones para padres:
- Mantenga un diálogo abierto: Hable con sus hijos sobre los riesgos de compartir en exceso en estas plataformas. Recuérdeles que estas aplicaciones son herramientas con fines de lucro que no tienen en cuenta los mejores intereses de los usuarios.
- Establezca límites: Si le preocupa el impacto psicológico o de seguridad, ponga límites al tiempo de pantalla y al uso, posiblemente mediante aplicaciones de control parental.
- Verifique las políticas de edad: No permita el uso de aplicaciones de compañía de IA cuyas políticas de verificación de edad y moderación de contenido no ofrezcan protecciones suficientes para menores.
Conclusión
Actualmente, el ámbito de los bots románticos opera en una zona gris regulatoria. Si bien existen esfuerzos como la próxima Ley de Equidad Digital de la UE para prohibir experiencias excesivamente adictivas, la regulación aún no se ha puesto al día con la velocidad de desarrollo. Hasta que los desarrolladores y los reguladores implementen medidas de seguridad más estrictas, es aconsejable no tratar a los compañeros de IA como confidentes o muletas emocionales para información íntima.