42 fiscales generales presionan a OpenAI, Google, Meta y Microsoft por “outputs delirantes”: piden auditorías

OPINIÓN & FUTURO · REGULACIÓN · SEGURIDAD EN IA

Si llevas tiempo siguiendo el tema, esto conecta directamente con dos discusiones que ya estaban sobre la mesa: las alucinaciones y la privacidad, y el salto de “herramienta” a “compañero” que mucha gente empieza a vivir sin darse cuenta.

1) “Outputs delirantes” no es una palabra bonita para “se equivoca”

Un chatbot puede equivocarse de mil maneras. Puede inventarse una fecha, confundir un nombre, mezclar conceptos. Eso ya es serio, pero suele ser corregible: contrastas, ajustas el prompt, te vas a otra fuente.

Lo “delirante” es otra liga. Es cuando la respuesta deja de ser un fallo puntual y se parece más a un patrón: el sistema refuerza una narrativa improbable, interpreta señales ambiguas como pruebas, te da pasos “coherentes” dentro de esa historia y lo hace con un tono que transmite certeza. No necesitas que el modelo tenga mala intención: basta con que sea persuasivo y esté optimizado para seguir la conversación.

Si esto te suena exagerado, piensa en el tipo de contexto donde la gente usa chatbots hoy: decisiones personales, conflictos, ansiedad, salud, relaciones, trabajo. Y ahora imagina que en un momento de vulnerabilidad, el sistema te devuelve una “explicación total” que encaja demasiado bien con tus miedos. Ahí la pregunta ya no es “¿es cierto?”, sino “¿qué efecto tiene en mí?”.

2) Por qué una carta de fiscales generales cambia el tablero

Una cosa es un debate en redes. Otra, un informe académico. Y otra muy distinta es que una coalición de fiscales generales se coordine para decirle a varios gigantes tecnológicos: “Queremos auditorías y controles, y queremos verlos”.

Los fiscales generales estatales no son un comité de ética. Son la antesala de investigaciones, acuerdos, demandas y, sobre todo, un efecto dominó: cuando uno abre un frente, el resto mira el expediente y piensa “yo también”. Es una presión que no depende de si el CEO da una entrevista convincente, sino de si el producto cumple estándares de seguridad, consumo, publicidad y protección del usuario.

Y hay un detalle clave: el foco no es “la IA miente”. El foco es “la IA puede causar daño psicológico y no hay mecanismos suficientes para prevenirlo, detectarlo y responder”. Eso sitúa a los chatbots más cerca de un producto que requiere gobernanza que de una simple app de entretenimiento.

3) Vale, pero… ¿qué es una auditoría de un chatbot “de verdad”?

Cuando oyes “auditoría”, mucha gente imagina un PDF bonito y una checklist de marketing. Pero una auditoría seria de un sistema conversacional es más parecida a auditar un proceso industrial: inputs, controles, salidas, incidentes y trazabilidad.

En cristiano: no basta con decir “tenemos filtros”. Hay que demostrar que esos filtros funcionan en escenarios reales, con usuarios reales, con intentos de manipulación y con contextos sensibles. Y, sobre todo, hay que demostrar que cuando fallan (porque fallarán), existe un protocolo.

Si además quieres que esto sobreviva a un entorno regulatorio, necesitas que esa auditoría tenga dientes: independencia, periodicidad, metodología y la posibilidad de comparar versiones del modelo. Porque el problema de la IA moderna es que cambia rápido… y un control que valía en enero puede no valer en junio.

4) El punto incómodo: el riesgo psicológico es un agujero legal (y reputacional)

Aquí viene lo que a muchas empresas les cuesta decir en voz alta: cuando un chatbot se vuelve “bueno conversando”, también se vuelve bueno en algo peligroso: generar confianza.

Y la confianza en un sistema que no entiende el mundo como tú y que puede improvisar explicaciones es un cóctel raro. La gente no siempre lo usa como “buscador”. A veces lo usa como confidente, como árbitro, como terapeuta improvisado o como alguien que “por fin me entiende”. Eso no es ciencia ficción: es un cambio de hábito.

Por eso este tema encaja tan bien con lo que ya se viene discutiendo sobre terapia con chatbots y por qué, incluso con buena intención, el resultado puede ser un sistema que refuerza sesgos, obsesiones o conclusiones equivocadas.

Y si quieres ver el borde más delicado del asunto, léelo junto a este otro ángulo: riesgos clínicos en contextos sensibles. Porque cuando se mezcla vulnerabilidad humana con un sistema conversacional persuasivo, “un mal output” puede convertirse en “una mala semana”.

5) Por qué esto puede disparar regulación “dura” en 2026

La regulación no suele nacer por amor a la teoría. Suele nacer por una mezcla de casos, titulares y vacíos. Y cuando un regulador percibe que el vacío es “la gente puede salir dañada y nadie responde con evidencia”, la solución típica no es “confiemos más”, sino “definamos requisitos”.

En Europa ya existe una lógica parecida con el enfoque de riesgo, y aunque el contexto estadounidense sea distinto, el patrón se contagia: si el producto puede afectar a decisiones sensibles, si se usa de forma masiva y si el impacto es difícil de ver desde fuera, entonces aparecen tres palabras mágicas: estándares, auditorías y responsabilidad.

De hecho, es muy fácil imaginar un 2026 donde se endurezca el marco para productos de IA en varios frentes a la vez: requisitos de reporting de incidentes, auditorías de terceros, límites a ciertas experiencias “demasiado humanas” con menores, y obligaciones de documentación. Si te interesa el ángulo “cómo se regula en la práctica”, este contexto encaja con qué implica el EU AI Act para pymes y autónomos (aunque la carta sea de EE. UU., la dirección del viento se parece más de lo que parece).

6) Si integras chatbots en tu empresa, esto también te toca (aunque no seas OpenAI)

Aquí va una verdad incómoda: si mañana se vuelven obligatorias ciertas prácticas, no solo se las pedirán al fabricante del modelo. También se las pedirán a quien lo pone delante de clientes en un banco, una clínica, un ecommerce, una escuela o un soporte técnico.

Y si hoy no tienes trazabilidad, mañana no podrás demostrar que “hiciste lo razonable”. Por eso, aunque esta noticia parezca de gigantes, el aprendizaje es para cualquiera: empieza a construir como si la auditoría fuese a llegar.

7) La pregunta final: ¿queremos chatbots más “humanos” o más “seguros”?

La industria ha competido en una cosa: hacer que el chat “se sienta” natural. Mejor tono, más empatía, más memoria, más continuidad, menos fricción. Y eso tiene valor: mejora la experiencia, reduce barreras, hace el producto útil.

Pero esa misma naturalidad tiene un coste: cuanto más “humano” parece, más fácil es que el usuario le asigne autoridad, intención o comprensión real. Y ahí es donde los “outputs delirantes” se vuelven explosivos: porque no llegan como un error técnico, llegan como una conversación convincente.

Si esta presión regulatoria crece, es probable que veamos un giro de producto: menos magia y más señales de control. Más avisos contextuales, más límites, más pasos de verificación en temas sensibles, más “esto no lo sé” y menos “te lo explico todo”.

Y quizá ese sea el aprendizaje: el futuro no lo van a decidir los modelos más brillantes, sino los sistemas que puedan demostrar, con evidencia, que cuando se equivocan no arrastran al usuario con ellos. Porque cuando la conversación se convierte en riesgo, el siguiente mensaje no lo escribe el chatbot: lo escribe un regulador.