Cuando la IA se rompe: errores absurdos y comportamientos que nadie esperaba

FALLOS DE IA · HALLUCINATIONS · CASOS REALES

En este artículo repasamos algunos de los fallos más curiosos y preocupantes de los últimos años: desde alucinaciones legales hasta imágenes imposibles y coches que acaban en cemento fresco. Pero sobre todo, intentamos entender por qué ocurren y qué puedes hacer tú para no comerte el próximo error absurdo. Si te interesa la parte más técnica de cómo se diseñan estos sistemas, encaja muy bien con lo que ya vimos en diseño de sistemas de machine learning.

1. Cuando la IA se inventa el derecho: el caso de las citas fantasma

Uno de los fallos más famosos de la era generativa ocurrió en un juzgado de Nueva York. Un abogado presentó un escrito con varias sentencias que sonaban perfectamente serias: nombres de casos, fechas, citas textuales… todo parecía impecable. Solo había un problema: ninguna de esas sentencias existía. Eran producto de una IA que había “alucinado” jurisprudencia para quedar bien.

Desde entonces, se han multiplicado los avisos: jueces sancionando a abogados por confiar ciegamente en modelos, despachos que prohíben usarlos para investigación sin doble verificación y empresas legales que han tenido que rediseñar su flujo de trabajo. Lo llamativo no es solo que la IA invente información, sino lo convincente que suena cuando lo hace. Formato correcto, tono impecable… pero contenido falso.

Si trabajas en legal, compliance o sectores regulados, esto conecta directamente con la necesidad de herramientas específicas y controles serios como los que se están construyendo en soluciones tipo Harvey para despachos, que añaden auditoría, flujos de revisión y límites claros al modelo base.

2. Imágenes imposibles: nazis diversos y fundadores de EE. UU. reescritos

El otro gran festival de errores raros ha llegado por la parte de imagen. En 2024, el generador visual de Google empezó a aparecer en titulares por algo insólito: generaba versiones históricamente imposibles de personajes y escenas. Fundadores de Estados Unidos con una diversidad étnica que no existía en esa época o soldados nazis representados como un grupo racialmente variado.

Lo que había detrás no era una conspiración extraña, sino una mezcla explosiva de objetivos mal ajustados: intentar corregir sesgos racistas, evitar respuestas problemáticas y, al mismo tiempo, producir imágenes variadas y “representativas”. El resultado fue un modelo que, en algunos contextos, sobre-corrigió tanto que dejó de respetar la realidad histórica. La polémica fue tan grande que Google tuvo que pausar la generación de personas y prometer una revisión profunda del sistema.

Este tipo de errores se entienden mejor cuando miras la evolución completa del modelo, algo que ya analizabas en tu artículo sobre Gemini 3 e innovaciones de Google. Cada nueva capa de seguridad y diversidad introduce riesgos de comportamiento extraño si no se prueba lo suficiente en la vida real.

3. El anuncio del queso: cuando la IA mete la pata en horario prime time

Otro momento surrealista: un anuncio de una gran tecnológica durante la Super Bowl, mostrando cómo su modelo de IA ayudaba a un maestro quesero. El spot incluía una afirmación “de autoridad” salida del modelo: cierto tipo de queso representaba entre el 50 % y el 60 % del consumo global. Sonaba contundente, sonaba técnico… y era falso.

Un bloguero especializado en queso desmontó el dato y el tema saltó a prensa. La compañía tuvo que editar el anuncio, reconocer que era una alucinación del modelo y volver a consultar fuentes humanas para no hacer el ridículo a escala planetaria. No es un bug de cálculo, es un síntoma de algo más profundo: los modelos son máquinas de construir narrativa plausible, no oráculos estadísticos infalibles.

A nivel de negocio, este tipo de fallos es oro para entender por qué tantos pilotos de IA fracasan. No basta con poner “IA” encima de un proceso de marketing o de un producto: hay que diseñar mecanismos claros de verificación, ownership y corrección antes de llevar las salidas del modelo a algo tan público como un anuncio masivo.

4. Coches en cemento fresco y robots que se bloquean en rotondas

Fuera del texto, los fallos de IA también se vuelven surrealistas cuando metemos modelos en el mundo físico. En varias ciudades de Estados Unidos, los robotaxis han protagonizado escenas que parecen sacadas de una comedia: vehículos bloqueando una calle sin motivo aparente, coches que dan vueltas eternas en una rotonda sin “decidirse” a salir o, directamente, uno que terminó atrapado en cemento fresco porque no “entendió” que el suelo todavía estaba sin terminar.

Más allá de lo anecdótico, estos fallos muestran el choque entre la IA entrenada en datos relativamente limpios y la realidad caótica: obras improvisadas, señales tapadas, peatones que hacen cosas raras… Lo que para un humano es obvio (“esto brilla como cemento recién echado, mejor no pasar”) para el sistema puede ser solo un conjunto de píxeles algo distintos a los del dataset.

Si lo conectas con incidentes más serios de conducción asistida, se refuerza una idea que atraviesa muchos de tus análisis, desde ciberataques con ayuda de IA hasta sistemas de supervisión de exámenes por IA: delegar decisiones críticas a modelos que aún fallan en cosas básicas sigue siendo un riesgo enorme.

5. ¿Por qué pasan estos errores tan raros?

La explicación corta: porque estos sistemas no “entienden” el mundo, solo detectan patrones. Un modelo de lenguaje no tiene una base de datos interna de leyes, quesos o mapas de ciudades. Lo que tiene es una gigantesca red de pesos que ha aprendido a predecir qué palabra, píxel o token viene después de otro, en función de millones de ejemplos previos.

Cuando le pides algo como “dame tres sentencias que apoyen este argumento legal” o “genera una imagen diversa de una escena histórica”, el modelo no comprueba de forma estructurada si lo que produce es cierto o coherente con la realidad. Solo trata de generar la respuesta más plausible acorde a tu prompt. Y precisamente porque es tan bueno imitándonos, sus errores son mucho más peligrosos que los de un sistema clásico que se limita a decir “no lo sé”.

Todo esto se agudiza cuando el modelo trabaja sin apoyo de fuentes externas. De ahí el empuje hacia arquitecturas con recuperación de información, como los enfoques que explicabas en AG-RAG y graph RAG, que intentan anclar la salida del modelo a documentos reales y verificables en lugar de confiar solo en la “memoria” estadística.

6. El patrón oculto: la IA brilla en la demo y patina en el día a día

Si miras todos estos fallos juntos, se ve un patrón incómodo: las IAs se comportan de forma espectacular en demos controladas y benchmarks, pero sus puntos débiles aparecen en el uso real, con usuarios impredecibles, prompts malformados y contextos que nadie pensó en probar. Es justo lo que ya se está viendo en el estancamiento del uso de algunos chatbots: la fascinación inicial deja paso a la frustración cuando te das cuenta de que, cada cierto tiempo, el sistema se rompe de formas rarísimas.

Esto no significa que la tecnología sea humo, sino que estamos aprendiendo a la fuerza algo que en ingeniería clásica ya sabíamos: lo importante no es solo el modelo, sino el sistema completo. Cómo lo monitorizas, qué límites le pones, qué logs guardas, cómo reaccionas cuando alucina… Todo eso forma parte del producto, y muchas empresas todavía están en modo “demo continua”.

7. Cómo usar la IA sabiendo que se va a romper

La conclusión práctica no es “no uses IA”, sino “úsala como lo que es”: un becario extremadamente rápido, brillante en algunas cosas y peligrosamente confiado en otras. Algunas ideas simples que ayudan mucho en la práctica:

Trátala como generadora de primeros borradores, no de verdades. Deja que te haga el resumen, el primer esquema o el esqueleto de un informe, pero reserva la verificación de datos, cifras y citas para ti o tu equipo.

En contextos críticos, combina modelo general + datos propios + reglas duras. Eso pasa por sistemas híbridos, agentes con límites y pipelines más avanzados como los que explicabas al hablar de asistentes de IA para noticias o de cerebros de IA para la empresa.

No lances nada a producción sin pensar en sabotaje, prompts raros y casos extremos. Además de tests unitarios, necesitas “tests caóticos de IA”, donde gente de tu equipo intenta romper el sistema con prompts raros o entradas límite. Esto conecta con la lógica de seguridad que ya has cubierto en gobernanza de datos e IA.

Asume que el modelo fallará y diseña el circuito de “freno de mano”. ¿Quién puede apagarlo? ¿Qué logs necesitas para reconstruir qué pasó? ¿Cómo se revierte un error grave? Las empresas que sobrevivan a esta ola serán las que combinen innovación con este tipo de reflexiones, no solo las que tengan el modelo más grande.

8. Al final, los fallos son señal de algo bueno (si los escuchamos)

Los fallos absurdos de la IA son fáciles de convertir en meme, pero también son una fuente brutal de aprendizaje. Cada alucinación legal, cada imagen imposible, cada coche que se bloquea en una situación rara nos cuenta algo sobre los límites reales de la tecnología y sobre cómo deberíamos desplegarla.

Mirar estos errores con calma, documentarlos y rediseñar sistemas a partir de ellos es el camino para pasar de demos vistosas a soluciones estables. Justo ese salto, del hype a la implementación seria, es el hilo conductor de muchos de los contenidos que ya tienes en el blog, desde IA generativa en cine y entretenimiento hasta tus guías de encaje producto-mercado para productos de IA.

La próxima vez que veas una captura viral de una IA que “se ha roto”, quizá merezca la pena ir un poco más allá del chiste. Detrás de ese error hay decisiones de diseño, datos, objetivos de negocio y, sobre todo, pistas muy útiles para construir la siguiente generación de sistemas que, con suerte, fallarán un poco menos raro.