Attention Is All You Need: el paper que inventó los Transformers y cambió la IA para siempre

PAPERS · TRANSFORMERS · ARQUITECTURA

El paper se publicó en 2017, firmado por ocho autores de Google Brain y Google Research, y presentado en NeurIPS. En aquel momento solo pretendía mejorar la traducción máquina, pero su impacto fue tan brutal que hoy se considera uno de los trabajos más citados del siglo XXI y el origen directo de los grandes modelos de lenguaje que comentas cuando hablas de Gemini 3, de skills en Claude o del propio ChatGPT y su evolución.

1. El contexto: por qué las RNN se estaban quedando sin aire

Antes de 2017, si querías traducir texto, generar lenguaje o procesar audio lo normal era usar redes recurrentes (RNN, LSTM, GRU) o convolucionales en modo encoder–decoder. Leían la frase token a token, manteniendo un estado oculto que iba “resumiendo” lo visto hasta el momento. Añadíamos mecanismos de atención como los de Bahdanau et al. para que el decoder pudiera mirar de nuevo al encoder, pero la estructura de fondo seguía siendo secuencial y costosa de entrenar.

Eso tenía tres problemas gordos. Primero, poca paralelización: procesar cada token dependía del anterior, así que las GPUs se desaprovechaban. Segundo, dificultad para capturar dependencias largas: aunque uses LSTM, cuanto más larga la frase, más se difuminaba la información. Tercero, entrenar buenas traducciones exigía modelos enormes y semanas de cómputo para batir el estado del arte de la época.

El Transformer aparece justo ahí y dice: ¿y si en vez de leer en secuencia, dejamos que cada palabra mire directamente a cualquier otra, en paralelo, usando un mecanismo de atención muy bien diseñado? De esa pregunta sale la arquitectura que luego explotará cuando se escale en los GPT y Gemini que analizas en entradas sobre vídeo por IA o sobre ASR omnilingüe.

2. Qué es “atención” en realidad (versión humanos, no solo fórmulas)

La idea de atención parece casi psicológica: en cada momento, el modelo decide a qué partes de la frase debe “prestar atención” para procesar el siguiente token. Matemáticamente, la atención toma tres cosas: queries (lo que estoy buscando), keys (etiquetas de lo que hay disponible) y values (la información que quiero combinar). El mecanismo compara la query con todas las keys, calcula una relevancia para cada una, y hace una media ponderada de los values.

El paper propone una versión concreta llamada scaled dot-product attention: multiplicas Q por K transpuesta, escalas por la raíz de la dimensión y pasas un softmax para obtener pesos. Eso permite calcular atención de todos los tokens sobre todos los tokens a la vez usando multiplicación de matrices, lo que encaja perfecto con GPUs modernas.

Además introduce algo clave: self-attention. En vez de tener una secuencia que mira a otra (como en el encoder–decoder clásico), cada token de la misma secuencia puede mirar al resto para construir una representación contextualizada. La palabra “bank” puede mirar a “river” o a “loan” según el contexto y construir un embedding distinto en cada frase, algo esencial para que los modelos de lenguaje actuales funcionen tan bien.

3. Anatomía de un Transformer: capas, bloques y flujo general

El Transformer original es un modelo encoder–decoder puro, sin recurrencias ni convoluciones. La parte encoder recibe la frase de entrada y pasa los embeddings por varias capas idénticas; el decoder hace lo mismo con la frase de salida, pero mirando tanto a lo que lleva generado como al output del encoder. Cada capa tiene dos bloques principales: multi-head self-attention y una red feed-forward punto a punto, todo ello rodeado de residual connections y layer normalization.

La magia está en que, en cada capa, los tokens se vuelven un poco más “informados” sobre el resto de la secuencia. En las primeras capas captas patrones locales (palabras que suelen ir juntas); en las últimas, dependencias semánticas más abstractas (quién hace qué, qué se niega, qué se compara…). No hay memoria recurrente; lo que hay es un montón de capas de atención que se reescriben mutuamente las representaciones.

El decoder añade un truco extra: atención enmascarada. Cuando genera el token t, no se le permite mirar al futuro, solo a los tokens previos. Ese mismo truco, combinado con muchas más capas y mucho más entrenamiento, es lo que usan hoy modelos tipo GPT para generar texto autoregresivo, como explicas en tus artículos de diseño de sistemas de ML o de Graph-RAG sofisticado.

4. Innovaciones clave del paper que siguen vivas en los LLM

4.1 Multi-head attention: mirar desde varios ángulos a la vez

En vez de una sola atención grande, el Transformer usa varias “cabezas” de atención en paralelo. Cada cabeza aprende una forma distinta de comparar tokens: una puede fijarse en concordancia de género, otra en estructura sintáctica, otra en relaciones de largo alcance. Al final se concatenan todas y se proyectan de nuevo a la dimensión del modelo. Es como si tuvieras un comité de especialistas en cada capa, y luego alguien resume sus conclusiones.

4.2 Positional encodings: dar sentido al orden sin recurrencias

Como no hay recurrencia, el modelo no sabe “de serie” qué token va primero o después. La solución del paper es añadir al embedding de cada palabra un vector fijo que codifica su posición, usando senos y cosenos de distintas frecuencias. Así, la red puede aprender a interpretar patrones de posición y, teóricamente, extrapolar a secuencias algo más largas que las vistas en entrenamiento. Muchos modelos actuales han probado variantes (positional encodings aprendidos, rotatorios, ALiBi…), pero la idea original sigue siendo la misma: sumar posición al embedding.

4.3 Entrenamiento eficiente y resultados que rompieron la tabla

El paper no se queda en arquitectura bonita. Presenta resultados muy concretos: en traducción inglés–alemán WMT 2014, el Transformer “base” consigue 28,4 BLEU, superando modelos anteriores, y en inglés–francés llega a 41,8 BLEU con un modelo “big” entrenado solo durante 3,5 días en ocho GPUs. Para la época, eso era mucho menos cómputo que alternativas RNN tope de gama. Además muestran que la misma arquitectura funciona bien en parsing, adelantando que podía generalizar a más tareas.

5. Del paper al boom de los grandes modelos de lenguaje

Después de “Attention Is All You Need” llegan los derivados. Google presenta BERT, basado solo en el encoder; OpenAI saca GPT, basado solo en el decoder; luego vienen T5, XLNet, RoBERTa y un aluvión de variantes. La idea básica es siempre la misma: un Transformer grande entrenado con auto-supervisión (predecir tokens enmascarados o próximos) sobre cantidades absurdas de texto.

La fase siguiente es la que tratas a menudo en el blog: escalar. Más capas, más dimensiones, más datos, mejores optimizadores, trucos de entrenamiento… hasta llegar a modelos fundacionales multimodales en texto, imagen, audio y vídeo, como los que comentas en tus piezas de IA generativa para cine y streaming o de vídeo generativo con Flow/Veo.

Hoy, cuando hablas de clones de IA que trabajan mientras duermes, de agentes autónomos o de búsquedas potentes tipo Graph-RAG, en el fondo estás hablando de orquestar Transformers gigantes afinados para distintas tareas.

6. Intuiciones prácticas si construyes productos con Transformers

A estas alturas, casi nadie entrena un Transformer desde cero, pero sí diseñas sistemas, prompts, pipelines y productos alrededor de ellos. Entender el paper te deja varias ideas útiles.

Primero, todo gira en torno a tokens y contexto. La atención calcula interacciones entre todos los tokens del contexto; duplicar la ventana cuadruplica el coste aproximado. Eso explica por qué los contextos gigantes de modelos modernos son caros, y por qué hay tanto interés en técnicas de memoria externa, RAG, grafos y trucos como los que exploras en Graph-RAG.

Segundo, lo importante no es solo el modelo, sino qué le das para atender. El Transformer en sí “solo” mezcla tokens de forma muy flexible; la calidad final depende de los datos, del pretraining y de cómo preparas el prompt o el contexto. De ahí tu insistencia en piezas como ingeniería de datos y encaje producto–mercado en soluciones basadas en IA.

Tercero, la batalla actual es eficiencia y despliegue. El diseño original no estaba pensado para modelos de cientos de miles de millones de parámetros, ni para correr on-device. Todo el trabajo en modelos ligeros, compute privado y hardware especializado que tratas en artículos como tiny models de Samsung, PCs de IA o Private Compute de Google es, en esencia, intentar que esta arquitectura que nació en data centers gigantes quepa y sea sostenible en muchos más sitios.

7. Cómo conecta este paper con tus otros temas de IA

Si miras el mapa completo de tu blog, “Attention Is All You Need” es la casilla de salida técnica de un montón de hilos que luego desarrollas por separado. Cuando escribes sobre economía de modelos predictivos, sobre los costes materiales de la IA o sobre alineación entre modelos y valores humanos, en el fondo estás analizando qué pasa cuando escalas masivamente esta arquitectura y la pones a tomar decisiones importantes.

Incluso temas aparentemente alejados, como terapia con chatbots, filtros de CV automáticos o tría de urgencias con IA, están mediadas por Transformers fine-tuned para tareas específicas. Conocer la pieza original te ayuda a ver qué es “propiedad de la arquitectura” y qué es decisión de diseño encima.

8. ¿Merece la pena leer el paper original? Cómo abordarlo

El paper en sí no es largo para los estándares de NeurIPS (unas diez páginas más anexos), pero está denso de notación. Si vienes del mundo producto o negocio, mi recomendación es usarlo más como mapa que como tutorial: leer la intro, la sección de modelo y las figuras de la arquitectura, y apoyarte en visualizaciones tipo “The Illustrated Transformer” o cursos que desglosan las fórmulas.

Tiene especial sentido para tres perfiles. Uno, personas técnicas que ya trabajan con LLMs y quieren subir un nivel y entender qué pasa dentro del bloque “Transformer” que ven en los diagramas. Dos, gente de estrategia y liderazgo en IA que toma decisiones de producto, coste de cómputo y roadmap, y necesita un entendimiento cualitativo de por qué estos modelos escalan así, como los que citas en liderazgo empresarial en IA. Tres, personas curiosas que ya han leído libros como “The Master Algorithm” o “Architects of Intelligence” y ahora quieren ver el paper técnico que está debajo de todo.

Entender “Attention Is All You Need” no te convierte en diseñador de chips ni en autor de un nuevo GPT, pero te da algo casi igual de valioso: una intuición clara de por qué la IA actual se comporta como se comporta. Y, a partir de ahí, más criterio para decidir qué construyes encima… y qué límites quieres ponerle.