AlphaGo Zero: la IA que aprendió a jugar al Go sin humanos y sorprendió a sus propios creadores

PAPERS · REINFORCEMENT LEARNING · GO

Si ya conoces hitos como AlexNet e ImageNet y el nacimiento de los Transformers, AlphaGo Zero es el tercer vértice de ese triángulo histórico: muestra hasta dónde puede llegar el deep reinforcement learning cuando se junta con redes profundas y planificación potente. Y se conecta muy bien con temas más geopolíticos como la nueva guerra fría de la IA o las armas autónomas.

1. De AlphaGo a AlphaGo Zero: qué cambia exactamente

El primer AlphaGo, el que venció a Lee Sedol en 2016, ya combinaba redes profundas y búsqueda de árboles, pero se apoyaba fuerte en humanos: se entrenó inicialmente imitando millones de jugadas de partidas profesionales y semiprofesionales, y además incorporaba conocimiento experto en su representación del tablero y en ciertos heurísticos del árbol de búsqueda. Era impresionante, pero seguía siendo una IA “educada” por personas.

AlphaGo Zero borra esa capa. El algoritmo parte de una red neuronal inicializada al azar, que solo conoce las reglas básicas del Go. No ha visto ni una sola partida humana. Aprende exclusivamente jugando contra sí misma, mejorando la red a partir de los resultados de esos autoenfrentamientos. Lo que sale de ahí no es solo un jugador más fuerte, sino un estilo distinto, que a menudo rompe patrones clásicos del Go profesional. 

DeepMind lo resume así: ya no está “limitada por el conocimiento humano”. En el fondo, es el paso de “máquina que copia” a “máquina que explora un espacio de posibilidades más amplio que el de la tradición humana”, un tema que también aparece cuando se habla de los costes de la IA industrial o de lo que piensan los “arquitectos” de la IA.

2. Arquitectura: una red, dos salidas y mucho autojuego

A nivel técnico, AlphaGo Zero se basa en una red neuronal profunda residual convolucional. La entrada son planos que representan el estado del tablero 19x19 (piedras blancas, negras, turnos, libertades…) y la salida tiene dos cabezas:

Por un lado, una cabeza de política que produce una distribución de probabilidad sobre todas las jugadas legales (más una acción de resignación). Por otro, una cabeza de valor que devuelve un número en el rango [-1, 1] que estima la probabilidad de ganar desde esa posición. Ambas comparten el mismo “tronco” profundo de bloques residuales, de forma que la red aprende representaciones internas útiles tanto para elegir jugadas como para evaluar posiciones. 

A diferencia del AlphaGo original, que usaba redes separadas de política y valor y varios componentes hechos a mano, aquí todo está unificado en un único modelo más limpio. Es una decisión de diseño importante: simplifica la arquitectura y hace que todo el conocimiento estratégico esté concentrado en un solo “cerebro”.

3. Monte Carlo Tree Search: la red no juega sola, planea

La red por sí sola ya juega razonablemente bien, pero la verdadera fuerza de AlphaGo Zero viene de combinarla con Monte Carlo Tree Search (MCTS), un algoritmo de planificación que explora posibles secuencias de jugadas (el “árbol” de la partida) de forma inteligente. En cada posición, el sistema simula miles de partidas parciales guiadas por la política y el valor de la red, concentrando la exploración en las ramas más prometedoras y usando las valoraciones para retroalimentar el árbol.

El truco clave es que la propia red guía la búsqueda que luego alimenta su siguiente entrenamiento. Cuando AlphaGo Zero se entrena, para cada posición de autojuego se guarda no solo el resultado final de la partida (ganar o perder), sino también el patrón de visitas del árbol de búsqueda: básicamente, qué jugadas parecían mejores tras simular miles de variantes. La red intenta ajustar su política para parecerse a esa distribución y su valor para predecir el resultado final. Es un bucle de mejora continua: mejor red → mejor búsqueda → mejores jugadas → mejores datos para entrenar la red. 

4. Autojuego desde cero: cómo aprende realmente AlphaGo Zero

El entrenamiento arranca con una red aleatoria: juega como un principiante absoluto. Aun así, el sistema empieza a generarse partidas a sí mismo usando MCTS guiado por esa red torpe. Cada cierto número de partidas, se entrena una nueva versión de la red con todos los datos acumulados (estados, distribuciones de jugadas del árbol, resultados finales) y se enfrenta a la versión anterior. Si la nueva red gana con suficiente margen, se adopta como “campeona” y pasa a generar más autojuego. Si no, se descarta.

Los números impresionan. En los primeros tres días, AlphaGo Zero juega unos 4,9 millones de partidas contra sí misma. En ese tiempo ya supera a AlphaGo Lee (la versión que venció a Lee Sedol) con un marcador de 100–0. Tras 21 días de entrenamiento alcanza y supera a AlphaGo Master (el sistema que jugó anónimamente en línea contra profesionales). Después de 40 días, la versión “grande” de AlphaGo Zero es claramente más fuerte que cualquier versión previa de AlphaGo. 

Hay algo casi filosófico aquí que recuerda a libros como Vida 3.0 o Human Compatible: un sistema que no aprende de cómo jugamos nosotros, sino de su propia dinámica interna, es más libre para explorar estrategias “alienígenas”, pero también más difícil de interpretar y controlar.

5. Qué tipo de “inteligencia” emerge: estilo, creatividad y sorpresas

Los profesionales que analizaron las partidas de AlphaGo Zero reportan un estilo diferente al del AlphaGo original y al humano. Desde aperturas poco ortodoxas hasta secuencias que parecían “malas” según la teoría clásica del Go, pero que resultaban ser más fuertes a largo plazo. En algunos casos, la IA ignoraba josekis y patrones tradicionales, favoreciendo líneas que solo se justifican con lectura muy profunda del tablero.

Incluso así, el sistema tuvo sus “puntos ciegos” durante el entrenamiento. Por ejemplo, las famosas ladders (escaleras) —secuencias forzadas en las que una cadena de piedras es perseguida a través del tablero— son algo que cualquier jugador humano aprende muy pronto, pero AlphaGo Zero tardó bastante más en dominarlas; su comprensión emergió solo después de enormes cantidades de autojuego. Es una pista de que lo que le resulta fácil o difícil a estos sistemas no siempre coincide con nuestra intuición. 

6. De AlphaGo Zero a AlphaZero y MuZero: generalizar el enfoque

El propio paper de AlphaGo Zero apunta a algo más grande: su algoritmo es, en buena medida, general. Pocas semanas después, DeepMind presenta AlphaZero, que reutiliza la misma idea (red de política-valor + MCTS + autojuego) para Go, ajedrez y shogi. Sin ver partidas humanas, AlphaZero alcanza nivel superhumano en los tres juegos en menos de 24 horas de entrenamiento, derrotando a los mejores motores especializados de cada dominio. 

Más adelante llega MuZero, que mantiene la combinación de red + planificación, pero va un paso más allá: ni siquiera necesita conocer las reglas del juego; aprende un modelo interno de la dinámica a partir de la experiencia. MuZero alcanza resultados punteros en Atari, Go, ajedrez y shogi sin que nadie le programe la física del entorno. Es una evolución directa de la línea AlphaGo Zero. 

Por el camino, la comunidad open source lanza proyectos como Leela Zero o ELF OpenGo, que reimplementan la idea de AlphaGo Zero y la abren a cualquiera con GPUs y paciencia para entrenar. Es el mismo patrón que más tarde veríamos en modelos de lenguaje: un paper potente, una implementación cerrada y, poco después, clones abiertos que democratizan el enfoque. 

7. Qué nos enseña AlphaGo Zero sobre el futuro de la IA

AlphaGo Zero se suele citar como ejemplo de “IA que se enseña sola”, pero el detalle interesante es cómo lo hace. No es magia, son tres ideas combinadas:

Primero, un modelo potente capaz de representar bien el espacio de estados (la red residual profunda). Segundo, un algoritmo de planificación que explora el futuro de forma estructurada (MCTS). Tercero, un bucle de autojuego donde el sistema se genera sus propios datos cada vez más exigentes. El resultado es un agente que mejora sin depender de datasets humanos, algo tremendamente atractivo en dominios donde esos datos son escasos o sesgados.

Si cruzas esto con otros temas —desde modelos que diseñan tu vida hasta clones de IA que trabajan mientras duermes— aparece una idea potente: cuantos más sistemas así tengamos tomando decisiones importantes en finanzas, política o salud, más relevante se vuelve el problema de alinearlos con valores humanos.

8. Límites, críticas y riesgos: no todo es ganar al Go

Es fácil enamorarse de la narrativa “tabula rasa” y pensar que podemos lanzar AlphaGo Zero contra cualquier problema del mundo real. Pero el propio paper y trabajos posteriores dejan claros algunos límites. El Go es un entorno perfecto: reglas simples, información completa, sin azar y con simulador impecable. La vida real no se parece tanto: hay ruido, retrasos, estados ocultos, múltiples objetivos y, sobre todo, humanos en medio.

Además, entrenar sistemas de este tipo es brutalmente caro en cómputo y energía. AlphaGo Zero utilizó decenas de TPUs y una infraestructura nada trivial. Más tarde se ha visto que incluso agentes AlphaZero-like pueden ser vulnerables a estados adversarios cuidadosamente diseñados: pequeñas perturbaciones en el tablero pueden hacer que jueguen jugadas claramente perdedoras, algo que también se ha estudiado en Go y otros juegos. 

Y luego está la cuestión política. Si combinamos agentes superhumanos con capacidades de planificación con temas como guerra sin soldados o democracia delegada por IA, la pregunta se vuelve incómoda: ¿queremos agentes que aprendan estrategias emergentes en arenas políticas, militares o económicas solo a base de autojuego y recompensas numéricas?

9. Lecciones para quienes construyen productos y estrategias con IA

Aunque no vayas a montar un servidor de Go con 64 GPUs, AlphaGo Zero deja varias ideas muy prácticas para gente de producto, negocio y estrategia.

Primera: si tienes simulador, tienes oro. Muchos procesos de negocio no tienen un “juego perfecto” como el Go, pero sí simulaciones aproximadas o entornos de prueba (precios, logística, tráfico web…). Diseñar buenos entornos de autojuego donde la IA pueda experimentar de forma barata y segura es una ventaja competitiva brutal, algo muy alineado con la idea de encaje producto–mercado en IA.

Segunda: modelo + planificación gana a modelo sin más. AlphaGo Zero no es solo una red grande; es una red que sabe planificar. Si te interesa Graph-RAG o las arquitecturas basadas en agentes, la misma lección se repite: orquestar modelos con algoritmos de búsqueda, reglas y herramientas externas multiplica su potencia real.

Tercera: cuidado con qué objetivo optimizas. En Go todo es sencillo: maximizar probabilidad de victoria. En el mundo real, las recompensas son más ambiguas: beneficios, satisfacción de cliente, impacto social, regulación… Si dejas que un sistema tipo AlphaGo Zero juegue “solo” con una métrica equivocada, puedes acabar con estrategias muy eficaces y muy dañinas. Es exactamente el tipo de problema que se disecciona en The Alignment Problem.

10. ¿Para quién es este paper y cómo leerlo?

“Mastering the Game of Go without Human Knowledge” es un paper técnico de Nature, pero comparado con otros es relativamente amable: mucho texto explicativo, esquemas claros y un foco muy aplicado. No necesitas ser investigadora de RL para sacarle jugo, aunque ayuda tener nociones de redes neuronales y búsqueda de árboles.

Tiene sentido recomendarlo a:

· Personas técnicas que ya han leído sobre Transformers y AlexNet y quieren completar el “trío” de papers fundacionales con la parte de planificación y refuerzo.
· Gente de estrategia, liderazgo o regulación que necesita entender por qué todo el mundo cita AlphaGo Zero cuando habla de agentes autoentrenados, armas autónomas o escenarios de superinteligencia.
· Curiosos de la historia de la IA que vienen de libros como Architects of Intelligence y quieren leer la fuente original de uno de los ejemplos más famosos.

Entender AlphaGo Zero no es solo saber cómo una IA aprendió a jugar al Go sin humanos; es entender un patrón de futuro: sistemas que exploran espacios inmensos de posibilidades por su cuenta, guiados por recompensas abstractas. A partir de ahí, la pregunta deja de ser “qué pueden hacer” y pasa a ser “para qué queremos que lo hagan”, algo que recorre prácticamente todos los temas importantes sobre IA, desde quién decide qué es verdad en internet hasta qué pasa cuando tu jefe es una IA.