10 cosas que no sabías sobre cómo se entrena una IA como ChatGPT

IA · MODELOS · ENTRENAMIENTO

La imagen simplificada es esta: primero se entrena un modelo gigantesco para predecir la siguiente palabra a partir de billones de textos. Después se le enseña a comportarse como asistente, con ejemplos humanos y refuerzo. Y por último se coloca en una infraestructura capaz de servir millones de peticiones al día sin quemar el hardware. La realidad, como casi siempre, es bastante más interesante.

1. No se entrena con “todo internet”, sino con un internet filtrado

Uno de los mitos más repetidos es que modelos como ChatGPT se entrenan con literalmente todo internet. No es así. Lo que se hace es construir un superconjunto de fuentes: grandes rastreos web tipo Common Crawl, versiones depuradas como C4, conjuntos de código de repositorios públicos, libros digitalizados, artículos científicos, Wikipedia, foros de preguntas y respuestas y mucha más materia prima textual. Después se filtra de forma agresiva para eliminar spam, duplicados, contenido de baja calidad y también ciertos dominios que no se quieren incluir.

A eso se suman datasets ya empaquetados para entrenar LLMs y modelos de código. El ecosistema open source ha abierto la caja negra con proyectos como RedPajama, FineWeb o The Stack, que replican este proceso de mezcla y limpieza de datos a gran escala y permiten hacerse una idea de lo que hay detrás de un modelo de propósito general. Desde la ingeniería de datos, esto se parece más a construir un lago de datos masivo y curado que a apretar un botón mágico, algo que encaja muy bien con muchas de las ideas que ya comentabas en tu guía de ingeniería de datos para IA.

Ese filtrado nunca es perfecto. De ahí nacen buena parte de los sesgos, lagunas de conocimiento y errores culturales que luego vemos en los modelos. La calidad de la IA está, en gran medida, atada a la calidad del corpus sobre el que aprende a predecir textos.

2. Antes de hablar contigo, solo aprende una cosa: predecir la siguiente palabra

Aunque la experiencia de uso es la de un asistente conversacional, el objetivo básico de entrenamiento es mucho más humilde: dado un trozo de texto, predecir cuál es el siguiente token. Ni intención, ni diálogo, ni sentido común, solo una tarea de predicción repetida billones de veces hasta que el modelo interioriza patrones estadísticos muy complejos.

Esa fase inicial, que suele llamarse preentrenamiento, se hace con arquitecturas tipo Transformer y consume cantidades enormes de cómputo. El modelo se expone a código, novelas, papers, noticias, comentarios en foros… todo mezclado. El resultado es un sistema que sabe completar textos con bastante fluidez, pero que todavía no sabe “ser útil” en conversación ni manejar bien instrucciones del estilo “haz un resumen en 3 puntos”. Para eso hace falta una fase posterior de ajuste fino.

Lo que impresiona aquí no es tanto la sofisticación matemática, que es relativamente estándar, sino la escala. De ahí que tenga tanto sentido pensar el entrenamiento como un proyecto de diseño de sistemas de machine learning extremo más que como un experimento de laboratorio.

3. El tamaño no lo es todo: las leyes de escala mandan

Durante años, la carrera fue “más grande es mejor”: más parámetros, modelos más monstruosos, benchmarks superados. Pero trabajos como los de Chinchilla demostraron que muchos modelos estaban, en realidad, poco entrenados para su tamaño y que, con la misma cantidad de cómputo, salía más a cuenta usar menos parámetros y muchos más datos.

De forma muy simplificada, las leyes de escala nos dicen que, para aprovechar bien el presupuesto de cómputo, el tamaño del modelo y la cantidad de tokens deben crecer más o menos a la vez. Eso ha forzado a todas las grandes compañías a replantear sus recetas de entrenamiento: no solo hay que inventar arquitecturas nuevas, hay que aprender a exprimir cada hora de GPU. El resultado son modelos que, con recursos similares, rinden mucho mejor que generaciones anteriores.

Este cambio de mentalidad es clave para cualquiera que esté pensando en entrenar modelos propios o especializados. No siempre hace falta un “GPT gigante”; a veces es más inteligente apostar por modelos más ligeros, bien entrenados y luego acoplados a buenos pipelines de recuperación tipo Graph RAG, como contabas en tu análisis de Graph RAG.

4. Hay humanos escribiendo ejemplos a mano para enseñar a la IA a “ser útil”

Una IA tipo ChatGPT no nace sabiendo responder correos, hacer resúmenes estructurados o discutir contigo con un tono profesional. Esa habilidad viene de una segunda fase llamada ajuste supervisado, donde equipos de personas redactan ejemplos de instrucciones y respuestas ideales. Esos pares de pregunta y respuesta se usan para reentrenar al modelo, esta vez para que imite el estilo de un asistente.

A veces estas anotaciones las hace personal interno, otras se externalizan a plataformas de etiquetado repartidas por todo el mundo. Es un trabajo intenso y, muchas veces, poco visible: decidir qué cuenta como una buena explicación, reformular una respuesta para que sea más clara, eliminar sesgos evidentes, adaptar el tono a distintos contextos. Es la parte del entrenamiento que más se parece a un “bootcamp” acelerado para formar al modelo como si fuera un nuevo empleado.

De hecho, muchos de los trucos que usamos los humanos para aprender más rápido (empezar con ejemplos sencillos, ir subiendo la dificultad, corregir errores con feedback concreto) se han trasladado casi tal cual al diseño de estos datasets de instrucciones.

5. El famoso RLHF es, básicamente, un videojuego de recompensas

El siguiente paso en la cadena se llama refuerzo con feedback humano o RLHF. Aquí ya no se enseña al modelo con ejemplos perfectos, sino con preferencias. Varias personas comparan dos o más respuestas de la IA a la misma pregunta y marcan cuál les parece mejor, más segura o más útil. Con esos juicios se entrena un modelo de recompensa que aprende a puntuar nuevas respuestas sin intervención humana directa.

Después, se ajusta el modelo principal para que genere respuestas que maximicen esa recompensa. Es, en esencia, un juego donde la IA intenta conseguir la máxima puntuación posible según lo que han indicado previamente los humanos. En modelos recientes, además, se añaden recompensas específicas para seguridad, estilo o cumplimiento de políticas, y se combinan técnicas de refuerzo con ajustes supervisados adicionales.

Este enfoque no solo se usa en modelos de chat genéricos. También está empezando a aplicarse a modelos más verticales, como asistentes legales o médicos. En tu análisis sobre Harvey y la IA legal multijugador ya se veía que, además de tener un buen modelo base, la clave está en cómo defines las recompensas y rúbricas que capturan el criterio experto en cada dominio.

6. La seguridad se entrena, no se pega con parches al final

Cuando hablamos de seguridad en IA solemos imaginar filtros al final del pipeline: una capa que bloquea respuestas peligrosas. En modelos modernos, sin embargo, la seguridad empieza en el propio entrenamiento. Se diseñan conjuntos de prompts especialmente delicados y se usan para entrenar modelos de recompensa enfocados en rechazar solicitudes dañinas o manipuladoras.

En GPT de última generación, por ejemplo, se combinan varias técnicas: datos de red teaming donde expertos intentan sacar lo peor del modelo, modelos auxiliares que evalúan si una respuesta cruza ciertas líneas y ajustes de refuerzo que premian la negativa cortés en vez de la obediencia ciega. Aun así, ninguna de estas técnicas es perfecta, y por eso seguimos viendo casos de jailbreaks o salidas problemáticas.

Desde el punto de vista de producto, la lección es clara: si vas a integrar un modelo en procesos críticos, tu propia capa de seguridad importa tanto como la del proveedor. Conceptos como cómputo privado, segmentación de datos y control de permisos, que ya analizaste en Private AI Compute, dejan de ser opcionales y se convierten en parte del diseño básico.

7. No solo hay humanos: otras IAs también ponen notas

Un cambio llamativo de los últimos años es que parte del feedback que guía el entrenamiento ya no viene de personas, sino de otros modelos. La idea es usar sistemas auxiliares para evaluar si una respuesta cumple ciertas reglas, por ejemplo una especie de constitución de principios de seguridad o ética. Ese enfoque, popularizado por el concepto de IA constitucional, permite escalar parte de la supervisión sin depender completamente de anotadores humanos.

En la práctica se combinan varias capas: humanos que fijan principios, modelos que generan y revisan ejemplos siguiendo esas reglas y ciclos iterativos donde la IA ayuda a entrenar a otra IA. Es un terreno con mucho potencial, pero también con riesgos, porque los errores y sesgos de un modelo pueden amplificarse si se usan como referencia para entrenar a otros.

Para quien diseña productos, esto refuerza una idea importante: no basta con “confiar” en el modelo que hablas, también deberías entender qué otras IAs han participado en su entrenamiento y bajo qué principios. Esa trazabilidad va a ser cada vez más relevante, sobre todo en sectores regulados.

8. El entrenamiento no termina el día que se lanza el modelo

Desde fuera parece que el entrenamiento termina cuando el modelo se hace público. En realidad, ahí empieza una fase nueva: corrección de fallos, mitigación de comportamientos no deseados, adaptación a nuevos patrones de uso y, a veces, reentrenos completos con más datos y mejores recetas de optimización.

Los proveedores recogen métricas de uso agregadas, informes de abusos, listas de prompts problemáticos y ejemplos de alucinaciones para seguir ajustando el sistema. Por eso un modelo supuestamente estático puede comportarse de forma algo distinta meses después: ha recibido nuevas capas de entrenamiento, filtros adicionales o mejoras en la arquitectura que lo rodea, como mejores mecanismos de recuperación de contexto.

Desde el punto de vista de negocio, esto significa que no trabajas con un bloque fijo, sino con una plataforma en evolución continua. Tus integraciones, tus pruebas y tus propias políticas de uso deberían asumir esa realidad, algo muy parecido a lo que ya contabas cuando analizabas por qué tantos pilotos de IA fracasan al pasar de la demo al entorno real.

9. Detrás hay centros de datos extremos y decisiones muy finas de arquitectura

Entrenar una IA tipo ChatGPT no es algo que puedas hacer con un par de GPUs en el despacho. Hablamos de miles de chips especializados (GPUs o TPUs) conectados con redes de alta velocidad, consumiendo energía a lo grande y coordinados durante semanas o meses. Empresas como OpenAI, Google o Anthropic se apoyan en nubes públicas, acuerdos específicos con fabricantes de hardware y centros de datos diseñados casi a medida.

Además del coste directo de la infraestructura de entrenamiento, está el reto del despliegue. Servir respuestas en tiempo real a millones de usuarios exige réplicas distribuidas del modelo, sharding, cachés, balanceo de carga y mucha observabilidad. Todo esto hace que los grandes modelos sean, en realidad, productos de sistemas distribuidos tanto como de investigación en IA.

No es casualidad que veamos movimientos masivos de inversión en centros de datos dedicados a IA, como analizabas al hablar de las inversiones de Anthropic en infra. Quien controle el cómputo y la cadena de suministro de chips tiene una ventaja estratégica clave en la carrera por los modelos más capaces.

10. Lo más valioso no es el modelo, son los datos y la orquestación

Visto todo lo anterior, hay una conclusión que a veces se pierde en el ruido: lo verdaderamente diferencial no suele ser la arquitectura del modelo, sino los datos que has sabido conseguir, limpiar y anotar, y la orquestación que construyes alrededor. Ahí entran desde pipelines de datos robustos y reproducibles hasta buenas prácticas de gobernanza, trazabilidad y evaluación continua.

Para empresas que quieren aplicar estas IAs a problemas concretos, el juego no es tanto competir con los gigantes en tamaño de modelo, sino combinar modelos existentes con buen diseño de sistemas, buen gobierno del dato y experiencias de usuario que aporten valor real. Lo contabas muy bien en tu artículo sobre PCs con IA para creatividad y productividad: la diferencia entre una demo llamativa y una herramienta que la gente usa cada día está en cómo se integra, no solo en cuántos parámetros tiene.

Si entiendes estas diez piezas del puzzle, dejas de ver a ChatGPT y compañía como cajas negras mágicas y empiezas a verlas como lo que son: grandes sistemas de datos y aprendizaje estadístico, llenos de decisiones de ingeniería, diseño y ética. Y, sobre todo, como una nueva capa de infraestructura sobre la que merece la pena construir, siempre que tengas claro qué quieres entrenar tú y qué prefieres dejar en manos de otros.