Modelos que ven, escuchan y hablan: así son las IAs multimodales que lo hacen todo

OPINIÓN & FUTURO · INTELIGENCIA ARTIFICIAL

1. Qué significa que una IA sea multimodal de verdad

Durante años, el patrón fue siempre el mismo: modelos para texto, otros para imagen, otros para audio. Si querías algo más complejo, los encadenabas como podías. OCR para leer una captura, luego un modelo de lenguaje para interpretarla, después otro para generar voz. Cada salto era una fuente de errores, latencia y bugs.

Una IA multimodal de verdad funciona distinto: un solo modelo recibe varios tipos de entrada a la vez (texto, imágenes, audio, vídeo), los transforma a una representación común y razona sobre todo eso de forma conjunta. No hay tantos “pasamanos” entre sistemas distintos, sino un único “cerebro” que integra todas las señales al mismo tiempo.

Esto parece un detalle técnico, pero cambia la experiencia por completo. En vez de decirle a la IA “primero lee esto y luego mira esta foto”, puedes simplemente subir un documento con gráficos, adjuntar una captura de pantalla y preguntarle por voz “¿qué me falta para presentar esto mañana?”. El modelo entiende que todo forma parte de la misma escena.

2. De encadenar APIs a un solo “cerebro”: qué ha cambiado por dentro

Técnicamente, el salto ha sido construir arquitecturas donde todas las modalidades se proyectan a un espacio compartido de representación. El texto, los píxeles de una imagen o los espectrogramas de audio se convierten en vectores y se mezclan en una misma secuencia interna sobre la que el modelo aplica atención, igual que haría con un párrafo largo.

Ese “lenguaje común” permite cosas que antes eran un dolor: responder a una pregunta sobre un vídeo señalando el momento exacto, correlacionar gestos de una persona con lo que dice, leer un PDF con tablas, capturas y párrafos y no limitarse solo al texto plano. Y, sobre todo, mantener contexto entre modalidades: saber que la voz que habla y la cara que aparece pertenecen a la misma persona, que la diapositiva que compartes y la pregunta del chat están conectadas, etc.

En paralelo, han ido surgiendo modelos especializados (reconocimiento de voz, visión, traducción) que sirven de “puerta de entrada” a ese espacio multimodal, y modelos cada vez más ligeros que permiten llevar estas capacidades a móviles, gafas o dispositivos embebidos, algo muy en la línea de lo que ya contamos cuando hablamos de modelos omnilingües de reconocimiento de voz.

3. Quiénes son los protagonistas: GPT-4o, Gemini, Claude y compañía

A día de hoy, hay tres grandes familias generalistas que marcan el paso en multimodal: los modelos de OpenAI (GPT-4o y variantes), la familia Gemini de Google y la familia Claude de Anthropic, con diferentes sabores y tamaños.

GPT-4o: conversación natural con texto, imagen y audio

GPT-4o es el modelo “omni” de OpenAI: entiende texto, imágenes y audio, y puede responder también por voz en tiempo casi real. La clave no es solo que transcriba lo que dices, sino que razona directamente sobre la señal de audio, detecta matices, interrupciones, ruido de fondo, etc. Está pensado para conversaciones fluidas, traducción simultánea y asistentes que reaccionan mientras hablas y te mueves.

Gemini: texto, imagen, audio y vídeo en un flujo único

La familia Gemini está diseñada desde el principio como nativamente multimodal. Ya no solo entiende imágenes y audio: procesa vídeos largos, puede responder a preguntas sobre escenas concretas y, en versiones recientes, incluso generar salidas multimodales (texto, imágenes y voz) dentro del mismo modelo. Es especialmente fuerte en tareas de análisis de vídeo y documentos complejos con gráficos, tablas e ilustraciones.

Claude 3.5: visión, herramientas y control del ordenador

Claude 3.5 Sonnet y sus variantes dan menos bombo al audio por ahora, pero ofrecen visión avanzada sobre imágenes y pantallazos y, sobre todo, una capacidad muy interesante: “computer use”, que le permite ver tu pantalla, mover el ratón y accionar interfaces gráficas. Es una multimodalidad orientada a la acción: ver, entender y hacer clic por ti, algo que ya analizamos desde el ángulo de habilidades en el post sobre skills de Claude y agentes especializados.

A estos se suman modelos abiertos como Gemma 3, que empiezan a ofrecer entrada multimodal (texto, imagen, audio, vídeo) pensada para ejecutarse en dispositivos con recursos limitados. Son los candidatos a llevar esta experiencia “todo en uno” a móviles y hardware propio, sin depender siempre de la nube.

4. Cómo puede cambiar tu día a día una IA que lo hace todo

Más allá de demos espectaculares, lo interesante es imaginar tu rutina con una IA que ve, escucha y habla.

Reuniones que no solo transcriben, entienden

Un asistente multimodal puede unirse a la videollamada, escuchar a cada persona, leer las diapositivas, mirar el chat y el tablero Miro y luego sacar acciones claras: quién se ha comprometido a qué, qué dudas quedan abiertas, qué riesgos han surgido. Ya no es “te paso el acta”, sino “esto es lo que deberíamos hacer mañana a primera hora”.

Aprender con vídeo, no solo con texto

Puedes coger un vídeo largo de YouTube, una clase grabada o un tutorial y pedirle a la IA que actúe como profesor privado: que te pare en los momentos clave, que te pregunte si lo has entendido, que te ponga ejemplos distintos. Ya hay modelos capaces de segmentar automáticamente un vídeo en capítulos, detectar cambios de tema y asociarlos con el audio y las diapositivas. Eso convierte cualquier contenido en un curso interactivo.

Asistentes que viven en tu pantalla

Un modelo multimodal con “computer use” puede ver lo que hay en tu monitor y ayudarte de forma mucho más directa: entender por qué falla un script al mirar la consola, completar un informe leyendo las celdas de Excel, o automatizar una tarea repetitiva navegando por una web como lo harías tú. Aquí los agentes de escritorio se mezclan con los asistentes de noticias, investigación o productividad de los que ya hemos hablado en el contexto de asistentes de IA para información y noticias.

Traducción simultánea que entiende el contexto visual

Piensa en viajar con unos auriculares y una cámara: la IA escucha lo que dice la persona delante de ti, ve sus gestos, analiza los carteles del entorno y te susurra una versión adaptada a tu idioma y contexto. No es solo traducir palabras, es interpretar la escena completa para que no te pierdas matices importantes.

5. Lo que todavía falla: alucinaciones, latencia y ruido

Que estos modelos sean impresionantes no significa que sean infalibles. De hecho, mezclar modalidades también mezcla errores.

• Alucinaciones multimodales. El modelo puede “ver” cosas que no están en una imagen o inferir relaciones inexistentes entre lo que se escucha y lo que se ve.
• Latencia y cortes. Para que una conversación por voz se sienta natural, el retraso tiene que ser mínimo. Eso es un reto cuando hay que procesar audio, vídeo y texto a la vez.
• Ruido y calidad de la señal. Cámaras malas, micrófonos saturados, pantallas llenas de ventanas superpuestas… la vida real no es una demo limpia, y eso se nota.
• Contexto limitado. Aunque las ventanas de contexto crecen, aún es fácil “romper” al modelo con horas de vídeo y decenas de documentos mezclados.

Además, algunos modelos son multimodales en el papel, pero todavía están más pulidos en texto que en audio o vídeo. Es algo que ya se ve en comparativas: Gemini suele brillar leyendo vídeos, GPT-4o va fuerte en voz y conversación, Claude destaca en visión sobre documentos y pantallas. No hay un “ganador absoluto”, sino especializaciones.

6. Privacidad, vigilancia y deepfakes: cuando la multimodalidad se vuelve inquietante

Todo lo que hace atractiva a una IA multimodal la hace también peligrosa si se usa mal.

Privacidad radical. Una IA que ve tu pantalla, escucha tus reuniones, lee tus documentos y revisa tus fotos de forma constante se convierte en un espejo total de tu vida digital. La pregunta no es solo “¿qué puede hacer por mí?”, sino “¿quién ve todo eso, dónde se guarda y cómo se usa después?”. No es casual que grandes actores estén invirtiendo en cómputo privado y en ejecutar modelos más ligeros en dispositivos propios, como comentábamos al hablar de private AI compute.

Deepfakes cada vez más creíbles. Si un modelo entiende muy bien cómo suena una voz y cómo se mueve un rostro, también puede generarlos. La frontera entre “asistente por voz” y “impostor perfecto” se hace muy fina. Ya hemos visto cómo los deepfakes de vídeo y audio pueden utilizarse para desinformación o fraude; añadir multimodalidad solo hace más difícil distinguir lo real de lo sintético.

Dependencia cognitiva. Si delegas en un modelo que ve y escucha por ti, corres el riesgo de dejar de mirar y escuchar. Es cómodo que la IA te resuma todo, pero ¿qué pasa cuando se equivoca o cuando alguien manipula lo que ve y oye para inclinar tus decisiones? Es el mismo dilema que se abre cuando hablamos de delegar decisiones en algoritmos, desde la sanidad hasta la política.

7. El siguiente paso: agentes que actúan sobre el mundo

La multimodalidad es solo la base. El movimiento que viene ahora es combinarla con agentes capaces de actuar sobre herramientas: navegadores, hojas de cálculo, editores de vídeo, entornos de programación, sistemas de la empresa.

Piensa en un agente que no solo entiende una conversación de equipo y las diapositivas, sino que, al terminar, abre Notion, crea una página con el resumen, llena un Excel con tareas y fechas y manda los correos de seguimiento. En los experimentos que ya se están haciendo, la multimodalidad es clave para que el agente sepa qué hay en cada ventana, qué botón pulsar y qué información falta.

Esto conecta con muchas de las ideas que hemos ido explorando sobre automatizar procesos con IA, desde ventas hasta atención al cliente. El salto ahora es que el “cerebro” del agente no solo lee texto, sino que se apoya en lo que ve y oye. Eso permite automatizaciones más ricas, pero también aumenta el riesgo si el agente se equivoca o es manipulado.

8. Cómo prepararte para convivir con una IA que lo ve todo

No puedes controlar hacia dónde evolucionan estos modelos, pero sí cómo te relacionas con ellos. Algunas ideas prácticas:

• Empieza por casos concretos. No necesitas que la IA vea toda tu pantalla desde el día uno. Empieza por tareas acotadas: revisar documentos, resumir vídeos, ayudarte con presentaciones.
• Define zonas “privadas”. Decide qué reuniones, chats o documentos nunca estarán al alcance de un asistente multimodal, aunque sea muy cómodo que lo estén.
• Cuestiona los resúmenes. Pide que te muestren ejemplos, citas, capturas. Desconfía de cualquier sistema que solo dé conclusiones sin enseñarte de dónde salen.
• Aprende el “carácter” de tu modelo. Igual que sabes en qué es bueno o malo un compañero, conviene que sepas en qué brilla tu asistente multimodal y dónde se equivoca más.

Y, sobre todo, presta atención a cómo estas IAs cambian tu relación con la tecnología. Si ves que pasas de explorar a esperar que la máquina lo explore todo por ti, quizá sea el momento de recuperar un poco de fricción voluntaria, de mantener algunos espacios analógicos o digitales en los que la IA no entra.

9. Opinión: multimodalidad como nuevo “sistema operativo”

Si las IAs de texto fueron como tener un buscador con esteroides, las IAs multimodales se parecen más a tener un sistema operativo paralelo que se sienta a tu lado, ve tu pantalla, escucha tus conversaciones y ejecuta acciones por ti.

El riesgo no está solo en que sean muy listas, sino en que resulten demasiado cómodas. Podemos pasar de abrir apps y decidir qué hacemos en cada una, a hablar con un agente y dejar que él navegue por todo. Desde el punto de vista de negocio es una fantasía (retención, engagement, lock-in), algo que ya vimos cuando analizamos el aparente estancamiento y la reinvención del uso de ChatGPT en el artículo sobre estancamiento y engagement. Desde el punto de vista del usuario, es una negociación constante entre control y delegación.

Mi intuición es que no acabaremos usando “una mega-IA multimodal para todo”, sino varias capas: modelos grandes en la nube, modelos más pequeños en tus dispositivos y agentes especializados que se enchufan a ellos. Pero la experiencia será, cada vez más, la de hablar, mostrar y escuchar, no la de teclear. Y la pregunta interesante no es tanto qué podrán hacer estas IAs dentro de cinco años, sino qué tipo de decisiones personales, empresariales y políticas tomaremos para que esa capacidad juegue a favor de nuestras vidas, y no solo de los que las construyen.