Cómo crear un chatbot privado con tus documentos (sin subir nada a la nube)

IA PRIVADA · CHATBOTS · RAG LOCAL

1. Qué significa de verdad “no subir nada a la nube”

Muchas herramientas prometen “modo privado” o “tus datos no se usan para entrenar el modelo”. Eso está bien, pero no es lo mismo que no enviar nunca tu documento a un servidor externo. Mientras haya una llamada a un servicio remoto, tu información sale de tu red y depende de contratos, controles de acceso y buena fe del proveedor.

En cambio, cuando montas un chatbot local, todo el flujo ocurre en un entorno que tú controlas: tu PC, un miniPC en tu oficina, un servidor on-premises. El modelo, las incrustaciones (embeddings) y la base de datos se ejecutan en tu máquina. Puedes incluso aislarlo de Internet para tener un air-gapped assistant al que le podrías confiar cosas que jamás mandarías a un servicio público.

En esta guía nos centramos en ese escenario: uso local o en servidores propios. Nada de subir PDFs a plataformas de terceros para “chatear con tus documentos”. Tú mandas, tú alojas, tú defines el riesgo aceptable.

2. Arquitectura básica: así funciona un chatbot privado con RAG

La mayoría de chatbots sobre documentos hoy se basan en RAG (Retrieval-Augmented Generation). Traducido: antes de que el modelo responda, el sistema busca en tus archivos los fragmentos más relevantes y se los pasa como contexto. El modelo no “se aprende” tus PDFs, pero sí los consulta cada vez.

A grandes rasgos, la arquitectura que vas a montar tiene estas piezas:

• 1) Ingesta de documentos: lees PDFs, DOCX, PPTX, Markdown, etc. y los conviertes a texto.
• 2) Troceado: divides ese texto en fragmentos manejables (por ejemplo, 500–1000 palabras) con algo de solapamiento.
• 3) Embeddings: conviertes cada fragmento en un vector numérico que captura su significado.
• 4) Base vectorial: guardas esos vectores en una base de datos especializada para búsqueda por similitud.
• 5) Chat: cuando haces una pregunta, se generan embeddings de la consulta, se buscan los fragmentos más cercanos y se pasan al modelo como contexto para que redacte la respuesta.

Este patrón básico se puede sofisticar con reordenadores, filtros de permisos o enfoques como Graph-RAG para entender mejor las relaciones entre entidades, algo que puedes explorar a fondo en tu artículo sobre Graph RAG y recuperación basada en grafos cuando quieras ir al siguiente nivel.

3. Paso 1: Define tu caso de uso y tu nivel de riesgo

Antes de instalar nada, merece la pena pensar qué quieres hacer exactamente y qué estás dispuesto a asumir. No es lo mismo un estudiante que quiere consultar sus apuntes que un despacho que maneja due diligence o historiales clínicos.

Si trabajas en Europa o con clientes europeos, conviene además cruzar esto con tus obligaciones legales (RGPD, confidencialidad, sector regulado) y con el marco del EU AI Act para PYMEs y autónomos, especialmente si el chatbot se va a usar en procesos críticos.

4. Paso 2: Elige dónde va a vivir el modelo (y qué herramienta usar)

Hoy es relativamente sencillo correr modelos de lenguaje en tu propio equipo gracias a herramientas como Ollama o LM Studio, que permiten descargar modelos open-source y usarlos vía una interfaz gráfica o API HTTP, sin depender de la nube de terceros.

Un esquema sencillo para decidir podría ser:

• Portátil o PC de sobremesa (sin GPU dedicada potente): modelos de 7–8B parámetros cuantizados (Llama 3, Mistral, Qwen, Phi, etc.) en formato optimizado; velocidad suficiente para uso personal.
• Workstation o servidor con GPU: puedes subir a modelos de 14–70B para más calidad, o servir varios usuarios a la vez.
• MiniPC / homelab: muy buena opción si quieres un servidor central en tu oficina: se deja encendido, se accede por navegador interno y no sacas los datos de tu red.

Si necesitas ayuda para escoger modelo, puedes apoyarte en guías como tu análisis sobre cómo elegir modelo open-source en 2025, donde comparas tamaños, rendimiento y requisitos de hardware.

5. Paso 3: Monta el motor de IA local (ejemplo con Ollama)

Vamos a usar Ollama como ejemplo porque es multiplataforma (Windows, macOS, Linux) y expone una API muy simple en http://localhost:11434. El patrón será muy similar si prefieres LM Studio u otra herramienta.

1. Instala Ollama desde su web oficial y sigue el asistente.
2. Descarga un modelo, por ejemplo:
   ollama run llama3 (la primera vez tardará porque baja los pesos).
3. Prueba el chat local en la propia app o por terminal para asegurarte de que responde bien en tu idioma.
4. Activa la API (normalmente viene activa por defecto) para que otras aplicaciones puedan llamarla desde localhost.

Con esto ya tienes un modelo de lenguaje corriendo localmente. El siguiente paso es enseñarle a “mirar” tus documentos en vez de responder solo con conocimiento general.

6. Paso 4: Prepara tus documentos y la base vectorial

Aquí entra en juego la parte de RAG. Necesitas una pieza que lea tus archivos, los trocee, calcule embeddings y los guarde en una base de vectores para luego hacer búsquedas rápidas por similitud.

A nivel de herramientas open-source, lo más habitual es usar librerías tipo LangChain, LlamaIndex u otras soluciones RAG, junto con bases vectoriales como Chroma, Qdrant, Weaviate, Milvus o FAISS, que permiten búsquedas semánticas eficientes a escala.

Un flujo minimalista podría ser:

• 1) Cargar documentos: usar loaders que lean PDFs, DOCX, HTML, etc.
• 2) Trocear: dividir en fragmentos con contexto (por ejemplo, 800–1000 tokens con 100 de solapamiento).
• 3) Embeddings locales: usar un modelo de embeddings open-source que también puedas correr localmente (por ejemplo, modelos BGE o similares).
• 4) Persistir: guardar los vectores en Chroma o Qdrant en una carpeta/localhost, no en un servicio gestionado en la nube.

Una vez construida la base vectorial, cada pregunta que hagas al chatbot hará una búsqueda semántica en este “índice privado” y recuperará solo los trozos relevantes de tus archivos para pasárselos al modelo local.

7. Paso 5: Conecta todo en un chatbot (con y sin código)

Llegados a este punto tienes dos grandes caminos: usar una solución “casi sin código” que ya trae todo montado, o crear tu propio flujo con un poco de programación. Las dos opciones son válidas; lo importante es que el despliegue siga siendo local.

Opción A: soluciones llave en mano (PrivateGPT, AnythingLLM…)

PrivateGPT es un proyecto que precisamente nació para permitir preguntas sobre tus documentos en escenarios sin conexión a Internet: ingesta local, embeddings locales y modelos de lenguaje que también puedes ejecutar en tu máquina, sin que ningún dato salga del entorno de ejecución.

En paralelo, plataformas como AnythingLLM se han popularizado como “centralitas de IA” autoalojadas: permiten conectar modelos locales (por ejemplo, vía Ollama), subir documentos, generar embeddings, gestionar espacios de trabajo para equipos y exponer una interfaz web tipo chat, todo ello corriendo en tu propio servidor o homelab mediante Docker.

Si no quieres escribir código, esta opción es ideal: configuras tu modelo local, apuntas la herramienta a tus carpetas de documentos y empiezas a preguntar desde el navegador. Perfecto para PYMEs o equipos no técnicos que quieren algo usable “ya”.

Opción B: tu propio flujo con RAG (LangChain / LlamaIndex)

Si tienes algo de experiencia en Python o desarrollo backend, montar tu propio pipeline con LangChain o LlamaIndex te da más control: puedes aplicar reglas de negocio, filtros de seguridad, auditoría de logs, control de permisos por usuario, etc.

La idea sería construir un pequeño servicio que exponga un endpoint /chat: recibe una pregunta, hace búsqueda en la base vectorial, compone el prompt con los fragmentos relevantes, llama a tu modelo local (Ollama) y devuelve la respuesta. Encima de eso puedes añadir una interfaz web sencilla con FastAPI, Streamlit, Gradio o directamente integrarlo en herramientas internas como un CRM o un wiki corporativo.

8. Seguridad y privacidad: buenas prácticas imprescindibles

Montar el chatbot en local no significa que puedas olvidarte de la seguridad. De hecho, si los datos son sensibles, deberías tratar esta máquina como tratarías un servidor de base de datos crítico.

• Aislamiento de red: si es información muy sensible, ejecuta el sistema en una máquina sin acceso directo a Internet o detrás de una VPN con control estricto.
• Cifrado de disco y backups: activando cifrado completo de disco y copias de seguridad también cifradas.
• Control de acceso: usuarios y roles; no todo el mundo necesita ver todos los documentos. Si montas interfaz web, añade autenticación y logs.
• Separación de entornos: no mezclar datos de clientes distintos en el mismo índice si eso viola acuerdos de confidencialidad.
• Política de prompts: dejar claro qué se puede preguntar y qué no. El hecho de que el sistema sea interno no elimina riesgos de fugas internas.

Aquí encaja muy bien revisar tus propias advertencias sobre privacidad y sesgos en errores típicos al usar IA: alucinaciones y privacidad, porque un chatbot local puede seguir inventando respuestas o mezclar información de documentos que el usuario no debería ver.

9. Limitaciones: lo que tu chatbot privado no va a hacer (y está bien)

Un chatbot local sobre tus documentos no es magia. Si un dato no está en tus archivos, el sistema no lo sabrá, y es buena idea que así sea. Tampoco va a sustituir el criterio humano: puede ayudarte a localizar cláusulas, resúmenes o referencias cruzadas, pero la responsabilidad última sigue siendo tuya.

Además, según el tamaño del modelo, notarás diferencias de calidad frente a servicios en la nube con modelos gigantes. La clave está en el equilibrio entre privacidad, coste y precisión suficiente para tu caso. Para muchas tareas internas (buscar información, generar borradores, resumir reuniones) un modelo de 7–8B con buen RAG es más que suficiente.

10. Tres recetas rápidas según tu perfil

Si el objetivo es que este chatbot sea el núcleo de tu “copiloto interno” para negocio, tiene mucho sentido conectar esta guía con tu visión más estratégica sobre chatbots empresariales y copilotos de negocio, donde entras en cómo diseñar experiencias, flujos y métricas de éxito más allá de la simple tecnología.

11. Próximos pasos: de carpeta caótica a asistente privado

Montar un chatbot privado con tus documentos ya no es un proyecto de I+D reservado a grandes corporaciones. Con un portátil decente, algo de paciencia y las herramientas adecuadas, puedes transformar esa carpeta caótica de “Contratos”, “Legal”, “Clientes” o “Apuntes” en un asistente que entiende tu contexto y responde en segundos.

Empieza pequeño: unos pocos PDFs, un modelo local razonable y una solución tipo PrivateGPT o AnythingLLM. Cuando veas el valor real (tiempo ahorrado, errores evitados, mejor acceso a la información), podrás justificar invertir en un servidor dedicado, un RAG más avanzado o integraciones profundas con tus sistemas internos.

Lo importante es que, esta vez, la IA trabaja dentro de tus sistemas y bajo tus reglas. No necesitas renunciar a la potencia de los modelos de lenguaje para proteger tus datos. Puedes tener las dos cosas: privacidad y productividad, si diseñas el sistema con cabeza desde el principio.