Sistemas RAG: Más Allá del Demo — Lo Que Se Necesita para Llegar a Usuarios Reales

La Generación Aumentada por Recuperación (RAG) es una de las aplicaciones más prácticas de los LLMs. El concepto es simple: recuperas los documentos relevantes, se los pasas a un LLM como contexto y generas una respuesta bien informada.

Construir un demo de RAG toma un fin de semana. Construir un sistema RAG en producción toma semanas de disciplina de ingeniería. Esto es lo que separa a uno del otro.

El demo de fin de semana

Cargas unos PDFs en una base de datos vectorial. Escribes una consulta de recuperación sencilla. Le pasas los resultados a GPT-4. Listo. Funciona sorprendentemente bien para consultas del camino feliz sobre documentos limpios.

El sistema en producción

Un RAG en producción exige cuidar:

• Estrategia de fragmentación: La forma en que divides los documentos afecta drásticamente la calidad de la recuperación.
• Elección del modelo de embeddings: Distintos modelos rinden distinto según el tipo de contenido.
• Pipeline de recuperación: Búsqueda híbrida (vectorial + por palabra clave), re-ranking y filtrado por metadatos.
• Evaluación: Medición sistemática de la relevancia de la recuperación y la precisión de las respuestas.
• Ingesta de datos: Manejo de actualizaciones, borrados y versionado de los documentos fuente.
• Monitoreo: Seguimiento de los patrones de consulta, los modos de falla y la satisfacción de los usuarios.

En DevBox hemos construido sistemas RAG en producción que atienden a usuarios reales con expectativas reales. La ingeniería detrás de un sistema en producción es 10 veces el trabajo de un demo, pero ahí es donde está el valor.