RAG empresarial: cómo evaluar recuperación, fuentes, permisos y citas antes de un piloto

Elija un flujo concreto, sus usuarios y el tipo de pregunta que debe responder. Registre también qué queda fuera del alcance: decisiones que requieren criterio humano, solicitudes sin documentación autorizada o acciones que el piloto no debe ejecutar.

Para cada fuente, identifique al responsable, la autoridad sobre el tema, el público autorizado, la versión, la actualización, el formato y la política de retención. Compruebe duplicados, documentos contradictorios, tablas o anexos que pierden contexto al extraerse y archivos sin responsable. Un índice puede devolver rápidamente un fragmento obsoleto o incompleto; la velocidad de búsqueda no corrige el estado del documento original.

Defina cómo reconocer la versión vigente cuando los documentos difieren y cómo retirar o volver a indexar el contenido. Las políticas internas, las instrucciones operativas y los materiales de referencia pueden requerir reglas distintas. No existe una configuración única adecuada para todos los corpus.

El contenido heterogéneo debe extraerse y dividirse en fragmentos que preserven su significado. Los encabezados, las tablas, las notas al pie, los identificadores y la jerarquía pueden ser necesarios para recuperar y citar correctamente. La granularidad de los fragmentos, los metadatos, el modelo de embeddings y la combinación de búsqueda textual, vectorial o híbrida deben probarse con datos representativos de la tarea, y no elegirse solo por preferencia o por una demostración aislada.

Registre la configuración de ingestión e indexación, incluidas las exclusiones, la versión del parser, la estrategia de segmentación, los metadatos y los parámetros de búsqueda. Esto ayuda a reproducir una evaluación cuando cambian las fuentes o el índice. La preparación, la segmentación, el enriquecimiento, los embeddings, la recuperación y la evaluación implican decisiones propias.

En un entorno corporativo, filtrar después de que el modelo haya recibido el contexto es demasiado tarde. La identidad autenticada y las reglas de autorización deben llegar a la capa que recupera los documentos. Restrinja los resultados antes de enviar contexto al modelo, en cada búsqueda y en cada etapa de recuperación que pueda ocurrir durante una conversación o ejecución de agente.

Pruebe con identidades y grupos representativos, incluidos casos negativos: una persona sin acceso no debe obtener el contenido, una cita ni un resumen derivado de un documento restringido. Compruebe los filtros por unidad y sensibilidad cuando corresponda. Registre qué se consultó y con qué identidad de servicio, de acuerdo con las políticas de auditoría de la organización.

La arquitectura puede usar aislamiento de almacenamiento, controles de la plataforma, filtros o una capa API que aplique las reglas. La elección depende del modelo de tenancy y de los requisitos del entorno. Autenticación, autorización, filtrado durante la recuperación y pruebas de aislamiento son controles distintos.

Prepare un conjunto de pruebas con preguntas reales o representativas, documentos de referencia y, cuando sea posible, una evaluación humana de la relevancia de los fragmentos esperados. Incluya preguntas directas, términos alternativos, consultas ambiguas, información distribuida en varios documentos y preguntas sin respuesta en el corpus. El conjunto debe reflejar el uso previsto, no solo ejemplos en los que la búsqueda ya funciona.

Evalúe primero la recuperación: ¿aparecen los documentos correctos en una posición útil? ¿Hay fragmentos irrelevantes, lagunas o fuentes antiguas? Cuando existen etiquetas de relevancia, las medidas de ranking y cobertura ayudan a comparar configuraciones. Sin ellas, una evaluación cualitativa cuidadosa aún puede detectar fallos, pero no debe llamarse benchmark universal.

Después evalúe la respuesta final en dimensiones distintas: pertinencia para la pregunta, respaldo en el contexto recuperado, completitud frente a la respuesta esperada y fidelidad de las citas. Una respuesta puede ser pertinente e incluir una afirmación sin respaldo; también puede estar bien fundamentada y omitir una condición importante. Las métricas automáticas y los evaluadores basados en modelos ayudan a organizar comparaciones, pero deben interpretarse junto con ejemplos y revisión humana.

Documente las preguntas, la versión del corpus, la configuración de recuperación y los criterios de aceptación antes de comparar cambios. Los responsables del producto, de los datos y del riesgo del caso de uso deben definir los umbrales. Los ejemplos publicados por proveedores no son metas automáticamente adecuadas para la organización.

Una cita es útil cuando conduce a una fuente autorizada e identificable —por ejemplo, documento, versión y sección— y cuando el fragmento realmente respalda la afirmación asociada. Compruebe si la interfaz mantiene la referencia hasta el documento original, si quien recibe la respuesta puede abrir esa fuente y si la afirmación sigue siendo correcta cuando se cita fuera de contexto.

Compruebe citas ausentes, enlaces rotos, fuentes duplicadas, documentos modificados y afirmaciones respaldadas solo por un pasaje relacionado pero no concluyente. La presencia de un enlace no demuestra que la respuesta sea correcta. Cuando la evidencia no respalde una afirmación, el sistema debe hacer explícita esa limitación.

Incluya casos en los que la respuesta no está en las fuentes, los documentos entran en conflicto, los permisos impiden la consulta o la recuperación aporta contexto insuficiente. Evalúe si el sistema señala la limitación, solicita una aclaración o deriva la pregunta a una persona responsable, en vez de llenar el vacío con una inferencia presentada como un hecho.

Pruebe la política de abstención junto con la utilidad de las respuestas. Un sistema que nunca se arriesga puede no cumplir el propósito del piloto; uno que siempre responde puede ocultar la falta de evidencia. El equilibrio depende de la criticidad de la tarea y debe ser aprobado por los responsables del proceso.

RAG no elimina las alucinaciones ni sustituye los controles de calidad, seguridad o revisión. Incluso con contexto recuperado, el modelo puede responder de forma incompleta o producir afirmaciones sin respaldo.

La recuperación añade componentes, procesamiento, latencia y mantenimiento al flujo de generación. La ingestión, la actualización del índice, los embeddings, el volumen de contexto y la estrategia de búsqueda también influyen en el comportamiento y el costo. Registre estas señales en la evaluación y compare alternativas dentro del objetivo y las restricciones del caso, sin fijar metas genéricas.

Un piloto debe aclarar cómo detectar cambios en las fuentes, revisar preguntas y ejemplos de prueba, identificar regresiones y asignar responsabilidades por incidentes de acceso o contenido. Aprobar un prototipo no sustituye la planificación operativa necesaria antes de ampliar el uso.

Use estas preguntas para estructurar la evaluación. No garantizan que una solución esté lista para producción.