Tesista: Teo Gutter
Director: Luciano Del Corro
Resumen.
Los sistemas de Generación por Recuperación Aumentada (RAG) permiten a los grandes modelos de lenguaje (LLMs) acceder a información externa en tiempo real, superando así las limitaciones impuestas por su propio entrenamiento, como la dificultad para controlar con exactitud qué información conoce el modelo. Este enfoque no solo mejora significativamente la calidad de las respuestas generadas por asistentes basados en LLMs, sino que también permite incorporar conocimiento específico, confidencial o ausente en su entrenamiento. Como consecuencia, los sistemas RAG se están adoptando de manera cada vez más extendida y horizontal en la industria. Los sistemas basados en RAG, sin embargo, enfrentan desafíos significativos relacionados con la latencia y el costo computacional. Además, estos sistemas suelen recuperar documentos que presentan alta similitud superficial pero baja diversidad semántica, lo que reduce la cobertura del contexto relevante y limita la capacidad del modelo para generar respuestas completas y bien fundamentadas. Para mitigar estas limitaciones, esta tesis presenta KRAQ (Knowledge-graph Representative Automatic Questions), un sistema que permite precomputar conjuntos de preguntas representativas para un corpus determinado a partir de un grafo de conocimiento. Para ello, se realiza la detección de entidades y relaciones presentes en los textos con las cuales se construye el grafo. Luego, se identifican comunidades “semánticas” dentro del grafo que permiten la generación de resúmenes textuales. Finalmente, con un LLM fine-tuneado se genera un conjunto de preguntas representativas a partir de dichos resúmenes. La principal ventaja de este enfoque es su capacidad para generar preguntas que capturan relaciones profundas presentes en el corpus, incluso cuando dichas relaciones se extienden a través de múltiples documentos o no están formuladas explícitamente en el texto. De este modo, se obtiene un conjunto de preguntas verdaderamente representativas del contenido, que refleja de manera más fiel la estructura semántica subyacente. Este listado de preguntas permite optimizar sistemas RAG: por un lado, incrementando la precisión mediante estrategias de recuperación combinada, donde se enriquece el mconjunto de documentos recuperados; y por otro, mejorando la latencia de sistemas de RAG como Speculative RAG, utilizando las preguntas generadas para pre-computar los embeddings necesarios para separar en subconjuntos los documentos. La validación experimental, realizada en múltiples datasets estándar como TriviaQA, BioASQ, PubHealth y HotPotQA, demostró la efectividad de KRAQ. Los resultados evidencian que las preguntas representativas superan a los baselines por hasta 49 puntos porcentuales, mientras que su aplicación en sistemas RAG impulsó mejoras de hasta un 3 % en la precisión y reducciones de hasta un 11.8 % en la latencia. La incorporación de estas preguntas no solo mejora la eficiencia y precisión de RAG, sino que abre un camino prometedor para escalar esta tecnología.
Palabras claves: Generación Aumentada por Recuperación (RAG), Modelos de Lenguaje de Gran Escala (LLMs), Generación Automática de Preguntas (QG), Grafos de Conocimiento (KG), Clustering Semántico, Optimización de RAG.
Buenos Aires, 2025
Descargar PDF
Generación automática de preguntas basada en grafos de conocimiento para optimización de sistemas de recuperación aumentada