Tesista: Alejandro Wainstock
Director: Dr. Enzo Tagliazucchi
Resumen.
La investigación en Grandes Modelos de Lenguaje (LLMs) reveló su potencial no solo como herramientas de procesamiento de lenguaje natural, sino también como análogos computacionales para comprender la cognición humana. Esta tesis exploró los efectos de la degradación controlada en un LLM, especı́ficamente el modelo Gemma 3 4B-IT, con el objetivo de caracterizar los patrones de deterioro y establecer analogı́as con trastornos del lenguaje y del pensamiento en humanos. Para ello, se implementaron tres métodos de perturbación (ruido gaussiano multiplicativo, ablación de pesos y cuantización uniforme) aplicados sistemáticamente sobre componentes clave del modelo: las matrices de Embeddings, de las capas de atención y de las redes Feed-Forward (MLP). Se diseñó un protocolo experimental riguroso para evaluar el rendimiento del modelo degradado en un conjunto de tareas que incluyen relatos de sueños, la descripción de la lámina del Cookie Theft, razonamiento lógico-matemático y comprensión verbal. Las métricas de evaluación se obtuvieron mediante análisis lingüı́sticos computacionales y la evaluación de un LLM juez externo (GPT-4o-mini). Los resultados revelaron en algunos casos una vulnerabilidad diferencial de los componentes del modelo. Por ejemplo, la degradación en las capas de atención produjo un deterioro gradual, caracterizado por una pérdida progresiva de la concisión y coherencia discursiva. El análisis del orden de deterioro mostró que, dependiendo del componente afectado, emergen distintas jerarquı́as de vulnerabilidad. Notablemente, el daño en la matriz de Embeddings afectó primero a la riqueza léxica, mientras que el daño en la atención y el MLP impactó de forma más temprana en las tareas de razonamiento. Este trabajo subrayó el valor de los LLMs como modelos in silico para la neurociencia computacional, permitiendo simular y estudiar la desintegración de funciones cognitivas de manera controlada. Asimismo, ofreció insights sobre la arquitectura funcional de los LLMs, identificando vulnerabilidades y contribuyendo al desarrollo de sistemas de IA más robustos y comprensibles. Las implicaciones futuras abarcan desde el desarrollo de herramientas de diagnóstico temprano hasta la formulación de hipótesis sobre la etiologı́a de los trastornos del lenguaje y del pensamiento.
Palabras clave: Grandes Modelos de Lenguaje, Degradación Controlada, Simulación Cognitiva, Neurociencia Computacional, Trastornos del Lenguaje, Gemma, Modelos In Silico.
Buenos Aires, 2025
Esta tesis no es pública, consultar con el autor.