Multilingual and cross-lingual machine reading comprehension in few-resource settings: synthetic data, cross-lingual transfer, and domain-specific evaluation

Abstract

(English) Machine Reading Comprehension (MRC) is a fundamental benchmark for evaluating natural language understanding systems, requiring models to generate answers grounded in context. Despite advances with transformer-based architectures and large language models (LLMs), challenges persist in multilingual and cross-lingual scenarios, especially under few-resource and domain-specific constraints. This thesis addresses these challenges through three principal contributions, spanning the progression from encoder-based extractive to generative MRC, and covering data regimes from large-scale in-language supervision to zero-shot cross-lingual transfer in domain-specific settings. The first contribution introduces the Translate-Align-Retrieve (TAR) methodology, which preserves answer span alignment during translation of extractive QA datasets. By integrating neural machine translation, unsupervised word alignment, and alignment-based answer retrieval, TAR enables systematic construction of high-quality multilingual training data for low-resource languages. This approach produced SQuAD-es v1.1, the first large-scale Spanish extractive QA dataset (87,599 question-answer pairs). Models trained on this resource achieve or surpass established baselines on Spanish QA benchmarks, demonstrating that alignment-based translation is effective for mitigating data scarcity. The second contribution develops a self-knowledge distillation framework with cross-lingual sampling to enhance transfer in few-resource settings with limited parallel data. This work addresses Cross-Lingual Transfer (XLT) and Generalised Cross-Lingual Transfer (G-XLT), where question and context are in different languages. The method integrates cross-lingual sampling as data augmentation with self-knowledge distillation as regularisation, introducing a mean Average Precision at k (mAP@k) coefficient to modulate distillation loss by teacher model quality. Evaluations on MLQA, XQuAD, and TyDiQA-GoldP demonstrate consistent improvements over standard fine-tuning, providing a robust alternative to machine translation-based augmentation when only limited parallel resources exist. The third contribution presents a semi-automatic methodology for constructing privacy-preserving multilingual QA benchmarks in sensitive, data-scarce domains, exemplified by the Human Resources (HR) domain with JobResQA. This combines data de-identification, LLM-based synthesis, and human-in-the-loop translation with MQM error annotations and post-editing. JobResQA comprises 105 synthetic résumé–job description pairs and 581 QA items across five languages and four question types. Baseline evaluation using the G-Eval LLM-as-judge metric across nine open-weight models reveals persistent cross-lingual challenges, with only the largest models attaining high accuracy across all languages. The methodology also enables bias and fairness investigations in high-stakes HR applications. Collectively, these contributions show that data scarcity, cross-lingual transfer, and domain specificity persist as central challenges across architectural paradigms, particularly in few-resource settings. All resources, including datasets, models, and code, are released as open-source. The TAR methodology has seen widespread adoption with over 100 citations, producing datasets for diverse languages and scripts. While performance has improved with LLMs, the core challenges addressed in this thesis remain central to advancing multilingual and cross-lingual MRC. (Català) La comprensió lectora màquina (MRC) és una mètrica clau per avaluar els sistemes de comprensió del llenguatge natural. Malgrat els avenços en les arquitectures basades en transformadors i els models de llenguatge a gran escala (LLMs), encara hi ha reptes en entorns multilingües i interlingüístics, especialment en condicions de recursos limitats i específics d'un domini. Aquesta tesi aborda aquests reptes mitjançant tres contribucions principals, que abasten des de la comprensió lectora màquina extractiva fins a la generativa, i cobreixen règims de dades des de la supervisió a gran escala en el mateix idioma fins a la transferència interlingüística sense entrenament previ en dominis específics. La primera contribució presenta la metodologia Translate-Align-Retrieve (TAR), que preserva l'alineació dels intervals de resposta durant la traducció de conjunts de dades de preguntes i respostes extractives. TAR integra la traducció automàtica neuronal, l'alineació de paraules no supervisada i la recuperació de respostes basada en l'alineació, la qual cosa permet la construcció de dades d'entrenament multilingües d'alta qualitat per a llengües amb pocs recursos. Aquest enfocament va donar lloc a SQuAD-es v1.1, el primer conjunt de dades extractiu a gran escala (87.599 parells) en espanyol. Els models entrenats igualen o superen els models de l'estat de l'art en els benchmarks en espanyol, la qual cosa demostra l'eficàcia de la traducció basada en l'alineació per mitigar l'escassetat de dades. La segona contribució desenvolupa un marc de distil·lació de coneixement propi amb mostreig multilingüe per millorar l'aprenentatge per transferència amb recursos limitats i dades paral·leles. El mètode aborda la transferència interlingüística (XLT) i la transferència interlingüística generalitzada (G-XLT), integrant la mostreig multilingüe com a tècnica d'augment de dades i introduint un coeficient de precisió mitjana a k (mAP@k) per modular la pèrdua de destil·lació. Les avaluacions en MLQA, XQuAD i TyDiQA-GoldP demostren millores constants respecte a l'entrenament fin (fine-tuning) estàndard, i ofereixen una alternativa robusta a l'augment basat en la traducció automàtica. La tercera contribució presenta una metodologia semiautomatitzada per crear bancs de proves multilingües de preguntes i respostes que preserven la privacitat en dominis sensibles, il·lustrada amb JobResQA en el domini de recursos humans (RRHH). La metodologia combina la desidentificació de dades, la síntesi basada en LLM, la traducció assistida per humans i les anotacions MQM. JobResQA comprèn 105 parells sintètics de currículums i descripcions de llocs de treball i 581 parells de preguntes i respostes en cinc idiomes i quatre tipus de preguntes. L'avaluació mitjançant G-Eval LLM-as-judge en nou models de codi obert revela reptes interlingüístics persistents, i només els models més grans aconsegueixen una alta precisió en tots els idiomes. En conjunt, aquestes contribucions demostren que l'escassetat de dades, la transferència interlingüística i l'especificitat de domini continuen sent reptes fonamentals en tots els paradigmes arquitectònics. Tots els recursos es publiquen com a codi obert. La metodologia TAR ha estat àmpliament adoptada, amb més de 100 citacions, generant conjunts de dades per a diverses llengües i scripts. Tot i que el rendiment ha millorat amb els LLM, els reptes tractats en aquesta tesi continuen sent clau per avançar en la comprensió de textos multilingües i interlingües. (Español) La comprensión lectora automática (MRC) es un criterio fundamental para evaluar sistemas de comprensión del lenguaje natural. A pesar de los avances con arquitecturas basadas en transformadores y modelos de lenguaje a gran escala (LLM), persisten retos en escenarios multilingües e interlingüísticos, especialmente bajo restricciones de escasos recursos y de dominio específico. Esta tesis aborda estos retos a través de tres contribuciones principales, que abarcan desde la MRC extractiva hasta la generativa, cubriendo regímenes de datos desde la supervisión a gran escala en el mismo idioma hasta la transferencia interlingüística sin entrenamiento previo en dominios específicos. La primera contribución introduce la metodología Translate-Align-Retrieve (TAR), que conserva la alineación de los intervalos de respuesta durante la traducción de conjuntos de datos de preguntas y respuestas extractivas. TAR integra traducción automática neuronal, alineación de palabras no supervisada y recuperación de respuestas basada en la alineación, permitiendo construir datos de entrenamiento multilingües de alta calidad para lenguas con pocos recursos. Este enfoque dio lugar a SQuAD-es v1.1, el primer conjunto de datos extractivo en español a gran escala (87 599 pares). Los modelos entrenados alcanzan o superan las referencias en benchmarks en español, demostrando la eficacia de la traducción basada en alineación para mitigar la escasez de datos. La segunda contribución desarrolla un marco de destilación de autoconocimiento con muestreo multilingüe para mejorar la transferencia con pocos recursos y datos paralelos limitados. El método aborda la transferencia multilingüe (XLT) y la transferencia multilingüe generalizada (G-XLT), integrando el muestreo multilingüe como aumento de datos e introduciendo un coeficiente de precisión media en k (mAP@k) para modular la pérdida de destilación. Las evaluaciones en MLQA, XQuAD y TyDiQA-GoldP demuestran mejoras consistentes frente al ajuste fino estándar, ofreciendo una alternativa robusta al aumento basado en traducción automática. La tercera contribución presenta una metodología semiautomática para la creación de bancos de pruebas multilingües de preguntas y respuestas que preservan la privacidad en ámbitos sensibles, ilustrada con JobResQA en el dominio de recursos humanos (RR. HH.). La metodología combina desidentificación de datos, síntesis basada en LLM, traducción con intervención humana y anotaciones MQM. JobResQA comprende 105 pares sintéticos de currículum y descripción de puesto y 581 pares de preguntas y respuestas en cinco idiomas y cuatro tipos de preguntas. La evaluación con G-Eval LLM-as-judge en nueve modelos de peso abierto revela retos interlingüísticos persistentes, y solo los modelos más grandes alcanzan alta precisión en todos los idiomas. En conjunto, estas contribuciones demuestran que la escasez de datos, la transferencia entre idiomas y la es