Terminological Quality Evaluation in Turkish to English Corpus-Based Machine Translation in Medical Domain

Abstract

Els aspectes generals de qualitat de la traducció automàtica (TA), com l’adequació i la fluïdesa, s’han estudiat àmpliament, però els aspectes més detallats, com la qualitat de la traducció de la terminologia, s’han subestimat, especialment en el context dels estudis de traducció. L’objectiu d’aquest estudi és analitzar els tipus i freqüències d’errors terminològics en la traducció automàtica estadística (TAE) i la traducció automàtica neuronal (TAN) personalitzades amb l’objectiu final de comprendre com el tipus de sistema de TA, el tipus de corpus i la mida del corpus afecten la qualitat de la traducció de terminologia.

Un corpus paral·lel turc-anglès obtingut a partir de resums de revistes de cardiologia va ser creat des de zero per entrenar motors de TAE i TAN de dominis específics. Després, aquest corpus es va combinar amb un corpus de domini mixt i es van entrenar dos motors més. Després de realitzar una avaluació automàtica i una avaluació humana en aquests 4 motors, els errors de terminologia es van anotar segons una tipologia d’errors de terminologia personalitzada. S’ha trobat que els tipus i freqüències dels errors terminològics són significativament diferents en els sistemes TAE i TAN, i que els canvis en la mida i tipus de corpus han tingut un impacte més dràstic en el TAN en comparació amb la TAE.

Una contribució clau de la dissertació a la investigació sobre TA és la tipologia d’error de terminologia independent del llenguatge per avaluar les fortaleses i debilitats relatives de diferents sistemes de TA en termes de terminologia. A més, la troballa que els sistemes TAN exhibeixen diferents tipus d’errors de terme amb diferents freqüències implica que les guies de postedició concebudes específicament per a sistemes TAE podrien requerir canvis per tal d’adaptar-se al nou patró de comportament de TAN.

Los aspectos generales de calidad de la traducción automática (TA), como la adecuación y la fluidez, se han estudiado ampliamente, pero los aspectos más detallados, como la calidad de la traducción de la terminología, se han subestimado, especialmente en el contexto de los estudios de traducción. El objetivo de este estudio es analizar los tipos y frecuencias de errores terminológicos en la traducción automática estadística (TAE) y la traducción automática neuronal (TAN) con el objetivo final de comprender cómo el tipo de sistema de TA, el tipo de corpus y el tamaño del corpus afectan la calidad de la traducción de terminología.

Un corpus paralelo turco-inglés obtenido a partir de resúmenes de revistas de cardiología se creó desde cero para entrenar motores de TAE y TAN de dominios específicos. Luego, este corpus se combina con un corpus de dominio mixto y se entrenaron dos motores más. Después de realizar una evaluación automática y una evaluación humana en estos 4 motores, los errores de terminología se anotaron según una tipología de errores de terminología personalizada. Se ha encontrado que los tipos y frecuencias de los errores terminológicos son significativamente diferentes en los sistemas TAE y TAN, y que los cambios en el tamaño y tipo de corpus tienen un impacto más drástico en el TAN en comparación con el TAE.

Una contribución clave de la disertación es la tipología de error de terminología que se puede utilizar para evaluar las fortalezas y debilidades relativas de diferentes sistemas de TA en términos de terminología. Además, el hallazgo de que los sistemas TAN exhiben diferentes tipos de errores en los términos con diferentes frecuencias implica que las pautas de posedición que se prepararon para los textos resultantes de TAE deben actualizarse para adaptarse al nuevo patrón de comportamiento de TAN.

General quality aspects of machine translation (MT) such as adequacy and fluency are studied extensively, more fine-grained aspects such as the terminology translation quality have not received much attention especially in the context of translation studies. The objective of this study is to analyze the types and frequencies of terminology errors in custom statistical machine translation (SMT) and neural machine translation (NMT) with the goal of understanding how MT system type, corpus type and corpus size affect the terminology translation quality.

A Turkish – English parallel corpus obtained from cardiology journal abstracts was built from scratch for training domain-specific SMT and NMT engines. Then, this domain-specific corpus is combined with a mixed domain corpus and two more engines were trained. After conducting automatic evaluation and human evaluation on these 4 engines, terminology errors were annotated based on a custom terminology error typology. It was found that the types and frequencies of terminology errors are significantly different in SMT and NMT systems, and that changes in corpus size and corpus type had more drastic impact on NMT compared to SMT.

A key contribution of the dissertation to the MT research is the crafted language-agnostic terminology error typology which can be used for evaluating the relative strengths and weakness of different MT systems in terms of terminology. Besides, the finding that NMT systems exhibit different types of term errors with different frequencies implies that postediting guidelines conceived specifically for SMT systems could require changes to accommodate the behavior pattern of NMT.