Evaluation of Machine Translations from English and Russian to Croatian: A Study of Google Translate and Yandex Translate

master's thesis

• Title (croatian): Evaluacija strojnih prijevoda s engleskog i ruskog na hrvatski jezik: procjena Google prevoditelja i Yandex prevoditelja
• Author: Katarina Osmak
• Mentor: Nataša Pavlović (komentor)
• Mentor: Branka Barčot (komentor)
• Committee member: Kristijan Nikolić (predsjednik povjerenstva)
• Committee member: Nataša Pavlović (član povjerenstva)
• Committee member: Branka Barčot (član povjerenstva)
• Granter: University of Zagreb; Faculty of Humanities and Social Sciences; (Department of English language and literature); Zagreb
• Granter: University of Zagreb; Faculty of Humanities and Social Sciences; (Department of East Slavic languages and literatures); Zagreb
• Defense date and country: 2024-07-02, Croatia
• Scientific / art field, discipline and subdiscipline: HUMANISTIC SCIENCES; Philology; Anglistics
• Scientific / art field, discipline and subdiscipline: HUMANISTIC SCIENCES; Philology; Slavic Studies

Abstract

In today's interconnected world, the demand for accurate machine translation is growing, especially for translating journalistic texts that reflect the political climate of different countries. This thesis evaluates the performance of Google Translate and Yandex Translate in translating texts from English and Russian to Croatian. Using both automatic and human evaluation methods, the study assesses the accuracy and fluency of translations.

Automatic evaluation employs BLEU, BERTSCORE, and TER metrics, showing that Yandex Translate slightly outperforms Google Translate in Russian to Croatian translations. Conversely, Google Translate shows marginally better results in English to Croatian translations. Human evaluation, conducted by six native Croatian speakers proficient in English and Russian, corroborates these findings, with a preference for Google Translate in English to Croatian translations, and a slight edge for Russian to Croatian translations.

An error analysis categorizes errors into orthographic, morphosyntactic, lexical, semantic, and stylistic types, revealing orthographic errors as the most common. The study highlights the strengths and weaknesses of each system: Google Translate excels in fluency for English to Croatian translations, while Yandex Translate handles Russian to Croatian translations with better accuracy.

The research offers valuable insights into the current capabilities of machine translation systems and identifies areas for improvement. It suggests that while both systems are useful, they have specific limitations that need to be addressed. These findings have practical implications for selecting the most suitable machine translation system for various language pairs and text types, particularly in translating politically nuanced content. Future work should aim to refine error analysis methods and enhance automatic evaluation metrics to better capture translation complexities.

Abstract (english)

U iznimno povezanom svijetu potražnja za točnim strojno prevedenim tekstovima raste, posebno za prevođenje novinskih tekstova koji tematiziraju političke situacije različitih zemalja. Ovaj rad istražuje učinkovitost Google Translatea i Yandex Translatea u prevođenju tekstova s engleskog i ruskog na hrvatski. Korištenjem automatskih i ljudskih metoda evaluacije, istraživanje procjenjuje točnost i tečnost prijevoda.
BLEU, BERTSCORE i TER metrike korištene su za automatsku evaluaciju, a pokazuju da je Yandex Translate blago bolji od Google Translatea u prevođenju s ruskog na hrvatski. Međutim, Google Translate pokazuje malo bolje rezultate u prevođenju s engleskog na hrvatski. Ljudska evaluacija, koju je provelo šest izvornih govornika hrvatskog jezika s visokim razinama znanja engleskog i ruskog, potvrđuje ove rezultate s blagom prednošću Google Translatea u prevođenju s engleskog na hrvatski i u prevođenju s ruskog na hrvatski.
Analiza pogrešaka kategorizira ih na ortografske, morfosintaktičke, leksičke, semantičke i stilističke, otkrivajući da su ortografske pogreške najčešće. Istraživanje ističe pozitivne strane i slabosti svakog sustava: Google Translate ističe se u tečnosti prijevoda s engleskog na hrvatski, dok Yandex Translate točnije prevodi s ruskog na hrvatski.
Istraživanje nudi vrijedne uvide u trenutne mogućnosti sustava za strojno prevođenje i prepoznaje područja s potencijalom za poboljšanje. Iako su oba sustava korisna, imaju specifična ograničenja koja treba istaknuti i dodatno istražiti. Ovi rezultati imaju praktičnu vrijednost pri odabiru najprikladnijeg sustava strojnog prevođenja za različite jezične parove i vrste tekstova, posebno u prevođenju politički nijansiranog sadržaja. Buduća istraživanja trebala bi se usredotočiti na usavršavanje metoda analize pogrešaka i poboljšanje automatskih evaluacijskih metrika kako bi bolje prepoznali složenost prevođenja.

Abstract (russian)

Бесплатные онлайн-системы машинного перевода становятся все более доступными по всему миру, чтобы удовлетворить растущий спрос и использование в сегодняшнем высоко взаимосвязанном обществе. Важное применение таких систем — перевод журналистских текстов, сосредоточенных на текущем политическом климате и ландшафте в различных странах. Это ставит вопрос о том, насколько хорошо эти системы могут сохранять и передавать первоначальное значение без потери каких-либо нюансов в процессе перевода. Эта работа посвящена исследованию качества машинных переводов с английского и русского языков на хорватский, с использованием Google Translate и Яндекса. В работе применяются как автоматические, так и человеческие методы оценки для определения точности и естественности перевода.

Автоматическая оценка осуществляется с использованием метрик BLEU, BERTSCORE и TER. Эти инструменты позволяют сравнивать машинные переводы с эталонными человеческими переводами и назначать числовые оценки, отражающие точность перевода. Результаты показали, что Yandex Translate немного превосходит Google Translate при переводе с русского на хорватский язык, что подтверждается более высокими показателями BLEU.

Человеческая оценка проводилась шестью участниками, все из которых были носителями хорватского языка и имели высокую степень владения английским и русским языками. Участники оценивали переводы по критериям точности и естественности, используя анкету. В этой части исследования было обнаружено, что для переводов с английского и русского на хорватский Google Translate предпочитается чаще, чем Яндекс.

Анализ ошибок был проведен для выявления типов ошибок, присутствующих в переводах. Ошибки классифицировались на орфографические, морфосинтаксические, лексические, семантические и стилистические. Исследование показало, что орфографические ошибки являются наиболее частыми для обеих систем перевода.

Результаты исследования подчеркивают важность дальнейшего совершенствования технологий машинного перевода. Несмотря на то, что обе системы демонстрируют определенные сильные стороны, существует множество областей, требующих улучшения. В частности, необходимо улучшить передачу семантических и стилистических нюансов, что особенно важно при переводе сложных текстов, таких как политические новости.

Таким образом, данное исследование предоставляет ценные данные для пользователей, стремящихся выбрать наиболее надежную систему машинного перевода для конкретных языковых пар и типов текстов. Результаты также подчеркивают необходимость дальнейших исследований и разработки улучшенных алгоритмов машинного перевода, чтобы сделать их более точными и надежными в различных контекстах.

• Keywords: accuracy; fluency; machine translation; automatic evaluation; BLEU; BERTSCORE; TER
• Keywords (english): točnost; tečnost; strojni prijevod; automatska procjena; BLEU; BERTSCORE; TER
• Language: english
• URN:NBN: urn:nbn:hr:131:433034
• Study programme: Title: English Language and Literature (double major); specializations in: Linguistics, Literature and Culture, Translation; Course: Translation; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra engleskog jezika i književnosti (magistar/magistra engleskog jezika i književnosti)
• Study programme: Title: Russian Language and Literature (double major); specializations in: Teaching, Translation; Course: Translation; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra rusistike (magistar/magistra rusistike)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-07-03 16:48:45