Naslov Evaluation of Machine Translations from English and Russian to Croatian: A Study of Google Translate and Yandex Translate Naslov (hrvatski) Evaluacija strojnih prijevoda s engleskog i ruskog na hrvatski jezik: procjena Google prevoditelja i Yandex prevoditelja Autor Katarina Osmak Mentor Nataša Pavlović (komentor)Mentor Branka Barčot (komentor)Član povjerenstva Kristijan Nikolić (predsjednik povjerenstva)Član povjerenstva Nataša Pavlović (član povjerenstva)Član povjerenstva Branka Barčot (član povjerenstva)Ustanova koja je dodijelila Sveučilište u Zagrebu Ustanova koja je dodijelila Sveučilište u Zagrebu Datum i država obrane 2024-07-02, Hrvatska Znanstveno / umjetničko HUMANISTIČKE ZNANOSTI Znanstveno / umjetničko HUMANISTIČKE ZNANOSTI Sažetak In today's interconnected world, the demand for accurate machine translation is growing, especially for translating journalistic texts that reflect the political climate of different countries. This thesis evaluates the performance of Google Translate and Yandex Translate in translating texts from English and Russian to Croatian. Using both automatic and human evaluation methods, the study assesses the accuracy and fluency of translations.
Automatic evaluation employs BLEU, BERTSCORE, and TER metrics, showing that Yandex Translate slightly outperforms Google Translate in Russian to Croatian translations. Conversely, Google Translate shows marginally better results in English to Croatian translations. Human evaluation, conducted by six native Croatian speakers proficient in English and Russian, corroborates these findings, with a preference for Google Translate in English to Croatian translations, and a slight edge for Russian to Croatian translations.
An error analysis categorizes errors into orthographic, morphosyntactic, lexical, semantic, and stylistic types, revealing orthographic errors as the most common. The study highlights the strengths and weaknesses of each system: Google Translate excels in fluency for English to Croatian translations, while Yandex Translate handles Russian to Croatian translations with better accuracy.
The research offers valuable insights into the current capabilities of machine translation systems and identifies areas for improvement. It suggests that while both systems are useful, they have specific limitations that need to be addressed. These findings have practical implications for selecting the most suitable machine translation system for various language pairs and text types, particularly in translating politically nuanced content. Future work should aim to refine error analysis methods and enhance automatic evaluation metrics to better capture translation complexities.
Sažetak (engleski) U iznimno povezanom svijetu potražnja za točnim strojno prevedenim tekstovima raste, posebno za prevođenje novinskih tekstova koji tematiziraju političke situacije različitih zemalja. Ovaj rad istražuje učinkovitost Google Translatea i Yandex Translatea u prevođenju tekstova s engleskog i ruskog na hrvatski. Korištenjem automatskih i ljudskih metoda evaluacije, istraživanje procjenjuje točnost i tečnost prijevoda.
BLEU, BERTSCORE i TER metrike korištene su za automatsku evaluaciju, a pokazuju da je Yandex Translate blago bolji od Google Translatea u prevođenju s ruskog na hrvatski. Međutim, Google Translate pokazuje malo bolje rezultate u prevođenju s engleskog na hrvatski. Ljudska evaluacija, koju je provelo šest izvornih govornika hrvatskog jezika s visokim razinama znanja engleskog i ruskog, potvrđuje ove rezultate s blagom prednošću Google Translatea u prevođenju s engleskog na hrvatski i u prevođenju s ruskog na hrvatski.
Analiza pogrešaka kategorizira ih na ortografske, morfosintaktičke, leksičke, semantičke i stilističke, otkrivajući da su ortografske pogreške najčešće. Istraživanje ističe pozitivne strane i slabosti svakog sustava: Google Translate ističe se u tečnosti prijevoda s engleskog na hrvatski, dok Yandex Translate točnije prevodi s ruskog na hrvatski.
Istraživanje nudi vrijedne uvide u trenutne mogućnosti sustava za strojno prevođenje i prepoznaje područja s potencijalom za poboljšanje. Iako su oba sustava korisna, imaju specifična ograničenja koja treba istaknuti i dodatno istražiti. Ovi rezultati imaju praktičnu vrijednost pri odabiru najprikladnijeg sustava strojnog prevođenja za različite jezične parove i vrste tekstova, posebno u prevođenju politički nijansiranog sadržaja. Buduća istraživanja trebala bi se usredotočiti na usavršavanje metoda analize pogrešaka i poboljšanje automatskih evaluacijskih metrika kako bi bolje prepoznali složenost prevođenja.
Sažetak (ruski) Бесплатные онлайн-системы машинного перевода становятся все более доступными по всему миру, чтобы удовлетворить растущий спрос и использование в сегодняшнем высоко взаимосвязанном обществе. Важное применение таких систем — перевод журналистских текстов, сосредоточенных на текущем политическом климате и ландшафте в различных странах. Это ставит вопрос о том, насколько хорошо эти системы могут сохранять и передавать первоначальное значение без потери каких-либо нюансов в процессе перевода. Эта работа посвящена исследованию качества машинных переводов с английского и русского языков на хорватский, с использованием Google Translate и Яндекса. В работе применяются как автоматические, так и человеческие методы оценки для определения точности и естественности перевода.
Автоматическая оценка осуществляется с использованием метрик BLEU, BERTSCORE и TER. Эти инструменты позволяют сравнивать машинные переводы с эталонными человеческими переводами и назначать числовые оценки, отражающие точность перевода. Результаты показали, что Yandex Translate немного превосходит Google Translate при переводе с русского на хорватский язык, что подтверждается более высокими показателями BLEU.
Человеческая оценка проводилась шестью участниками, все из которых были носителями хорватского языка и имели высокую степень владения английским и русским языками. Участники оценивали переводы по критериям точности и естественности, используя анкету. В этой части исследования было обнаружено, что для переводов с английского и русского на хорватский Google Translate предпочитается чаще, чем Яндекс.
Анализ ошибок был проведен для выявления типов ошибок, присутствующих в переводах. Ошибки классифицировались на орфографические, морфосинтаксические, лексические, семантические и стилистические. Исследование показало, что орфографические ошибки являются наиболее частыми для обеих систем перевода.
Результаты исследования подчеркивают важность дальнейшего совершенствования технологий машинного перевода. Несмотря на то, что обе системы демонстрируют определенные сильные стороны, существует множество областей, требующих улучшения. В частности, необходимо улучшить передачу семантических и стилистических нюансов, что особенно важно при переводе сложных текстов, таких как политические новости.
Таким образом, данное исследование предоставляет ценные данные для пользователей, стремящихся выбрать наиболее надежную систему машинного перевода для конкретных языковых пар и типов текстов. Результаты также подчеркивают необходимость дальнейших исследований и разработки улучшенных алгоритмов машинного перевода, чтобы сделать их более точными и надежными в различных контекстах.
Ključne riječi
accuracy
fluency
machine translation
automatic evaluation
BLEU
BERTSCORE
TER
Ključne riječi (engleski)
točnost
tečnost
strojni prijevod
automatska procjena
BLEU
BERTSCORE
TER
Jezik engleski URN:NBN urn:nbn:hr:131:433034 Studijski program Naziv: Anglistika(dvopredmetni studij); smjerovi: lingvistički, književno-kulturološki, prevoditeljski Studijski program Naziv: Ruski jezik i književnost (dvopredmetni); smjerovi: nastavnički, prevoditeljski Vrsta resursa Tekst Način izrade datoteke Izvorno digitalna Prava pristupa Otvoreni pristup Uvjeti korištenja Datum i vrijeme pohrane 2024-07-03 16:48:45
