Ljudska evaluacija sustava za neuralno strojno prevođenje

undergraduate thesis

• Title (english): Human evaluation of neural machine translation
• Author: Andrea Mikulić
• Mentor: Sanja Seljan (mentor)
• Committee member: Ivan Dunđer (predsjednik povjerenstva)
• Granter: University of Zagreb; University of Zagreb, Faculty of Humanities and Social Sciences; (Department of information and Communication sciences); Zagreb
• Defense date and country: 2020-09-15, Croatia
• Scientific / art field, discipline and subdiscipline: SOCIAL SCIENCES; Information and Communication Sciences

Abstract

Strojno prevođenje u bilo kojem obliku danas pronalazi primjenu u mnogim granama ljudskog života te se zbog globalizacije i sve veće prisutnosti interneta sve više i brže razvija. Ovaj rad se bavio strojnim prevođenjem te je prošao kroz njegovu povijesti, evaluaciju i različite pristupe. U radu su analizirana tri osnovna pristupa strojnom prevođenju: prevođenje temeljeno na pravilima te statističko i neuralno strojno prevođenje, kojemu je posvećena velika pažnja, te su se naveli i njihovi nedostatci. Provedeno je istraživanje četiri online sustava za strojno prevođenje temeljeno na neuralnom prevođenju na 300 rečenica englesko-hrvatskog para te su analizirani tipovi pogrešaka. Svi navedeni pristupi su dobri u određenim segmentima strojnog prevođenja iako svaki od pristupa ima svoje nedostatke, a najčešće su bile pogreške vezane uz semantiku. Osnovnu ideju izvornog teksta sve vrste strojnog prevođenja uspijevaju vjerno prevesti što se može iskoristiti za pomoć u prijevodu ili laicima kojima nije potrebna visoka kvaliteta prijevoda, za potpuni prijevod teksta. Postoji još mjesta za napredak svih vrsta, ali zaključeno je da je za sada neuralno prevođenje najkvalitetnije te je i stručnjacima najzanimljivije. Najbolji rezultati su postignuti hibridnim prevođenjem, tj. korištenjem dva ili više sustava za strojno prevođenje u jednom alatu.

Abstract (english)

Nowadays machine translation in any form finds a use in many areas of human life and due to globalization and the expanding of the internet it is being developed at a faster rate. This paper dealt with machine translation, its history, evaluation and types. A description of three most prevalent types was given: rule-based machine translation, statistical MT and neural MT, which was given special attention, as well as their drawbacks. A study of four online machine translation systems based on neural translation on 300 sentences of an English-Croatian pair was conducted and the types of errors were analyzed. All listed types produce successful translations even though they all make mistakes they still produce quality translation. All types of machine translation manage to truthfully translate the gist of the original text which can be used as help for translating or layman can use it as full translations if they do not need a high quality translation. There is still room for improvement, but it was concluded that neural MT is at the moment the best and most interesting for experts. The best results were achieved through hybrid translations, i.e. using two or more types of MT in one translation tool.

• Keywords: neuralno strojno prevođenje; ljudska evaluacija; pogreške
• Keywords (english): neural machine translation; human evaluation; errors
• Language: croatian
• URN:NBN: urn:nbn:hr:131:516896
• Study programme: Title: Information Sciences; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/prvostupnica (baccalaureus/baccalaurea) informacijskih znanosti (sveučilišni/a prvostupnik/prvostupnica (baccalaureus/baccalaurea) informacijskih znanosti)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2020-09-15 20:26:23