Izgradnja aplikacije za pretprocesiranje teksta

diplomski rad

• Naslov (engleski): Building a text preprocessing application
• Autor: Anela Rački
• Mentor: Ivan Dunđer (mentor)
• Član povjerenstva: Sanja Seljan (član povjerenstva)
• Član povjerenstva: Vjera Lopina (član povjerenstva)
• Član povjerenstva: Ivan Dunđer (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Filozofski fakultet; (Odsjek za informacijske i komunikacijske znanosti); Zagreb
• Datum i država obrane: 2024-06-27, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: DRUŠTVENE ZNANOSTI; Informacijske i komunikacijske znanosti

Sažetak

Pretprocesiranje teksta važna je tehnika koja se koristi za čišćenje i transformiranje nestrukturiranih tekstualnih podatka i njihovu pripremu za daljnju analizu. Standardni postupak pretprocesiranja teksta uključuje uklanjanje interpunkcije, transformiranje velikih u mala slova, uklanjanje stop riječi i HTML oznaka, korjenovanje, tokenizaciju i lematizaciju. Cilj ovog diplomskog rada je izgradnja aplikacije koja će skratiti proces pretprocesiranja teksta i omogućiti njenim korisnicima bolji fokus na istraživanje i obradu prirodnog jezika. Rad se sastoji od teorijskog i praktičnog djela. Teorijski dio fokusiran je na važnost pretprocesiranja teksta i tehnike korištene za pretprocesiranje. U praktičnom djelu prikazana je metodologija izgradnje aplikacije u programskom jeziku Python. Zaključno je provedeno testiranje i evaluacija aplikacije.

Sažetak (engleski)

Text preprocessing is an important technique used to clean and transform unstructured text data and prepare it for further analysis. Standard text preprocessing includes punctuation removal, lowercasing, removing stop words and HTML tags, stemming, tokenization, and lemmatization. The goal of this master thesis is to build an application that will shorten the text preprocessing process and enable its users to focus on natural language research and processing. The thesis consists of a theoretical and a practical part. The theoretical part is focused on the importance of text preprocessing and the techniques used for preprocessing. The practical part consists of presenting the methodology of building the application in the Python programming language. Finally, testing and evaluation of the application was carried out.

• Ključne riječi: pretprocesiranje teksta; čišćenje nestrukturiranih podataka; obrada prirodnog jezika; Python programiranje
• Ključne riječi (engleski): text preprocessing; unstructured data cleaning; natural language processing; Python programming
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:131:732915
• Studijski program: Naziv: Informacijske znanosti; smjerovi: Informatika (nastavnički), Informatika (istraživački), Informatologija; smjerovi: Informatologija, Informatika (nastavnički), Informatika (istraživački); Smjer: Informatika (istraživački); Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra informacijskih znanosti (mag. inf.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-07-03 18:09:50