Preuzeto i prevedeno sa: www.iso.org

ISO vijest na engleskom jeziku možete pročitati ovdje

„Obrada prirodnog jezika (NLP) podržava mnoge tehnologije koje koristimo svaki dan, od virtuelnih pomoćnika, kao što su Siri i Aleksa, do prevodilačkih alata, pa do preciznijeg predviđanja teksta. U suštini, NLP omogućava kompjuterima da razumiju ljude i govore njihovim jezikom. Pravilno razvijen, ovaj alat se može koristiti da se premosti jaz između čovjeka i mašine i na taj način otvore potpuno nove mogućnosti.

NLP je grana vještačke inteligencije koja primjenjuje mašinsko učenje i druge tehnologije za tekst i govor. Nastao je kao rezultat istraživanja provedenog na osnovu teorija Alana Turinga i eksperimenata Johna Searla iz 1950-ih. Većina ljudi su s njim došli u kontakt tek onda kada su personalni kompjuteri ušli u masovnu upotrebu i kada ih je Microsoftov virtuelni pomoćnik Clippy pitao da li žele napisati pismo ili kada je crvena boja označavala da su pogrešno napisali neku riječ.

Sada, dvadeset godina kasnije, NLP je oblast koja se brzo razvija, kombinujući kompjuterske nauke, vještačku inteligenciju (AI) i lingvistiku za analizu i razumijevanje ljudskog jezika (AI NLP-a).

U ovom članku ćemo pogledati magloviti svijet obrade ljudskog jezika u AI-ju da bismo predstavili njegove osnovne principe i istražili neke od alata i tehnika koje ga čine i istražili samo neke od bezbroj načina njegove upotrebe, kako bismo vam dali osnovu za razumijevanje koji će vam na kraju pomoći da odgovorite na pitanje: šta je NLP?

Sadržaj

·         Šta je obrada prirodnog jezika?

·         Kako funkcioniše obrada prirodnog jezika?

·         Alati za obradu prirodnog jezika

·         Za šta se koristi obrada prirodnog jezika?

·         Poteškoće i ograničenja obrade prirodnog jezika

·         Savladavanje haosa

·         Kakva je budućnost obrade prirodnog jezika?

Šta je obrada prirodnog jezika?

NLP se odnosi na interakcije između kompjutera i ljudskog jezika. Sastoji se od sposobnosti kompjuterskog sistema da analizira ljudski jezik, interpretira ga i generiše na način koji je i relevantan i koristan. NLP koristi različite alate, tehnike i algoritme za mašinsko učenje, kao i simboličku vještačku inteligenciju, kako bi omogućio mašinama da razumiju i obrađuju podatke prirodnog jezika, uključujući tekst i govor.

Koristeći statističke modele, mašinsko učenje i lingvistička pravila, NLP omogućava kompjuterima da obavljaju zadatke kao što su analiza osjećanja, klasifikacija teksta, mašinsko prevođenje, razvoj chatbota i još mnogo toga.

Kako funkcioniše obrada prirodnog jezika?

Proces mašinskog učenja ima mnogo koraka koji omogućavaju obavljanje uobičajenih NLP zadataka. Ovi elementi NLP-a rade zajedno kako bi olakšali sveobuhvatno mašinsko razumijevanje ljudskog jezika.

Prvi korak je priprema, prethodna obrada, redukcija, indeksiranje i kodiranje podataka. U ovom slučaju, podaci su tekst koji može doći s jedne ili više web-lokacija ili drugih izvora. Ovaj korak se sastoji od sljedećih zadataka:

·         Čišćenje podataka - koje se može sastojati, naprimjer, od pisanja Python skripte za izdvajanje teksta iz HTML-a web-stranice.

·         Tokenizacija - koja se sastoji od razbijanja teksta na manje jedinice, kao što su individualne riječi, koje se nazivaju tokeni. Često se susrećemo s terminom token u kontekstu velikih generativnih AI jezičkih modela (ili LLM-ova).

·         Označavanje dijela govora - proces identifikacije kategorija riječi, kao što su imenice, glagoli i pridjevi.

Kada su podaci prethodno obrađeni, može se izgraditi algoritam mašinskog učenja za obuku NLP modela. Ovaj proces zahtijeva unošenje velike količine podataka u softver da bi se povećao nivo tačnosti modela.

Ovaj algoritam se zatim može koristiti za obavljanje zadataka koji razlažu tekst ili govor kako bi se kompjuterskim programima olakšalo njihovo razumijevanje uključujući sintaksu (raspored riječi), semantiku (značenje riječi i rečenica), pragmatiku (kontekstualno značenje) i diskurs (način na koji su rečenice u tekstu povezane).

Alati za obradu prirodnog jezika

Koji su to glavni alati i tehnologije koji se koriste u NLP-u? Neki primjeri NLP-a su dati u nastavku.

Alat koji se najčešće koristi u NLP-u je Natural Language Toolkit (NLTK), modul otvorenog pristupa izgrađen na popularnom programskom jeziku Python. Srećom, ne morate biti stručnjak za kodiranje da biste primijenili obradu prirodnog jezika s Pythonom. Alati kao što je NLTK sadrže čitave biblioteke skupova podataka i tutorija i nude unaprijed definisane funkcije i modele koji se mogu integrisati u uobičajene NLP zadatke i podzadatke, kao što su tokenizacija i semantičko rezonovanje, tačnije sposobnost da se dođe do logičnog zaključka na osnovu činjenica izvučenih iz teksta.

Za šta se koristi obrada prirodnog jezika?

Danas se NLP koristi u širokom spektru svakodnevnih aplikacija i pronalazi nove mogućnosti za upotrebu u različitim sektorima, kao što su zdravstvo i finansije. Evo nekih od najčešćih NLP aplikacija i oblasti u kojima se može sresti obrada prirodnog jezika u AI-ju:

·         Chatbotovi i virtuelni asistenti: aplikacije koje pokreće vještačka inteligencija, kao što su Siri i Aleksa, koriste NLP tehnike za interakciju sa korisnicima kroz razgovore na prirodnom jeziku.

·         Jezičko prevođenje: NLP modeli se mogu trenirati na velikim količinama dvojezičnih podataka, što će ih osposobiti da mogu precizno prevesti tekst uzimajući u obzir gramatička pravila i kontekstualne nijanse.

·         Pretraživači: Sistemi za odgovaranje na pitanja, kao što su pretraživači, koriste NLP algoritme da razumiju pitanja koja postavljaju korisnici i da im daju relevantne odgovore. Ovi sistemi analiziraju kontekst pitanja, identifikuju ključne informacije, pretražuju relevantne dokumente ili baze znanja i daju precizne odgovore na upit korisnika.

·         Filtriranje e-pošte: Inboks prepun nepročitanih poruka e-pošte predstavlja problem s kojim se mnogo ljudi često susreće. NLP se koristi za filtriranje e-pošte i razvrstavanje u različite kategorije. Najnaprednije tehnologije za otkrivanje neželjene pošte, odnosno spama koriste mogućnosti klasifikacije teksta NLP-a za skeniranje e-pošte u potrazi za tekstualnim elementima koji ukazuju na prisustvo neželjene pošte ili phishinga.

NLP je također postao nezamjenljiv alat u različitim sektorima, na revolucionaran način mijenjajući model po kojem komuniciramo s tehnologijama:

·         Zdravstvo: NLP je od suštinskog značaja u zdravstvenoj industriji jer omogućava efikasne analize medicinske dokumentacije, podataka o pacijentima i kliničkih bilješki. Pomaže u poboljšanju dijagnostike, identifikaciji obrazaca, predviđanju ishoda i optimizaciji cjelokupne njege pacijenata.

·         Finansije: NLP igra ključnu ulogu u finansijskoj industriji zahvaljujući automatizaciji zadataka koji su se prethodno obavljali ručno, kao što su analiza finansijskih izvještaja, najnovijih vijesti iz oblasti finansija i povratnih informacija klijenata. Omogućava analizu osjećaja, otkrivanje prevara, procjenu rizika i personalizaciju finansijskih preporuka.

·         Korisnički servis: NLP je od suštinskog značaja za odjele za korisničku podršku jer omogućava chatbotovima i virtuelnim asistentima da razumiju i pravovremeno odgovaraju na upite kupaca, što poboljšava zadovoljstvo kupaca i smanjuje radno opterećenje službe za podršku korisnicima.

·         E-trgovina: NLP se koristi u industriji e-trgovine u različite svrhe, kao što su preporuke proizvoda na osnovu korisničkih preferencija i historije pretraživanja. Također pomaže u analizi osjećaja u recenzijama kupaca kako bi se razumjelo njihovo mišljenje o određenim proizvodima i uslugama.

·         Pravne usluge: NLP pomaže profesionalcima iz pravnog sektora tako što automatizira zadatke kao što su analiza ugovora i pregled pravnih dokumenata, čime se štedi vrijeme i trud.

·         Obrazovanje: NLP donosi velike prednosti obrazovnom sektoru jer omogućava primjenu inteligentnih sistema podučavanja koji personaliziraju iskustva učenja kod učenika.

·         Ljudski resursi: NLP pomaže odjelima za ljudske resurse da obavljaju zadatke kao što su analiza biografije, pregled podobnosti kandidata i analiza osjećaja kod povratnih informacija dobijenih od zaposlenih.

Poteškoće i ograničenja obrade prirodnog jezika

Kao i svaka složena oblast i NLP se suočava s određenim poteškoćama. Algoritamska složenost NLP zadataka može predstavljati značajno ograničenje, naprimjer. Obrada veoma velikih količina tekstualnih podataka zahtijeva značajnu računarsku snagu i mnogo vremena, što otežava analizu u realnom vremenu ili skoro u realnom vremenu. Još jedan izazov koji treba prevazići je poboljšanje efikasnosti i brzine NLP algoritama. Međutim, izazovi poput onih navedenih u nastavku također predstavljaju ogromne mogućnosti za inovacije i rast.

·         Ograničeno kontekstualno razumijevanje i pamćenje: NLP modeli često imaju poteškoća u tumačenju ili pamćenju značenja riječi ili fraza na osnovu konteksta u kojem se te riječi ili fraze koriste. Ovaj problem može dovesti do pogrešnih tumačenja ili netačne analize tekstualnih podataka.

·         Dvosmislenost i polisemija: Mnoge riječi i fraze imaju višestruka značenja, što otežava modelima NLP-a da precizno odrede namjeravanu upotrebu jezičke jedinice u datom kontekstu. Ova poteškoća može dovesti do pogrešnih analiza ili nesporazuma.

·         Jezičke varijacije i idiomi: Velika raznolikost jezika i njihovih regionalnih varijacija - različiti dijalekti, idiomi, sleng, kolokvijalni izrazi - za NLP modele komplikuje analizu i tačno tumačenje tekstova prema različitim jezičkim kontekstima. Istraživači rade na tome da neprestano ažuriraju ove modele i prilagođavaju ih evoluciji jezika.  

·         Nedostatak zdravog razuma: Ako ljudi mogu da izvuku implicitne informacije iz teksta zahvaljujući svojoj općoj kulturi i zdravom razumu, NLP modelima često nedostaje ova sposobnost. Ovaj jaz ometa sposobnost ovih modela da razumiju nijanse teksta ili da daju tačna predviđanja na osnovu implicitnih informacija.

·         Kvalitet podataka i pristrasnost: Kvalitet podataka koji se koriste za obuku NLP modela igra ključnu ulogu u performansama rezultata. Pristrasni ili nepotpuni skupovi podataka mogu dovesti do jednako pristrasnih rezultata i  pogoršanja predrasuda i stereotipa u društvu.

·         Pitanja etike i privatnosti: Povećanje upotrebe NLP-a u različitim aplikacijama dovelo je do porasta etičkih pitanja i zabrinutosti za privatnost. Teme kao što su privatnost, sigurnost i zloupotreba podataka u NLP tehnologiji postavljaju važna pitanja u vezi s odgovornim razvojem i primjenom NLP sistema.

Savladavanje haosa

Suočeni s rastućom integracijom NLP modela u kritične sektore, kao što su zdravstvo, finansije ili transport, od suštinskog značaja je da se osiguraju njihova sigurnost, pouzdanost i etička upotreba. Međunarodni standardi nude u tom pogledu okvir konzistentnosti i kvaliteta u različitim upotrebama, posebno u različitim aplikacijama NLP-a. Izrada namjenskih standarda vještačke inteligencije, poput onih koje je razvila ekspertska grupa ISO/IEC JTC 1/SC 42, naglašava posvećenost ISO-a da obezbijedi da se AI tehnologije razvijaju i koriste na odgovoran i efikasan način.

ISO/IEC 42001 sistem upravljanja vještačkom inteligencijom

ISO/IEC 23894 AI– Uputstvo za upravljanje rizikom

Kao dio proširenog AI programa rada, istražuje se zajednička inicijativa o sistemima za obradu prirodnog jezika, u saradnji sa ISO/TC 37, stručnim komitetom za jezik i terminologiju. Ova inicijativa ima koristi od širokog spektra stručnosti u oblasti vještačke inteligencije, koja pokriva i govorni i pisani jezik i obuhvata brojne učesnike širom svijeta. Proširenje ISO-ovog programa rada odražava značaj međunarodnih standarda kao rješenja za odgovorno usvajanje tehnologije.

Kakva je budućnost obrade prirodnog jezika?

NLP je spreman da potpuno redefiniše digitalnu komunikaciju, poboljšavajući našu sposobnost da komuniciramo ne samo s kompjuterima, već i međusobno. Njegova budućnost obećava još daljnju integraciju s drugim AI oblastima, što će poboljšati njegove mogućnosti. Pojava neuronskih mreža u NLP-u, naprimjer, već transformiše način rada kod pretraživanja. Dok su ranije njihovi rezultati bili prikupljani iz baza podataka, danas neuronske mreže pretražuju i nude najrelevantnije rezultate na osnovu historije interakcija korisnika s kompjuterom. S vremenom će ova sposobnost postati još preciznija.  

Međutim, od suštinske je važnosti da se pozabavimo legitimnim zabrinutostima koje izaziva ova tehnologija kako bi se osiguralo da služi interesima svih nas. Ako to možemo uraditi, uz upotrebu rigoroznih standarda koji su dobro postavljeni i provedeni, onda NLP može pomoći u izgradnji budućnosti u kojoj AI i ljudska inteligencija rade u harmoniji za zajednički napredak.“