SMART ENERGY. Nowe technologie w sektorze energetycznym.
23 września 2019
eCommerce – encyklopedia pojęć
15 listopada 2019
NLP – przetwarzanie języka naturalnego w sposób łatwy do zrozumienia dla maszyn. Zatrzymując się na chwilę w zgiełku naszych czasów, bardzo łatwo jest dostrzec, jak potężna jest rola sztucznej inteligencji. Jak zmienia sposób, w jaki patrzymy dziś na świat. Rezultatem tak dużego rozwoju jest tworzenie maszyn i programów komputerowych, które dokładnie odwzorowują sposób myślenia człowieka.
Jedną z najnowszych technologii sztucznej inteligencji, która przybliża nas do wspomnianego celu, jest Przetwarzanie Języka Naturalnego.
Czym jest NLP i jak działa?
NLP jest obszarem badań nad sztuczną inteligencją, a jednym z jej zadań jest interakcja między komputerem a człowiekiem w sposób naturalny. W istocie, technologia ta pomaga w zrozumieniu i komunikacji z ludzką mową za pomocą narzędzi maszynowych, takich jak algorytmy uczenia. Składa się z modułu lingwistycznego, który opiera się na analizie języka naturalnego, w którym wyróżniamy siedem poziomów: fonologia, leksyka, morfologia, składnia, semantyka, pragmatyka i dyskurs.
Podstawowym zadaniem NLP jest separacja zdań. Drugi etap to podział ich na tokeny. Umożliwiają one podział tekstu na proste fragmenty, tzn. liczby, słowa, oceny. Zależy to od języka, w którym dana treść została stworzona i o czym jest. Przeprowadzenie tego procesu dla języka angielskiego lub niemieckiego jest dość proste, ale sytuacja komplikuje się w przypadku języków takich jak polski, gdzie tekst wymaga złożonej analizy ze względu na skomplikowaną gramatykę. Przykładem takiego procesu jest podzielenie słowa „ciemnoczerwony” na dwa tokeny: „ciemno” i „czerwony”.
Brak ekwiwalencji między tekstami jest również ważnym aspektem. Tekst literacki różni się od tekstu w gazetach publicznych czy pracy naukowej zawierającej dodatkowe elementy, takie jak: wykresy, diagramy oraz wzory chemiczne, fizyczne czy matematyczne. Kolejnym krokiem jest normalizacja tekstu, czyli zastąpienie słów „dwa”, „dwie” itp. przez „2” oraz analiza wszelkich Nazwanych Jednostek. Idąc dalej, następuje tak zwana unifikacja form słów, czyli lematyzacja i stemming, w których sprawdzane są różne formy analizowanego słowa. Stemming ma na celu usunięcie wszystkich przedrostków i przyrostków. Lematyzacja jest trudnym procesem, gdzie słowo jest sprowadzane do swojej podstawowej formy. Na koniec następuje rozpoznawanie mowy, które obejmuje identyfikację części mowy i parsowanie, które wykorzystuje informacje semantyczne do analizy składni.
Analiza dokumentów tekstowych
System analizujący dokumenty otrzymuje zebrane dane, zazwyczaj w formie tekstowej: .txt lub .html. Dzielimy narzędzia IT do analizy tekstu na:
- Proste i łatwe do uzyskania pierwszorzędnych statystyk w dokumentach, np. częstotliwość występowania słów (np. TextSTAT, AntConc)
- Indeksowanie i wyszukiwarki (np. Google, Yahoo, Windows Desktop Search)
- Zaawansowane, czyli te, które pozwalają na analizę wieloaspektowego tekstu, wykorzystując techniki takie jak wizualizacja wyników (np. SAS Text, Text Garden)
Przetwarzanie języka naturalnego wykorzystuje algorytmy zaprojektowane do identyfikacji i izolowania zasad języka naturalnego w sposób, który pozwala na przekształcenie nieustrukturyzowanych danych w formę zrozumiałą dla komputerów. Następnie komputer używa algorytmu do zbierania niezbędnych danych i wydobywania znaczenia z każdego zdania. Przetwarzanie języka naturalnego już towarzyszy nam w codziennym życiu. Rozpoznawanie, przetwarzanie informacji tekstowych i generowanie mowy jest coraz częściej wykorzystywane między innymi do pomocy w nauce języków obcych, do automatycznego generowania tłumaczeń, streszczeń, aplikacji czy w robotyce. Przykładami zastosowań są: aplikacje do tłumaczenia języków, takie jak Google Translate, Chatboty, czy asystenci osobisti, tacy jak Google Assistant czy Amazon Alexa.
Modele i algorytmy NLP
Podstawowy krok w NLP jest określony przez zastosowanie systemu. Systemy oparte na głosie (Google Assistant) tłumaczą mowę na tekst. Odbywa się to za pomocą Ukrytego Modelu Markowa (HMM). Wykorzystuje on klipy mowy o długości około 10 do 20 milisekund do wyszukiwania fonemów w celu porównania ich z wcześniej nagraną mową.
Techniki NLP opierają się głównie na analizie składniowej i semantycznej. Analiza składniowa służy do oceny zgodności języka naturalnego z regułami gramatycznymi. Analiza semantyczna natomiast pomaga stworzyć ramy dla przetwarzania języka naturalnego i wyjaśnia, jak NLP i sztuczna inteligencja interpretują ludzkie zdania. Podsumowując, podczas gdy metoda HMM dzieli zdania na podstawowe struktury, analiza semantyczna pomaga dodać treść.
Jak NLP funkcjonuje w biznesie
Przetwarzanie języka naturalnego staje się coraz bardziej popularne w biznesie, ponieważ jest używane na co dzień i jest w użyciu od kilku lat, np. sprawdzanie pisowni, wyszukiwanie online. Przykładem NLP, który ostatnio wysunął się na pierwszy plan, są chatboty. To świetne rozwiązanie, pozwalające firmie na utrzymanie stałego kontaktu z klientem. Wiele botów firmowych optymalizuje swoją pracę, np. w dziale HR, automatycznie odpowiadając na pytania pracowników lub kandydatów ubiegających się o pracę. Dzięki takim rozwiązaniom możliwe jest kategoryzowanie zapytań i zapewnienie szybkiego procesu odpowiedzi. Innym przykładem jest aplikacja, dobrze znana wielu użytkownikom smartfonów, czyli SwiftKey, przewidująca i sugerująca najczęściej używane słowa podczas pisania. Sztuczna inteligencja, uczenie maszynowe i przetwarzanie języka naturalnego są pionierami innowacji w świecie technologii. W mgnieniu oka możemy dostrzec nowsze i lepsze rozwiązania technologiczne oparte na inteligentnych systemach, które odgrywają kluczową rolę w biznesie. Narzędzia takie jak analiza nastrojów pomagają firmom dowiedzieć się, czy post jest dobry czy zły, i klasyfikować problemy klientów.
Czym jest NLP w praktyce?
Przykładem praktycznego zrozumienia tego procesu jest sytuacja, gdy program analizuje zdanie „Mam kolekcję piór”. Potrzebuje on kontekstu, aby zrozumieć, czy ten tekst odnosi się do piór ptaków, czy do piór do pisania.
Przetwarzanie języka naturalnego jest dużym wyzwaniem dla naukowców. Problem leży w naturze ludzkiego języka, czyli w niejednoznaczności jego wyrażeń. Zasady, których używamy na co dzień, nie są łatwe do zrozumienia i analizy przez komputery.
Przetwarzanie języka naturalnego znajduje zastosowanie w inteligentnych domach, samochodach, a także w syntezatorach mowy, które pomagają osobom z niepełnosprawnościami, niedowidzącym lub niedosłyszącym, komunikować się ze światem zewnętrznym. NLP jest jedną z najważniejszych technologii zarządzania wiedzą, ponieważ daje możliwość automatycznego przetwarzania treści (np. www), wyszukiwania elementów wiedzy i zwiększania możliwości poznawania nowych elementów rzeczywistości, takich jak wypowiedzi, relacje czy koncepcje.
Sztuczną inteligencję i wszystkie jej formy, które ją tworzą, powinniśmy postrzegać jako kolejny krok w ewolucji ludzkości. Zagłębiając się w obszar sztucznej inteligencji, odkrywamy piękno i fascynację, które jeszcze dwie dekady temu były obecne jedynie w snach wielu naukowców.
