Problem czarnej skrzynki AI

Coraz częściej powierzamy nasze bezpieczeństwo i zdrowie sztucznej inteligencji, której nie jesteśmy w stanie zrozumieć – czarnej skrzynce AI. Problem czarnej skrzynki wynika ze sposobu, w jaki szkolimy systemy sztucznej inteligencji. Większość systemów sztucznej inteligencji jest szkolona przy użyciu propagacji wstecznej.

Problem czarnej skrzynki

Jeden problem wynika z propagacji wstecznej, ponieważ nie możemy wyjaśnić, co faktycznie reprezentuje wartości wewnątrz tablicy.

Problem polega na tym, że nowoczesna sztuczna inteligencja sprawia, że kod źródłowy – czy to przejrzysty, czy nie – staje się mniej istotny niż inne czynniki w funkcjonowaniu algorytmu. W szczególności algorytmy uczenia maszynowego – a zwłaszcza algorytmy głębokiego uczenia – są zazwyczaj zbudowane z zaledwie kilkuset linii kodu. Logika algorytmów jest najczęściej uczona z danych treningowych i rzadko znajduje odzwierciedlenie w jego kodzie źródłowym. Niektóre z najbardziej skutecznych algorytmów są dziś często najbardziej niejasne.

Wiemy, że czarna skrzynka działa, mierząc dokładność danych testowych, ale nie możemy wyjaśnić, jak ona działa. Jest to powód, dla którego sztuczna inteligencja nie wyjaśnia swojego rozumowania.

Dlaczego istnieje czarna skrzynka AI?

Co więc dokładnie powoduje problem czarnej skrzynki AI? Najczęstszymi narzędziami, które stają w obliczu czarnej skrzynki, są te, które wykorzystują sztuczne sieci neuronowe i głębokie uczenie.

Sztuczne sieci neuronowe składają się z ukrytych warstw węzłów. Każdy z tych węzłów przetwarza dane wejściowe i przekazuje swoje dane wyjściowe do następnej warstwy węzłów. Głębokie uczenie to ogromna sztuczna sieć neuronowa z wieloma ukrytymi warstwami, które „uczą się” same, rozpoznając wzorce. Może to być nieskończenie skomplikowane. Nie widzimy wyjścia między warstwami, tylko zastosowanie. Dlatego nie możemy wiedzieć, jak węzły analizują dane i mamy do czynienia z czarną skrzynką AI.

Zaufanie do modelu czarnej skrzynki oznacza, że ufasz nie tylko równaniom modelu, ale także całej bazie danych, z której został zbudowany. Każdy relatywnie złożony zbiór danych, jaki widzieliśmy, zawiera niedoskonałości. Mogą to być ogromne ilości brakujących danych lub niezmierzalne błędy, systematyczne błędy w zbieraniu, problemy z gromadzeniem danych, które sprawiają, że rozkład danych różni się od tego, co pierwotnie sądziliśmy.

Jednym z takich typowych problemów z czarnymi modelami jest wyciek danych (data leaking), gdzie pewne informacje o etykiecie y wchodzą do zmiennych x w sposób, którego możesz nie podejrzewać, patrząc na tytuły i opisy zmiennych. Myślenie, że coś jest oczekiwane w przyszłości, ale wykrywane jest to, co wydarzyło się w przeszłości. Przewidując wyniki, urządzenie może zbierać informacje w notatkach, które ujawniają wyniki zanim zostaną oficjalnie zarejestrowane, a zatem błędnie uznawać je za udane prognozy.

Próbując oprzeć się na powszechnej obawie o nieprzejrzystość modeli czarnej skrzynki, niektórzy naukowcy próbowali je wyjaśnić, stawiając hipotezy dotyczące tego, dlaczego podejmują takie, a nie inne decyzje. Takie wyjaśnienia zazwyczaj próbują naśladować przewidywania czarnej skrzynki za pomocą zupełnie innego modelu lub dostarczają innych statystyk, które dostarczają niekompletnych informacji o tym, jak obliczyć czarną skrzynkę.

Przejrzystość techniczna

Przejrzystość techniczna, czyli ujawnienie kodu źródłowego, wejścia i wyjścia algorytmu, może budować zaufanie w wielu sytuacjach. Jednak większość algorytmów w dzisiejszym świecie jest rozwijana i zarządzana przez firmy nastawione na zysk, które uważają swoje algorytmy za bardzo cenną formę własności intelektualnej, która musi pozostać ukryta. Niektórzy sugerowali kompromis, sugerując, że kod źródłowy powinien zostać ujawniony regulatorom w przypadku poważnego problemu, a oni zapewnią, że proces będzie sprawiedliwy dla konsumentów.

Takie podejście to po prostu przeniesienie ciężaru zaufania z samego algorytmu na organy regulacyjne. Jednak w świecie, w którym duże i małe decyzje osobiste i społeczne są przekazywane algorytmom, staje się to mniej akceptowalne.

Innym problemem związanym z przejrzystością techniczną jest to, że algorytmy są podatne na oszustwa, jeśli znamy kod źródłowy.

Wyjaśnialna AI (XAI) – rozwiązanie problemu czarnej skrzynki AI

Ponieważ problem czarnej skrzynki sztucznej inteligencji staje się coraz większym problemem, deweloperzy sztucznej inteligencji zwracają teraz uwagę na jego rozwiązanie.

Odpowiedzią jest Wyjaśnialna AI, czyli w skrócie XAI. XAI to zestaw narzędzi i struktur, które pomogą zrozumieć i interpretować prognozy tworzone przez modele uczenia maszynowego. Umożliwia debugowanie i poprawę wydajności modelu, a także pomaga innym zrozumieć zachowanie modeli.

Wyjaśnialna sztuczna inteligencja (XAI) to sztuczna inteligencja zaprojektowana do opisywania swojego celu, uzasadnienia i podejmowania decyzji w sposób zrozumiały dla przeciętnej osoby. XAI jest często omawiana w związku z głębokim uczeniem i odgrywa ważną rolę w modelu FAT ML (uczciwość, odpowiedzialność i przejrzystość w uczeniu maszynowym).

XAI dostarcza ogólnych informacji na temat tego, jak AI podejmuje decyzje, ujawniając:

• Mocne i słabe strony programu.
• Konkretne kryteria, na podstawie których program podejmuje decyzję.
• Dlaczego program podejmuje konkretną decyzję, a nie alternatywne.
• Poziom zaufania odpowiedni dla różnych rodzajów decyzji.
• Na jakie typy błędów program jest podatny.
• Jak korygować błędy.

Ważnym celem XAI jest zapewnienie odpowiedzialności algorytmicznej. Do niedawna systemy AI były zasadniczo czarnymi skrzynkami. Nawet jeśli dane wejściowe i wyjściowe są znane, algorytmy używane do podejmowania decyzji są często zastrzeżone lub niełatwe do zrozumienia, chociaż wewnętrzne funkcje programowania są otwarte i dostępne bezpłatnie.

Coraz więcej firm włącza sztuczną inteligencję i zaawansowaną analizę w procesy biznesowe i automatyzuje decyzje, potrzebujemy przejrzystości co do tego, jak te modele podejmują coraz liczniejsze decyzje.

Ponieważ sztuczna inteligencja staje się coraz bardziej powszechna, ważniejsze niż kiedykolwiek jest ujawnienie, w jaki sposób rozwiązuje się kwestię uprzedzeń i zaufania. Na przykład ogólne rozporządzenie UE o ochronie danych (RODO) zawiera prawo do klauzuli wyjaśniającej.

W międzyczasie warto pamiętać, że budowanie zaufania do uczenia maszynowego i analityka będzie wymagało systemu relacji. Dobra równowaga przejrzystości dla audytorów w stosunku do użytkowników może wpłynąć na akceptację takiego rozwiązania.