ENSEMBLE LEARNING. Czym jest i na czym polega?

Ensemble learning czyli metody grupowania to technika uczenia maszynowego, która łączy kilka podstawowych modeli w celu stworzenia jednego optymalnego modelu predykcyjnego.

Ensemble learning dużej mierze wykorzystuje drzewa decyzyjne do określenia definicji i praktyczności metod zespołowych (należy jednak pamiętać, że metody zespołowe odnoszą się nie tylko do drzew decyzyjnych). Drzewo decyzyjne określa wartość predykcyjną na podstawie serii pytań i warunków. Proste drzewo decyzyjne określa dwie decyzje. Drzewo bierze pod uwagę kilka czynników i biorąc pod uwagę każdy czynnik albo podejmuje decyzję, albo zadaje kolejne pytanie. Podczas tworzenia drzew decyzyjnych należy wziąć pod uwagę kilka czynników:

• Na jakich funkcjach podejmujemy decyzje?
• Jaki jest próg zaklasyfikowania każdego pytania w odpowiedzi „tak” lub „nie”?

Metody grupowe pozwalają nam wziąć pod uwagę próbkę drzew decyzyjnych, obliczyć, które funkcje zastosować, lub pytania, które należy zadać przy każdym podziale, i dokonać ostatecznego predyktora na podstawie zagregowanych wyników próbkowanych drzew decyzyjnych.

Powszechnie stosowane algorytmy uczenia zespołu

Metody grupowania można podzielić na dwie grupy:

– sekwencyjne metody zespołowe, w których uczniowie podstawowi są generowani sekwencyjnie. Podstawową motywacją metod sekwencyjnych jest wykorzystanie zależności między podstawowymi uczniami. Ogólna wydajność może zostać zwiększona poprzez ważenie wcześniej źle oznaczonych przykładów z wyższą wagą.

– równoległe metody grupowe, w których uczniowie podstawowi są generowani równolegle. Podstawową motywacją metod równoległych jest wykorzystywanie niezależności pomiędzy uczniami podstawowymi, ponieważ błąd można radykalnie zmniejszyć przez uśrednienie.

Większość metod zespołowych wykorzystuje jeden podstawowy algorytm uczenia się do wytwarzania homogenicznych podstawowych uczniów, tj. uczących się tego samego typu, prowadzących do jednorodnych zespołów.

Istnieją również pewne metody, które wykorzystują heterogenicznych uczniów, tj. uczniów różnych typów, prowadzących do heterogenicznych zespołów. Aby metody zestawiania były dokładniejsze niż któregokolwiek z jego indywidualnych członków, podstawowi uczniowie muszą być tak dokładni, jak to tylko możliwe i tak różnorodni, jak to tylko możliwe.

Głosowanie i uśrednianie

Głosowanie i uśrednianie to dwie najprostsze metody zespołowe. Oba są łatwe do zrozumienia i wdrożenia. Głosowanie służy do klasyfikacji, a uśrednianie służy do regresji.

W obu metodach pierwszym krokiem jest stworzenie wielu modeli klasyfikacji lub regresji przy użyciu jakiegoś zbioru danych treningowych. Każdy model podstawowy może zostać utworzony przy użyciu różnych podziałów tego samego zestawu danych treningowych i tego samego algorytmu lub przy użyciu tego samego zestawu danych z różnymi algorytmami lub dowolnej innej metody.

Metody, te można podzielić na:

• Głosowanie większościowe

Każdy model dokonuje prognozy (głosów) dla każdej instancji testowej, a ostateczna prognoza wyników to taka, która otrzymuje więcej niż połowę głosów. Jeśli żadna z prognoz nie uzyska więcej niż połowy głosów, możemy powiedzieć, że metoda zespołowa nie mogła uzyskać stabilnej prognozy dla tej instancji. Chociaż jest to powszechnie stosowana technika, możesz wypróbować najbardziej głosowaną prognozę (nawet jeśli jest to mniej niż połowa głosów) jako ostateczną prognozę. W niektórych artykułach możesz zauważyć, że ta metoda nazywa się „głosowaniem wielokrotnym”.

• Ważone głosowanie

W przeciwieństwie do głosowania większością, gdzie każdy model ma te same prawa, możemy zwiększyć znaczenie jednego lub więcej modeli. W ważonym głosowaniu wielokrotnie liczymy prognozy lepszych modeli. Znalezienie odpowiedniego zestawu odważników należy do Ciebie.

• Proste uśrednianie

W prostym sposobie uśredniania dla każdego wystąpienia zestawu danych testowych obliczane są średnie prognozy. Ta metoda często zmniejsza nadmierność i tworzy łagodniejszy model regresji.

• Ważone uśrednianie

Ważone uśrednianie jest nieznacznie zmodyfikowaną wersją prostego uśredniania, gdzie prognozy każdego modelu są mnożone przez wagę, a następnie obliczana jest ich średnia.

Bagging

Bagging, który oznacza agregację bootstrap (Bootstrap aggregating), jest jednym z najwcześniejszych, najbardziej intuicyjnych i być może najprostszych algorytmów opartych na zespołach, z zaskakująco dobrą wydajnością. Różnorodność klasyfikatorów uzyskuje się za pomocą replik danych treningowych bootstrap. Oznacza to, że różne podzbiory danych treningowych są losowo rysowane – z wymianą – z całego zbioru danych treningowych. Każdy podzbiór danych treningowych służy do szkolenia innego klasyfikatora tego samego typu. Poszczególne klasyfikatory są następnie łączone, podejmując decyzję zwykłą większością głosów. Dla każdej instancji klasa wybrana przez większość klasyfikatorów jest decyzją zespołu. Ponieważ zbiory danych szkoleniowych mogą się znacząco nakładać, można zastosować dodatkowe środki w celu zwiększenia różnorodności, takie jak wykorzystanie podzbioru danych szkoleniowych do szkolenia każdego klasyfikatora lub użycie względnie słabych klasyfikatorów.

Losowe lasy

Zbiór drzew decyzyjnych to Losowy las. Losowe lasy wykonują wewnętrzny bagging. Losowy las tworzy kilka drzew, czasami tysiące, i oblicza najlepszy możliwy model dla danego zestawu danych. Zamiast rozpatrywać wszystkie funkcje podczas dzielenia węzła, algorytm Losowy las wybiera najlepszą funkcję spośród podzbioru wszystkich funkcji. To powoduje większe odchylenie w przypadku mniejszej wariancji, co daje znacznie lepszy model.

Wzmocnienie

Podobnie jak w przypadku baggingu, wzmocnienie tworzy również grupę klasyfikatorów poprzez transformację sygnału danych, które są następnie łączone przez głosowanie większościowe. Jednak w fazie zwiększania, resampling jest strategicznie dostosowywany w celu dostarczenia najbardziej pouczających danych treningowych dla każdego kolejnego klasyfikatora. W istocie, każda iteracja wzmocnienia tworzy trzy słabe klasyfikatory.

Stacking

Zespół klasyfikatorów jest najpierw szkolony przy użyciu próbek danych treningowych, w których pobierane są dane startowe. Podstawową ideą jest nauczenie się, czy dane treningowe zostały prawidłowo nauczone. Na przykład, jeśli dany klasyfikator niepoprawnie nauczył się określonego regionu przestrzeni cech, a zatem konsekwentnie błędnie klasyfikuje instancje pochodzące z tego regionu, wówczas następny klasyfikator może być w stanie nauczyć się tego zachowania, a wraz z wyuczonymi zachowaniami innych klasyfikatorów, może skorygować takie niewłaściwe szkolenie.

Uczenie przyrostowe

Uczenie przyrostowe czyli Incremental learning odnosi się do zdolności algorytmu uczenia się na podstawie nowych danych, które mogą stać się dostępne po tym, jak klasyfikator (lub model) został już wygenerowany z wcześniej dostępnego zbioru danych. Mówi się, że algorytm jest przyrostowym algorytmem uczenia się, jeśli dla sekwencji danych treningowych (lub instancji) generuje sekwencję hipotez, w których bieżąca hipoteza opisuje wszystkie dane, które do tej pory obserwowano, ale zależy tylko od wcześniejszych hipotez oraz aktualne dane treningowe. W związku z tym algorytm przyrostowego uczenia się musi uczyć się nowych informacji i zachować wcześniej zdobytą wiedzę, nie mając dostępu do wcześniej widzianych danych. Powszechnie stosowane podejście do uczenia się z dodatkowych danych – odrzucenie istniejącego klasyfikatora i przekwalifikowanie nowego ze starymi i nowymi danymi połączonymi razem nie spełnia definicji uczenia przyrostowego, ponieważ powoduje katastroficzne zapomnienie wszystkich wcześniej poznanych informacji i wykorzystuje wcześniejsze dane.

Błąd podczas korygowania kodów wyjściowych

Błędy w korygowaniu kodów wyjściowych (ECOC) są powszechnie używane w teorii informacji do korygowania odwracania bitów powodowanych przez głośne kanały komunikacyjne lub uczenia maszynowego w celu konwersji binarnych klasyfikatorów, takich jak maszyny wektorowe, do klasyfikatorów wielorakich poprzez dekomponowanie problemu wielorakiego na kilka problemów dwóch klas.

Wnioski

Celem każdego problemu z uczeniem maszynowym jest znalezienie jednego modelu, który najlepiej będzie przewidywał nasze pożądane wyniki. Zamiast tworzyć jeden model i mieć nadzieję, że ten model jest najlepszym czy najdokładniejszym predyktorem, jaki możemy stworzyć, metody grupowe uwzględniają niezliczoną liczbę modeli i pozwalają na średnią tych modeli do wyprodukowania jednego ostatecznego modelu. Ważne jest, aby pamiętać, że drzewa decyzyjne nie są jedyną formą metod grupowych, obecnie najbardziej popularną i istotną w data science.

Oprócz wymienionych metod, powszechne jest używanie zestawów do głębokiego uczenia się poprzez szkolenie różnorodnych i dokładnych klasyfikatorów. Różnorodność można osiągnąć dzięki różnym architekturom, ustawieniom hiperparametrów i technikom szkoleniowym.

Metody grupowe odniosły duży sukces w wyznaczaniu rekordowej wydajności na trudnych zbiorach danych i należą do grona zwycięzców konkursów z naukami o danych Kaggle’a. Wybór odpowiednich zespołów jest bardziej sztuką niż prostą nauką.

Chociaż metody zespołowe mogą nam pomóc w uczeniu maszynowym poprzez opracowanie wyrafinowanych algorytmów i uzyskiwanie wyników z dużą dokładnością, często nie jest to preferowane w branżach, w których ważniejsza jest możliwość interpretacji. Niemniej skuteczność tych metod jest niezaprzeczalna, a ich korzyści w odpowiednich zastosowaniach mogą być ogromne. W takich dziedzinach, jak opieka zdrowotna, nawet najmniejsza poprawa w dokładności algorytmów uczenia maszynowego może być naprawdę wartościowa.