ENSEMBLE LEARNING. Czym jest i na czym polega?ENSEMBLE LEARNING. Czym jest i na czym polega?ENSEMBLE LEARNING. Czym jest i na czym polega?ENSEMBLE LEARNING. Czym jest i na czym polega?
  • Usługi
  • Klienci
  • Blog
  • Praca
  • O firmie
  • Kontakt
polski
  • angielski
✕

ENSEMBLE LEARNING. Czym jest i na czym polega?

4 listopada 2018
blank

Ensemble learning czyli metody grupowania to technika uczenia maszynowego, która łączy kilka podstawowych modeli w celu stworzenia jednego optymalnego modelu predykcyjnego.

W dużej mierze wykorzystuje się drzewa decyzyjne do określenia definicji i pokazania w praktyce metod zespołowych (ensemble learningu). Drzewo decyzyjne określa wartość predykcyjną na podstawie serii pytań i warunków. Proste drzewo decyzyjne określa dwie decyzje. Drzewo rozważa wszystkie czynniki i podejmuje decyzję albo zadaje kolejne pytanie, dotyczące każdego z nich. Podczas tworzenia drzew decyzyjnych należy zadać takie pytania jak:

  • Na jakich funkcjach podejmujemy decyzje?
  • Jaki jest próg zaklasyfikowania każdego pytania w odpowiedzi „tak” lub „nie”?

Metody grupowania pozwalają nam wziąć pod uwagę próbkę drzew decyzyjnych i obliczyć, które funkcje zastosować, lub zadać pytania, które należy postawić przy każdym podziale, i dokonać ostatecznej predykcji na podstawie skumulowanych wyników próbkowanych drzew decyzyjnych.

Powszechnie stosowane algorytmy uczenia zespołu

Metody grupowania można podzielić na dwie grupy:

  • sekwencyjne metody zespołowe, w których zbiory uczące się są generowane sekwencyjnie. Podstawową motywacją metod sekwencyjnych jest wykorzystanie zależności między podstawowymi „uczniami”. Ogólna wydajność może zostać zwiększona poprzez ważenie wcześniej źle oznaczonych przykładów z wyższą wagą.
  • równoległe metody zespołowe, w których zbiory uczące się podstawowe są generowane równolegle. Podstawową motywacją metod równoległych jest wykorzystywanie niezależności pomiędzy „uczniami” podstawowymi, ponieważ błąd można radykalnie zmniejszyć przez uśrednienie.

Większość metod zespołowych wykorzystuje jeden podstawowy algorytm uczenia się do wytwarzania homogenicznych podstawowych uczniów, tj. uczących się tego samego typu, prowadzących do jednorodnych zespołów.

Istnieją również pewne metody, które wykorzystują heterogenicznych uczniów, tj. uczniów różnych typów, prowadzących do heterogenicznych zespołów. Aby metody zestawiania były dokładniejsze niż któregokolwiek z jego indywidualnych członków, podstawowi uczniowie muszą być najbardziej dokładni i różnorodni, jak to tylko możliwe.

Głosowanie i uśrednianie

Głosowanie i uśrednianie to dwie najprostsze metody zespołowe. Obie są łatwe do zrozumienia i wdrożenia. Głosowanie służy do klasyfikacji, a uśrednianie służy do regresji.

W obu metodach pierwszym krokiem jest stworzenie wielu modeli klasyfikacji lub regresji przy użyciu zbioru danych treningowych. Każdy model podstawowy może zostać utworzony przy użyciu różnych podziałów tego samego zestawu danych treningowych i tego samego algorytmu lub przy użyciu tego samego zestawu danych z różnymi algorytmami lub dowolnej innej metody.

Metody, te można podzielić na:

  • Głosowanie większościowe
    Każdy model dokonuje prognozy (głosów) dla każdej instancji testowej, a ostateczna prognoza wyników to taka, która otrzymuje więcej niż połowę głosów. Jeśli żadna z prognoz nie uzyska więcej niż połowy głosów, możemy powiedzieć, że metoda zespołowa nie mogła uzyskać stabilnej prognozy dla tej instancji. Chociaż jest to powszechnie stosowana technika, możesz wypróbować prognozę z największą ilością głosów (nawet jeśli ma mniej niż połowę głosów) jako ostateczną prognozę.

  • Ważone głosowanie
    W przeciwieństwie do głosowania większością, gdzie każdy model ma te same prawa, możemy zwiększyć znaczenie jednego lub więcej modeli. W ważonym głosowaniu wielokrotnie liczymy prognozy lepszych modeli. Znalezienie odpowiedniego zestawu wag należy do Ciebie.
  • Proste uśrednianie
    W prostym sposobie uśredniania dla każdego wystąpienia zestawu danych testowych obliczane są średnie prognozy. Ta metoda często zmniejsza nadmierność i tworzy łagodniejszy model regresji.
  • Ważone uśrednianie
    Ważone uśrednianie jest nieznacznie zmodyfikowaną wersją prostego uśredniania, gdzie prognozy każdego modelu są mnożone przez wagę, a następnie obliczana jest ich średnia.

Bagging

Bagging, który oznacza agregację bootstrap (Bootstrap aggregating), jest jednym z najwcześniejszych i najprostszych algorytmów intuicyjnych jak i opartych na zespołach z zaskakująco dobrą wydajnością.  Różnorodność klasyfikatorów uzyskuje się za pomocą replik danych treningowych bootstrap. Oznacza to, że różne podzbiory danych treningowych są losowo rysowane – z wymianą – z całego zbioru danych treningowych.

Każdy podzbiór danych treningowych służy do szkolenia innego klasyfikatora tego samego typu. Poszczególne klasyfikatory są następnie łączone, podejmując decyzję zwykłą większością głosów. Dla każdej instancji klasa wybrana przez większość klasyfikatorów jest decyzją zespołu. Ponieważ zbiory danych szkoleniowych mogą się znacząco nakładać, można zastosować dodatkowe środki w celu zwiększenia różnorodności, takie jak wykorzystanie podzbioru danych szkoleniowych do szkolenia każdego klasyfikatora lub użycie względnie słabych klasyfikatorów.

Losowe lasy

Zbiór drzew decyzyjnych to losowy las. „Losowe lasy” wykonują wewnętrzny bagging. Tworzą one kilka drzew, a czasami tysiące. Następnie oblicza najlepszy możliwy model dla danego zestawu danych. Zamiast rozpatrywać wszystkie funkcje podczas dzielenia węzła, algorytm „losowy las” wybiera najlepszą funkcję spośród podzbioru wszystkich funkcji. To powoduje większe odchylenie w przypadku mniejszej wariancji, co daje znacznie lepszy model.

Wzmocnienie

Podobnie jak w przypadku baggingu, wzmocnienie tworzy również grupę klasyfikatorów poprzez transformację sygnału danych, które są następnie łączone przez głosowanie większościowe. Jednak w fazie zwiększania, resampling jest strategicznie dostosowywany w celu dostarczenia najbardziej pouczających danych treningowych dla każdego kolejnego klasyfikatora. W istocie, każda iteracja wzmocnienia tworzy trzy słabe klasyfikatory.

Stacking

Zespół klasyfikatorów jest najpierw szkolony przy użyciu próbek danych treningowych, w których pobierane są dane startowe. Podstawową ideą jest nauczenie się, czy dane treningowe zostały prawidłowo wyszkolone. Na przykład, jeśli dany klasyfikator niepoprawnie nauczył się określonego regionu przestrzeni cech, a zatem konsekwentnie błędnie klasyfikuje instancje pochodzące z tego regionu, wówczas następny klasyfikator może być w stanie wyszkolić się tego zachowania, a wraz z wyuczonymi zachowaniami innych klasyfikatorów, może skorygować takie niewłaściwe szkolenie.

Uczenie przyrostowe

Uczenie przyrostowe czyli Incremental learning odnosi się do zdolności algorytmu uczenia się na podstawie nowych danych, które mogą stać się dostępne po tym, jak klasyfikator (lub model) został już wygenerowany z wcześniej dostępnego zbioru danych. Mówi się, że algorytm jest przyrostowym algorytmem uczenia się, jeśli dla sekwencji danych treningowych (lub instancji) generuje sekwencję hipotez, w których bieżąca hipoteza opisuje wszystkie dane, które do tej pory obserwowano, ale zależy tylko od wcześniejszych hipotez oraz aktualnych danych treningowych. W związku z tym algorytm przyrostowego uczenia się musi uczyć się nowych informacji i zachować wcześniej zdobytą wiedzę, nie mając dostępu do wcześniej widzianych danych.

Błąd podczas korygowania kodów wyjściowych

Błędy w korygowaniu kodów wyjściowych (w skr. ECOC z ang. Error correcting output codes) są powszechnie używane w IT do odwracania bitów powodowanych przez głośne kanały komunikacyjne lub uczenia maszynowego w celu konwersji binarnych klasyfikatorów. Na przykład maszyny wektorowe (do klasyfikatorów wielorakich) poprzez dekomponowanie problemu wielorakiego na kilka problemów dwóch klas.

Wnioski

Celem każdego problemu związanego z uczeniem maszynowym jest znalezienie odpowiedniego modelu, który najlepiej będzie przewidywał nasze pożądane wyniki. Zamiast tworzyć jeden model i mieć nadzieję, że jest on najlepszym czy najdokładniejszym predyktorem, jaki możemy stworzyć, metody grupowania uwzględniają niezliczoną liczbę opcji i pozwalają na średnią tych właśnie modeli do wyprodukowania jednego ostatecznego. Ważne jest, aby pamiętać, że drzewa decyzyjne nie są jedyną formą metod grupowania, jednak najbardziej popularną i istotną w data science.

Oprócz wymienionych metod, powszechne jest używanie zestawów do głębokiego uczenia poprzez szkolenie różnorodnych i dokładnych klasyfikatorów. Różnorodność można osiągnąć dzięki zmianom w architekturach, ustawieniach parametrów i technikach szkoleniowych.

Metody grupowania odniosły duży sukces w wyznaczaniu rekordowej wydajności na trudnych zbiorach danych i należą do grona zwycięzców konkursów Kaggle’a.

Metody zespołowe mogą nam pomóc w uczeniu maszynowym poprzez opracowanie wyrafinowanych algorytmów i uzyskiwanie wyników z dużą dokładnością. Często jednak nie jest to preferowane w branżach, w których ważniejsza jest możliwość interpretacji. Niemniej skuteczność tych metod jest niezaprzeczalna, a ich plusy, odpowiednio zastosowane mogą dać widoczne efekty. Przykładowo, w takich dziedzinach jak opieka zdrowotna, nawet najmniejsza poprawa w dokładności algorytmów uczenia maszynowego może być naprawdę wartościowa.

Udostępnij
0
Piotr Chmiel
Piotr Chmiel
W branży IT od kilku lat, głównie zajmuję się SEO. Z dnia na dzień pogłębiam swoją wiedzę z obszaru IT tj. : Tworzenie stron, Wordpress, Machine Learning, SEO, Big Data itp. itd. Prywatnie amator koszykarz, basista, szachista i kucharz.

Podobne publikacje

blank
14 stycznia 2022

Trendy Big Data i Data Science w 2022


Dowiedz się więcej
blank
14 września 2021

Przyszłość przetwarzania języka naturalnego – NLP


Dowiedz się więcej
blank
23 kwietnia 2021

Sztuczna inteligencja w przemyśle


Dowiedz się więcej

Szukaj na blogu

✕

Kategorie

  • Ecommerce
  • SEO
  • Software development
blank
Personalization, Recommendations, Messaging & User Testing in a Single Platform with a Single Tag implementation
Greenlogic Logo

Greenlogic - PolandPOLSKA
ul. Krupnicza 13
50-075 Wrocław
+48 505 020 036
[email protected]

Greenlogic - AustraliaAUSTRALIA
10a Mitford Street
3182 St. Kilda Melbourne
+61 490 235 843
[email protected]

Software House

  • Tworzenie oprogramowania
    • Aplikacje dedykowane Java
    • Machine learning
    • Big data dla ecommerce
    • Tworzenie stron internetowych WordPress
    • Sklepy internetowe WordPress + Woocommerce
    • Front end development
  • Projektowanie
    • Projektowanie usług
    • Projektowanie serwisów internetowych
    • Projektowanie aplikacji mobilnych (PWA)
    • Projektowanie i optymalizacja UX

Agencja Ecommerce

  • Badania i analiza danych
    • Doradztwo transakcyjne eCommerce
    • Analityka internetowa
    • Analiza on-page / off-page SEO
    • Badania UI / UX
  • Zwiększanie sprzedaży
    • Optymalizacja konwersji (CRO)
    • White Hat SEO
    • Content marketing
    • Online marketing

Greenlogic

  • O firmie
  • Blog
  • Polityka prywatności
  • Praca
  • Kontakt
© 2009- Greenlogic - Software House & Agencja Ecommerce

Sąd Rejonowy dla Wrocławia-Fabrycznej VI Wydział Gospodarczy KRS nr 0000602965. Kapitał zakładowy 50.000 zł opłacony w całości.

polski
  • polski
  • angielski