Czym jest Data Science? Wprowadzenie do nauki o danych.
Data Science czyli po prostu analiza danych wciąż ewoluuje jako jedna z obiecujących branży dla wykwalifikowanych specjalistów w dziedzinie IT. Dzisiaj specjaliści od danych rozumieją, że muszą przejść dalej niż tradycyjne umiejętności analizy dużych ilości danych, eksploracji danych i umiejętności programowania. Aby odkryć przydatne dane dla swoich organizacji, naukowcy danych muszą opanować pełne spektrum cyklu życia nauki danych oraz posiadać poziom elastyczności i zrozumienia, aby zmaksymalizować zwroty na każdym etapie procesu.
Do czego potrzebne jest Data Science?
Dane, które mieliśmy, były w większości ustrukturyzowane i zajmowały mniej miejsca, wtedy można je analizować za pomocą prostych narzędzi biznesowych. W przeciwieństwie do danych w tradycyjnych systemach, dziś większość danych jest nieustrukturyzowana lub częściowo ustrukturyzowana. Wg statystyk już ponad 80% danych jest nieuporządkowanych. Dane te są generowane z różnych źródeł, takich jak dzienniki finansowe, pliki tekstowe, formularze multimedialne, czy czujników. Proste narzędzia biznesowe nie są w stanie przetwarzać tak dużej ilości i różnorodności danych. Dlatego potrzebujemy bardziej złożonych i zaawansowanych narzędzi analitycznych i algorytmów do przetwarzania, analizy i wyciągania z nich znaczących spostrzeżeń. To jeden z głównych powodów dlaczego Data Science jest przydatne jednak nie jest jedynym. Analiza danych pomaga w wielu dziedzinach i przypadkach. Jednym z nich jest szeroko pojęty marketing. Zrozumienie dokładnych wymagań swoich klientów na podstawie istniejących danych takich jak historia przeglądania klienta, zakupów czy wiek i dochód. Za pomocą różnorodności i wielkości dostępnych danych jest o wiele łatwiej wykonać precyzyjny i efektywny model i polecać produkty swoim klientom. Data science można wykorzystać również w analizie predykcyjnej. Ilość dostępnych danych jest naprawdę wielka, a dobra analiza pomaga budować o wiele lepsze modele predykcyjne. Mogą one przewidzieć między innymi takie rzeczy jak pogodę czy różne klęski żywiołowe, ale nie tylko. Takie precyzyjne modele predykcyjne pozwalają przedsięwziąć wcześniej odpowiednie kroki zapobiegawcze.
Podstawy wiedzy o danych
Naukowcy danych powinni znać się na czterech podstawowych obszarach, które są związane z Data Science:
- Strona biznesowa
- Statystyka i prawdopodobieństwo
- Informatyka i programowanie
- Komunikacja międzyludzka
Oczywiście oprócz tych czterech podstaw są również inne umiejętności i rodzaj wiedzy, który powinni posiadać specjaliści w tym obszarze.
Opierając się na tych filarach, naukowiec danych to osoba, która powinna być w stanie wykorzystać istniejące źródła danych i tworzyć nowe w razie potrzeby w celu uzyskania istotnych informacji i praktycznych spostrzeżeń. Te spostrzeżenia mogą być wykorzystane do podjęcia decyzji biznesowych i zmian mających na celu osiągnięcie celów biznesowych. Odbywa się to poprzez specjalistyczną wiedzę w dziedzinie biznesu, skuteczną komunikację i interpretację wyników oraz wykorzystanie wszelkich odpowiednich technik statystycznych, języków programowania, pakietów oprogramowania i bibliotek, infrastruktury danych i tak dalej.
Co tak naprawdę robi Data Scientist?
W ciągu ostatniej dekady analitycy danych stali się niezbędnymi zasobami i są obecni w prawie wszystkich organizacjach. Ci specjaliści to osoby o wysokich umiejętnościach technicznych, zdolne do budowania złożonych algorytmów ilościowych w celu organizowania i syntezy dużych ilości informacji wykorzystywanych do odpowiadania na pytania i kierowania strategią w ich organizacji. Oprócz tego mają doświadczenie w komunikacji i cechy przywódcze potrzebne do zapewnienia rezultatów różnych stroną w organizacji lub firmie.
Kluczowe narzędzia techniczne i umiejętności w tej branży to:
- R
- Python
- Apache Hadoop
- MapReduce
- Apache Spark
- Bazy danych NoSQL
- Chmura obliczeniowa
- D3
- Apache Pig
- Tableau
- iPython
- GitHub
Etapy pracy w Data Science?
Odkrycie: Przed rozpoczęciem projektu ważne jest zrozumienie różnych specyfikacji, wymagań, priorytetów i wymaganego budżetu. Musisz posiadać umiejętność zadawania właściwych pytań. Tutaj oceniasz, czy masz wymagane zasoby pod względem ludzi, technologii, czasu i danych do wsparcia projektu. Na tym etapie musisz także sformułować problem biznesowy i sformułować wstępne hipotezy do przetestowania.
Przygotowanie danych: W tej fazie potrzebujesz przeprowadzać analizy przez cały czas trwania projektu. Przed modelowaniem musisz eksplorować, przetwarzać i uwarunkowywać dane. Ponadto trzeba dane oszlifować. Możesz użyć R do czyszczenia, transformacji i wizualizacji danych. Pomoże Ci to dostrzec wartości odstające i ustalić związek między zmiennymi. Po wyczyszczeniu i przygotowaniu danych nadszedł czas na analizę eksploracyjną. Zobaczmy, jak możesz to osiągnąć.
Planowanie modelu: Tutaj określisz metody i techniki rysowania relacji między zmiennymi. Te relacje będą stanowić podstawę dla algorytmów, które zostaną wdrożone w następnej fazie. Będziesz stosować analizę danych eksploracyjnych przy użyciu różnych formuł statystycznych i narzędzi do wizualizacji.
Budowanie modelu: Na tym etapie opracujesz zestawy danych do celów szkoleniowych i testowych. Zastanowisz się, czy istniejące narzędzia wystarczą do uruchomienia modeli, czy będzie wymagać bardziej niezawodnego środowiska (takiego jak szybkie i równoległe przetwarzanie). Przeanalizujesz różne techniki uczenia się, takie jak klasyfikacja, asocjacja i grupowanie, aby zbudować model.
Operacjonalizacja czyli przełożenie teorii w praktykę: Na tym etapie dostarczasz raporty końcowe, briefingi, kod i dokumenty techniczne. Ponadto czasami projekt pilotażowy jest również wdrażany w środowisku produkcyjnym w czasie rzeczywistym. Zapewni to jasny obraz wydajności i innych powiązanych ograniczeń na małą skalę przed pełnym wdrożeniem.
Pokazanie wyników: W tym etapie ważne, aby ocenić, czy udało ci się osiągnąć cel, który zaplanowałeś w początkowej fazie. Tak więc w ostatniej fazie identyfikujesz wszystkie kluczowe ustalenia, komunikujesz się z zainteresowanymi stronami i określasz, czy wyniki projektu są sukcesem czy porażką w oparciu o kryteria opracowane w początkowej fazie odkrycia.
Specjaliści zajmujący się danymi mają niezwykle ważną i wymagająca rola, która może mieć znaczący wpływ na zdolność firmy do osiągania swoich celów, zarówno finansowych, operacyjnych, czy strategicznych
Firma gromadzi masę danych, które przez większość czasu są zaniedbywane lub nie w pełni wykorzystywane. Dane te, poprzez znaczące wydobywanie informacji i odkrywanie praktycznych spostrzeżeń, mogą być wykorzystywane do podejmowania kluczowych decyzji biznesowych i wprowadzania istotnych zmian biznesowych. Można je również wykorzystać do optymalizacji sukcesu klienta, a następnie akwizycji, utrzymania i wzrostu. Badacze danych mogą mieć duży pozytywny wpływ na sukces firmy, a czasem nieumyślnie powodować straty finansowe, co jest jednym z wielu powodów, dla których zatrudnienie najwyższej klasy specjalisty ds. danych jest kluczowe.
