SQL DLA DANYCH ANALITYKÓW

Spis treści

Wprowadzenie

ROZDZIAŁ 1. Poznawanie i opisywanie danych

Wprowadzenie
Analityka danych i statystyka
Zadanie 1.01 – klasyfikowanie nowego zbioru danych
Rodzaje statystyki
Metody z obszaru statystyki opisowej
Analiza jednoczynnikowa
Ćwiczenie 1.01 – tworzenie histogramu
Ćwiczenie 1.02 – obliczanie kwartyli dla sprzedaży dodatków
Ćwiczenie 1.03 – obliczanie miar tendencji centralnej dla sprzedaży dodatków
Ćwiczenie 1.04 – obliczanie dyspersji dla sprzedaży dodatków
Analiza dwuczynnikowa
Ćwiczenie 1.05 – obliczanie współczynnika korelacji Pearsona dla dwóch zmiennych
Interpretowanie i analizowanie współczynnika korelacji
Zadanie 1.02 – eksplorowanie danych sprzedażowych z salonu samochodowego
Praca z niepełnymi danymi
Testy istotności statystycznej
Często używane testy istotności statystycznej
SQL i analityka
Podsumowanie

ROZDZIAŁ 2. Wprowadzenie do SQL-a dla analityków

Wprowadzenie
Świat danych
Rodzaje danych
Relacyjne bazy danych i SQL
Wady i zalety baz SQL-owych
System zarządzania relacyjnymi bazami danych PostgreSQL
Ćwiczenie 2.01 – uruchamianie pierwszej kwerendy SELECT
Instrukcja SELECT
Klauzula WHERE
Klauzule AND i OR
Klauzule IN i NOT IN
Klauzula ORDER BY
Klauzula LIMIT
Klauzule IS NULL i IS NOT NULL
Ćwiczenie 2.02 – kwerenda SELECT z podstawowymi słowami kluczowymi dotycząca tabeli salespeople
Zadanie 2.01 – kwerenda SELECT z podstawowymi słowami kluczowymi dotycząca tabeli customers
Tworzenie tabel
Tworzenie pustych tabel
Podstawowe typy danych w SQL-u
Typy liczbowe
Typy znakowe
Typ logiczny
Daty i godziny
Struktury danych – format JSON i tablice
Ograniczenia kolumn
Prosta instrukcja CREATE
Ćwiczenie 2.03 – tworzenie tabeli w SQL-u
Tworzenie tabel za pomocą kwerendy SELECT
Aktualizowanie tabel
Dodawanie i usuwanie kolumn
Dodawanie nowych danych
Aktualizowanie istniejących wierszy
Ćwiczenie 2.04 – aktualizowanie tabeli w celu podniesienia ceny pojazdu
Usuwanie danych i tabel
Usuwanie wartości z wiersza
Usuwanie wierszy z tabeli
Usuwanie tabel
Ćwiczenie 2.05 – usuwanie niepotrzebnej tabeli pomocniczej
Zadanie 2.02 – tworzenie i modyfikowanie tabel na potrzeby działań marketingowych
SQL i analityka
Podsumowanie

ROZDZIAŁ 3. Przygotowywanie danych za pomocą SQL-a

Wprowadzenie
Łączenie danych
Łączenie tabel za pomocą słowa kluczowego JOIN
Rodzaje złączeń
Ćwiczenie 3.01 – używanie złączeń do analizy sprzedaży w salonach
Podkwerendy
Sumy
Ćwiczenie 3.02 – generowanie listy gości na przyjęcie dla klientów VIP za pomocą klauzuli UNION
Wyrażenia WITH
Oczyszczanie danych
Funkcja CASE WHEN
Ćwiczenie 3.03 – używanie funkcji CASE WHEN do pobierania list klientów z danego regionu
Funkcja COALESCE
Funkcja NULLIF
Funkcje LEAST i GREATEST
Funkcja CASTING
Przekształcanie danych
Funkcje DISTINCT i DISTINCT ON
Zadanie 3.01 – używanie SQL-a do tworzenia modelu wspomagającego sprzedaż
Podsumowanie

ROZDZIAŁ 4. Analiza danych z wykorzystaniem funkcji agregujących

Wprowadzenie
Funkcje agregujące
Ćwiczenie 4.01 – używanie funkcji agregujących do analizowania danych
Funkcje agregujące z klauzulą GROUP BY
Klauzula GROUP BY
Klauzula GROUP BY dla kilku kolumn
Ćwiczenie 4.02 – obliczanie cen dla typów produktów za pomocą klauzuli GROUP BY
Klauzula GROUPING SETS
Funkcje agregujące dla zbiorów uporządkowanych
Funkcje agregujące z klauzulą HAVING
Ćwiczenie 4.03 – obliczanie wyników i wyświetlanie danych z użyciem klauzuli HAVING
Stosowanie funkcji agregujących do oczyszczania danych i sprawdzania ich jakości
Znajdowanie brakujących wartości za pomocą klauzuli GROUP BY
Sprawdzanie unikatowości danych za pomocą funkcji agregujących
Zadanie 4.01 – analizowanie danych sprzedażowych z użyciem funkcji agregujących
Podsumowanie

ROZDZIAŁ 5. Analizowanie danych za pomocą funkcji okna

Wprowadzenie
Funkcje okna
Podstawy funkcji okna
Ćwiczenie 5.01 – analizowanie zmian współczynnika podawania danych przez klientów w czasie
Słowo kluczowe WINDOW
Obliczanie statystyk z użyciem funkcji okna
Ćwiczenie 5.02 – określanie pozycji na podstawie daty rejestracji
Ramka okna
Ćwiczenie 5.03 – motywowanie pracowników lunchem
Zadanie 5.01 – analizowanie sprzedaży z wykorzystaniem ramek okna i funkcji okna
Podsumowanie

ROZDZIAŁ 6. Importowanie i eksportowanie danych

Wprowadzenie
Polecenie COPY
Uruchamianie polecenia psql
Instrukcja COPY
Instrukcja \COPY w narzędziu psql
Tworzenie tymczasowych widoków
Konfigurowanie poleceń COPY i \COPY
Użycie poleceń COPY i \COPY do masowego wczytywania danych do bazy
Ćwiczenie 6.01 – eksportowanie danych do pliku w celu dalszego przetwarzania ich w Excelu
Zastosowanie języka Python do bazy danych
Wprowadzenie do języka Python
Ułatwianie dostępu do baz PostgreSQL w Pythonie za pomocą narzędzi SQLAlchemy i pandas
Czym jest SQLAlchemy?
Stosowanie Pythona z wykorzystaniem pakietów SQLAlchemy i pandas
Pobieranie danych z bazy i ich zapisywanie w bazie za pomocą pakietu pandas
Zapisywanie danych w bazie za pomocą Pythona
Ćwiczenie 6.02 – wczytywanie, wizualizowanie i zapisywanie danych za pomocą Pythona
Zwiększanie szybkości zapisu w Pythonie za pomocą polecenia COPY
Odczyt i zapis plików CSV w Pythonie
Najlepsze praktyki z obszaru importowania i eksportowania danych
Pomijanie podawania hasła
Zadanie 6.01 – używanie zewnętrznego zbioru danych do wykrywania trendów sprzedażowych
Podsumowanie

ROZDZIAŁ 7. Analizy z wykorzystaniem złożonych typów danych

Wprowadzenie
Wykorzystywanie typów danych z datami i czasem do analiz
Wprowadzenie do typu date
Przekształcanie typów danych
Przedziały
Ćwiczenie 7.01 – analiza danych z szeregów czasowych
Przeprowadzanie analiz geoprzestrzennych w PostgreSQL
Długość i szerokość geograficzna
Reprezentowanie długości i szerokości geograficznej w PostgreSQL
Ćwiczenie 7.02 – analizy geoprzestrzenne
Stosowanie tablicowych typów danych w PostgreSQL
Wprowadzenie do tablic
Ćwiczenie 7.03 – analizowanie sekwencji z użyciem tablic
Stosowanie formatu JSON w PostgreSQL
JSONB – wstępnie przetworzone dane w formacie JSON
Dostęp do danych z pól w formacie JSON lub JSONB
Stosowanie języka JSONPath do pól w formacie JSONB
Tworzenie i modyfikowanie danych w polu w formacie JSONB
Ćwiczenie 7.04 – przeszukiwanie obiektów JSONB
Analiza tekstu za pomocą PostgreSQL
Tokenizacja tekstu
Ćwiczenie 7.05 – analizowanie tekstu
Wyszukiwanie tekstu
Optymalizowanie wyszukiwania tekstu w PostgreSQL
Zadanie 7.01 – wyszukiwanie i analiza transakcji sprzedaży
Podsumowanie

ROZDZIAŁ 8. Wydajny SQL

Wprowadzenie
Znaczenie wysoce wydajnego kodu w SQL-u
Metody skanowania baz danych
Plany wykonywania kwerend
Ćwiczenie 8.01 – interpretowanie działania planera kwerend
Zadanie 8.01 – plany wykonywania kwerendy
Skanowanie indeksu
Indeks w postaci B-drzewa
Ćwiczenie 8.02 – tworzenie indeksu na potrzeby skanowania
Zadanie 8.02 – stosowanie skanowania indeksu
Indeks z haszowaniem
Ćwiczenie 8.03 – tworzenie kilku indeksów z haszowaniem, aby zbadać ich wydajność
Zadanie 8.03 – stosowanie indeksów z haszowaniem
Skuteczne korzystanie z indeksów
Kończenie pracy kwerend
Ćwiczenie 8.04 – anulowanie długo działającej kwerendy
Funkcje i wyzwalacze
Definicje funkcji
Ćwiczenie 8.05 – tworzenie funkcji, które nie przyjmują argumentów
Zadanie 8.04 – definiowanie funkcji zwracającej maksymalną wartość sprzedaży
Ćwiczenie 8.06 – tworzenie funkcji przyjmujących argumenty
Zadanie 8.05 – tworzenie funkcji przyjmujących argumenty
Wyzwalacze
Ćwiczenie 8.07 – tworzenie wyzwalaczy do aktualizowania pól
Zadanie 8.06 – tworzenie wyzwalacza do śledzenia średniej liczby kupionych sztuk
Podsumowanie

ROZDZIAŁ 9. Odkrywanie prawdy za pomocą SQL-a – studium przypadku

Wprowadzenie
Studium przypadku
Metoda naukowa
Ćwiczenie 9.01 – wstępne zbieranie danych za pomocą technik SQL-a
Ćwiczenie 9.02 – pobieranie informacji sprzedażowych
Zadanie 9.01 – ilościowa ocena spadku sprzedaży
Ćwiczenie 9.03 – analiza czasu rozpoczęcia sprzedaży
Zadanie 9.02 – analiza hipotezy dotyczącej różnicy w cenie sprzedaży
Ćwiczenie 9.04 – analiza zależności wzrostu sprzedaży od współczynnika otwarć e-maili
Ćwiczenie 9.05 – analiza skuteczności e-mailowej kampanii marketingowej
Wnioski
Badania terenowe
Podsumowanie

Dodatek

Skorowidz