MATEMATYKA W DEEP LEARNINGU CO MUSISZ WIEDZIEĆ ABY ZROZUMIEĆ SIECI NEURONOWE

Matematyka w deep learningu. Co musisz wiedzieć, aby zrozumieć sieci neuronowe

Przedmowa

Wprowadzenie

1. Przygotowanie środowiska pracy

• Instalowanie zestawu narzędzi
  • Linuks
  • macOS
  • Windows
• NumPy
  • Definiowanie tablic
  • Typy danych
  • Tablice dwuwymiarowe
  • np.zeros i np.ones
  • Zaawansowane indeksowanie
  • Odczyt i zapis na dysku
• SciPy
• Matplotlib
• Scikit-learn
• Podsumowanie

2. Prawdopodobieństwo

• Podstawowe koncepcje
  • Przestrzeń próbek i zdarzenia
  • Zmienne losowe
  • Ludzie nie radzą sobie z prawdopodobieństwem
• Reguły prawdopodobieństwa
  • Prawdopodobieństwo zdarzenia
  • Reguła dodawania
  • Reguła mnożenia
  • Ponowne spojrzenie na regułę dodawania
  • Paradoks dnia urodzin
  • Prawdopodobieństwo warunkowe
  • Prawdopodobieństwo całkowite
• Prawdopodobieństwo łączne i brzegowe
  • Tabele prawdopodobieństwa łącznego
  • Reguła łańcuchowa dla prawdopodobieństwa
• Podsumowanie

3. Więcej prawdopodobieństwa

• Rozkłady prawdopodobieństwa
  • Histogramy i prawdopodobieństwa
  • Dyskretne rozkłady prawdopodobieństwa
  • Ciągłe rozkłady prawdopodobieństwa
  • Centralne twierdzenie graniczne
  • Prawo wielkich liczb
• Twierdzenie Bayesa
  • Rak czy nie rak
  • Aktualizacja prawdopodobieństwa a priori
  • Twierdzenie Bayesa w uczeniu maszynowym
• Podsumowanie

4. Statystyka

• Rodzaje danych
  • Dane nominalne
  • Dane porządkowe
  • Dane interwałowe
  • Dane ilorazowe
  • Wykorzystanie danych nominalnych w uczeniu głębokim
• Statystyki podsumowujące
  • Średnie i mediana
  • Miary zmienności
• Kwantyle i wykresy pudełkowe
• Braki w danych
• Korelacja
  • Współczynnik korelacji Pearsona
  • Korelacja Spearmana
• Testowanie hipotez
  • Hipotezy
  • Test t
  • Test U Manna-Whitneya
• Podsumowanie

5. Algebra liniowa

• Skalary, wektory, macierze i tensory
  • Skalary
  • Wektory
  • Macierze
  • Tensory
• Arytmetyka tensorów
  • Operacje tablicowe
  • Operacje wektorowe
  • Mnożenie macierzy
  • Iloczyn Kroneckera
• Podsumowanie

6. Więcej algebry liniowej

• Macierze kwadratowe
  • Dlaczego macierze kwadratowe?
  • Transpozycja, ślad i potęgowanie
  • Specjalne macierze kwadratowe
  • Macierz jednostkowa
  • Wyznaczniki
  • Odwrotności
  • Macierze symetryczne, ortogonalne i unitarne
  • Określoność macierzy symetrycznych
• Wektory i wartości własne
  • Znajdowanie wartości i wektorów własnych
• Normy wektorowe i miary odległości
  • L-normy oraz miary odległości
  • Macierze kowariancji
  • Odległość Mahalanobisa
  • Dywergencja Kullbacka-Leiblera
• Analiza głównych składowych
• Rozkład według wartości osobliwych i pseudoodwrotności
  • SVD w akcji
  • Dwa zastosowania
• Podsumowanie

7. Rachunek różniczkowy

• Nachylenie
• Pochodne
  • Definicja formalna
  • Podstawowe zasady
  • Funkcje trygonometryczne
  • Funkcje wykładnicze i logarytmy
• Minima i maksima funkcji
• Pochodne cząstkowe
  • Mieszane pochodne cząstkowe
  • Reguła łańcuchowa dla pochodnych cząstkowych
• Gradienty
  • Obliczanie gradientu
  • Wizualizacja gradientu
• Podsumowanie

8. Macierzowy rachunek różniczkowy

• Formuły
  • Funkcja wektorowa z argumentem skalarnym
  • Funkcja skalarna z argumentem wektorowym
  • Funkcja wektorowa przyjmująca wektor
  • Funkcja macierzowa przyjmująca skalar
  • Funkcja skalarna przyjmująca macierz
• Tożsamości
  • Funkcja skalarna z argumentem wektorowym
  • Funkcja wektorowa z argumentem skalarnym
  • Funkcja wektorowa przyjmująca wektor
  • Funkcja skalarna przyjmująca macierz
• Macierze Jacobiego i hesjany
  • Macierze Jacobiego
  • Hesjany
• Wybrane przykłady z macierzowego rachunku różniczkowego
  • Pochodna operacji na elementach
  • Pochodna funkcji aktywacji
• Podsumowanie

9. Przepływ danych w sieciach neuronowych

• Reprezentacja danych
  • Tradycyjne sieci neuronowe
  • Głębokie sieci konwolucyjne
• Przepływ danych w tradycyjnych sieciach neuronowych
• Przepływ danych w konwolucyjnych sieciach neuronowych
  • Konwolucja
  • Warstwy konwolucyjne
  • Warstwy łączące
  • Warstwy w pełni połączone
  • Przepływ danych w konwolucyjnej sieci neuronowej
• Podsumowanie

10. Propagacja wsteczna

• Czym jest propagacja wsteczna?
• Ręczne przeprowadzanie propagacji wstecznej
  • Pochodne cząstkowe
  • Zamiana formuł na kod w Pythonie
  • Uczenie i testowanie modelu
• Propagacja wsteczna w sieciach w pełni połączonych
  • Wsteczna propagacja błędu
  • Obliczanie pochodnych cząstkowych wag i wyrazów wolnych
  • Implementacja w Pythonie
  • Korzystanie z implementacji
• Grafy obliczeniowe
• Podsumowanie

11. Metoda gradientu prostego

• Podstawowa idea
  • Jednowymiarowa metoda gradientu prostego
  • Metoda gradientu prostego w dwóch wymiarach
  • Stochastyczna metoda gradientu prostego
• Pęd
  • Czym jest pęd?
  • Pęd w jednym wymiarze
  • Pęd w dwóch wymiarach
  • Uczenie modeli za pomocą metod z pędem
  • Pęd Niestierowa
• Adaptacyjna metoda gradientu prostego
  • RMSprop
  • Adagrad i Adadelta
  • Adam
  • Kilka uwag na temat metod optymalizacji
• Podsumowanie
• Epilog

Dodatek. Co dalej?

Skorowidz