MATEMATYKA I SZTUCZNA INTELIGENCJA

Spis treści

Przedmowa

Rozdział 1. Dlaczego warto poznać matematykę zarządzającą sztuczną inteligencją?

Czym jest sztuczna inteligencja?
Dlaczego sztuczna inteligencja jest dziś tak popularna?
Co potrafi sztuczna inteligencja?
Specyficzne zadania agenta AI
Jakie są ograniczenia sztucznej inteligencji?
Co się stanie, gdy systemy AI zawiodą?
Dokąd zmierza sztuczna inteligencja?
Kim są obecni główni twórcy w dziedzinie sztucznej inteligencji?
Jakie obliczenia matematyczne są zwykle stosowane w sztucznej inteligencji?
Podsumowanie i spojrzenie w przyszłość

Rozdział 2. Dane, dane, dane

Dane dla AI
Dane rzeczywiste a dane symulowane
Modele matematyczne – liniowe kontra nieliniowe
Przykład danych rzeczywistych
Przykład danych symulowanych
Modele matematyczne – symulacje i sztuczna inteligencja
Skąd pochodzą dane?
Słownictwo związane z rozkładem danych, prawdopodobieństwem i statystyką
Zmienne losowe
Rozkłady prawdopodobieństwa
Prawdopodobieństwa krańcowe
Rozkład równomierny i normalny
Prawdopodobieństwa warunkowe i twierdzenie Bayesa
Prawdopodobieństwa warunkowe i rozkłady łączne
Rozkład aprioryczny, rozkład a posteriori i funkcja wiarygodności
Kombinacje rozkładów
Sumy i iloczyny zmiennych losowych
Wykorzystanie grafów do przedstawienia łącznych rozkładów prawdopodobieństwa
Wartość oczekiwana, średnia, wariancja i niepewność
Kowariancja i korelacja
Procesy Markowa
Normalizacja, skalowanie i (lub) standaryzacja zmiennej losowej lub zbioru danych
Typowe przykłady
Rozkłady ciągłe a rozkłady dyskretne (gęstość kontra masa)
Potęga funkcji gęstości prawdopodobieństwa łącznego
Równomierny rozkład danych
Rozkład normalny (Gaussa) w kształcie dzwonu
Rozkłady danych – inne ważne i powszechnie używane rozkłady
Różne zastosowania słowa „rozkład”
Testy A/B
Podsumowanie i spojrzenie w przyszłość

Rozdział 3. Dopasowywanie funkcji do danych

Tradycyjne i bardzo przydatne modele uczenia maszynowego
Rozwiązania numeryczne a rozwiązania analityczne
Regresja – przewidywanie wartości liczbowej
Funkcja szkoleniowa
Funkcja straty
Optymalizacja
Regresja logistyczna – klasyfikacja do dwóch klas
Funkcja szkoleniowa
Funkcja straty
Optymalizacja
Regresja softmax – przyporządkowanie do wielu klas
Funkcja szkoleniowa
Funkcja straty
Optymalizacja
Wykorzystanie omówionych modeli do ostatniej warstwy sieci neuronowej
Inne popularne techniki i zestawy technik uczenia maszynowego
Maszyny wektorów nośnych
Drzewa decyzyjne
Lasy losowe
Klasteryzacja k-średnich
Miary wydajności dla modeli klasyfikacji
Podsumowanie i perspektywy na przyszłość

Rozdział 4. Optymalizacja w sieciach neuronowych

Kora mózgowa a sztuczne sieci neuronowe
Funkcja szkoleniowa – w pełni połączone (gęste) sieci neuronowe z przekazem w przód
Sieć neuronowa jest reprezentacją grafu obliczeniowego funkcji szkoleniowej
Łączenie liniowe, dodawanie przesunięcia i aktywacja
Popularne funkcje aktywacji
Uniwersalna aproksymacja funkcji
Teoria aproksymacji dla uczenia głębokiego
Funkcje straty
Optymalizacja
Matematyka sieci neuronowych i ich tajemniczy sukces
Zstępowanie gradientowe ?i+1=?i-??L?i
Rola hiperparametru szybkości uczenia
Wykresy wypukłe i niewypukłe
Stochastyczne zstępowanie gradientowe
Inicjalizacja wag ?0 dla procesu optymalizacji
Techniki regularyzacji
Dropout
Wczesne zatrzymanie
Normalizacja wsadowa każdej warstwy
Kontrola rozmiaru wag poprzez penalizowanie ich normy
Penalizacja normy l2 a penalizacja normy l1
Wyjaśnienie roli hiperparametru regularyzacji ?
Przykłady hiperparametrów występujących w uczeniu maszynowym
Reguła łańcuchowa i propagacja wstecz: Obliczanie ?L?i
Propagacja wsteczna nie różni się zbytnio od sposobu, w jaki uczy się ludzki mózg
Dlaczego propagacja wstecz daje lepsze efekty?
Propagacja wsteczna w szczegółach
Ocena znaczenia cech danych wejściowych
Podsumowanie i perspektywy na przyszłość

Rozdział 5. Konwolucyjne sieci neuronowe i komputerowe przetwarzanie obrazów

Splot i korelacja krzyżowa
Niezmienność translacji i równoważność translacji
Splot w zwykłej przestrzeni jest iloczynem w przestrzeni częstotliwości
Splot z perspektywy projektowania systemów
Splot i odpowiedź impulsowa w systemach liniowych i niezmiennych względem translacji
Operacja splotu a jednowymiarowe sygnały dyskretne
Operacja splotu a dwuwymiarowe sygnały dyskretne
Filtrowanie obrazów
Mapy cech
Notacja algebry liniowej
Przypadek jednowymiarowy – mnożenie przez macierz Toeplitza
Przypadek dwuwymiarowy – mnożenie przez podwójną blokową macierz cykliczną
Pooling
Konwolucyjna sieć neuronowa do klasyfikacji obrazów
Podsumowanie i perspektywy na przyszłość

Rozdział 6. Rozkład według wartości osobliwych – przetwarzanie obrazów, przetwarzanie języka naturalnego i media społecznościowe

Faktoryzacja macierzy
Macierze diagonalne
Macierze jako przekształcenia liniowe działające na przestrzeń
Działanie macierzy A na prawe wektory osobliwe
Działanie macierzy A na standardowe wektory jednostkowe i wyznaczony przez nie kwadrat jednostkowy
Działanie macierzy A na jednostkowym okręgu
Transformacja okręgu w elipsę zgodnie z rozkładem według wartości osobliwych
Macierze obrotu i odbić
Działanie macierzy A na ogólny wektor x
Trzy sposoby mnożenia macierzy
Ogólny zarys
Współczynnik uwarunkowania i stabilność obliczeniowa
Elementy rozkładu wartości osobliwych
Rozkład według wartości osobliwych a rozkład według wartości własnych
Obliczanie rozkładu według wartości osobliwych
Numeryczne obliczanie wektora własnego
Pseudoinwersja
Zastosowanie rozkładu według wartości osobliwych w przetwarzaniu obrazów
Analiza składowych głównych a redukcja wymiarów
Analiza składowych głównych a grupowanie
Aplikacje społecznościowe
Utajona analiza semantyczna
Losowy rozkład według wartości osobliwych
Podsumowanie i perspektywy na przyszłość

Rozdział 7. AI w przetwarzaniu języka naturalnego i finansach – wektoryzacjai szeregi czasowe

Modele AI w przetwarzaniu języka naturalnego
Przygotowanie danych języka naturalnego do maszynowego przetwarzania
Modele statystyczne i funkcja logarytmiczna
Prawo Zipfa o liczności terminów
Różne reprezentacje wektorowe dla dokumentów języka naturalnego
Reprezentacja wektorowa częstości terminów w dokumencie lub „worku słów”
Reprezentacja wektorowa dokumentu TF-IDF
Tematyczna reprezentacja wektorowa dokumentu określona przez utajoną analizę semantyczną
Reprezentacja wektora tematycznego dokumentu określona przez utajoną alokację Dirichleta
Reprezentacja wektora tematycznego dokumentu określona przez utajoną analizę dyskryminacyjną
Reprezentacje wektorów znaczeń słów i dokumentów określone przez osadzone sieci neuronowe
Podobieństwo kosinusowe
Zastosowania mechanizmów przetwarzania języka naturalnego
Analiza tonu
Filtry spamu
Wyszukiwanie i odzyskiwanie informacji
Tłumaczenie maszynowe
Podpisy do obrazów
Chatboty
Inne zastosowania
Transformery i modele uwagi
Architektura transformera
Mechanizm uwagi
Transformerom daleko do doskonałości
Konwolucyjne sieci neuronowe dla danych w postaci szeregów czasowych
Rekurencyjne sieci neuronowe dla danych szeregów czasowych
Jak działają rekurencyjne sieci neuronowe?
Bramkowane jednostki rekurencyjne i jednostki LSTM
Przykład danych języka naturalnego
Sztuczna inteligencja w dziedzinie finansów
Podsumowanie i perspektywy na przyszłość

Rozdział 8. Probabilistyczne modele generatywne

Do czego przydają się modele generatywne?
Typowe reguły matematyczne modeli generatywnych
Przejście z myślenia deterministycznego na myślenie probabilistyczne
Oszacowanie metodą największej wiarygodności
Jawne i niejawne modele gęstości
Jawny model gęstości – wykonalny: w pełni sieci przekonań
Przykład: generowanie obrazów za pomocą modelu PixelCNN i maszynowego dźwięku za pomocą modelu WaveNet
Jawny model gęstości – wykonalny: zmiana zmiennych w nieliniowej analizie składowych niezależnych
Jawny model gęstości – niepraktyczny: aproksymacja autoenkoderów wariacyjnych za pomocą metod wariacyjnych
Jawny model gęstości – niepraktyczny: aproksymacja maszyny Boltzmanna za pomocą łańcucha Markowa
Niejawny łańcuch gęstości Markowa – generatywna sieć stochastyczna
Niejawna gęstość prawdopodobieństwa – generatywne sieci kontradyktoryjne
Jak działają generatywne sieci kontradyktoryjne?
Przykład: uczenie maszynowe i sieci generatywne w fizyce wysokich energii
Inne modele generatywne
Naiwny klasyfikator Bayesa
Mieszany model Gaussa
Ewolucja modeli generatywnych
Sieci Hopfielda
Maszyna Boltzmanna
Ograniczona maszyna Boltzmanna
Oryginalny autoenkoder
Probabilistyczne modelowanie języka
Podsumowanie i perspektywy na przyszłość

Rozdział 9. Modele grafów

Grafy – węzły, krawędzie i ich cechy
Przykład: algorytm PageRank
Odwracanie macierzy za pomocą grafów
Grafy grup Cayleya – czysta algebra i obliczenia równoległe
Przekazywanie komunikatów w obrębie grafu
Nieograniczone zastosowania grafów
Sieci ludzkiego mózgu
Rozprzestrzenianie się choroby
Rozprzestrzenianie się informacji
Mechanizmy detekcji i śledzenia rozpowszechniania fałszywych wiadomości
Systemy rekomendacji w skali internetu
Walka z rakiem
Grafy biochemiczne
Generowanie grafów molekularnych na potrzeby odkrywania struktur leków i białek
Sieci cytowań
Sieci mediów społecznościowych i prognozowanie wpływu społecznego
Struktury socjologiczne
Sieci bayesowskie
Prognozowanie ruchu
Logistyka i badania operacyjne
Modele językowe
Struktura grafu internetowego
Automatyczna analiza programów komputerowych
Struktury danych w informatyce
Równoważenie obciążenia w sieciach rozproszonych
Sztuczne sieci neuronowe
Losowe spacery po grafach
Uczenie reprezentacji węzłów
Zadania dla grafowych sieci neuronowych
Klasyfikacja węzłów
Klasyfikacja grafów
Klasteryzacja i wykrywanie społeczności
Generowanie grafów
Maksymalizacja oddziaływania
Prognozowanie połączeń
Dynamiczne modele grafowe
Sieci bayesowskie
Sieć bayesowska jako reprezentacja zagęszczonej tabeli prawdopodobieństwa warunkowego
Tworzenie prognoz za pomocą sieci bayesowskiej
Sieci bayesowskie to sieci przekonań, a nie sieci przyczynowe
Ważne informacje o sieciach bayesowskich
Łańcuchy, rozwidlenia i kolidery
Jak skonfigurować sieć bayesowską zmiennych dla znanego zestawu danych?
Grafy wykorzystywane na potrzeby probabilistycznego modelowania przyczynowego
Krótka historia teorii grafów
Główne pojęcia w teorii grafów
Drzewa rozpinające i najkrótsze drzewa rozpinające
Zbiory przekrojów i wierzchołki przekrojów
Planarność
Grafy jako przestrzenie wektorowe
Realizowalność
Kolorowanie i dopasowywanie
Wyliczanie
Algorytmy i obliczeniowe aspekty grafów
Podsumowanie i perspektywy na przyszłość

Rozdział 10. Badania operacyjne

Nie ma darmowych obiadów
Analiza złożoności i notacja O()
Optymalizacja – sedno badań operacyjnych
Myślenie o optymalizacji
Optymalizacja – skończone wymiary, bez ograniczeń
Optymalizacja – wymiary skończone, ograniczone mnożniki Lagrange’a
Optymalizacja – nieskończone wymiary, rachunek wariacyjny
Optymalizacja w sieciach
Problem komiwojażera
Minimalne drzewo rozpinające
Najkrótsza ścieżka
Maksymalny przepływ, minimalny przekrój
Maksymalny przepływ, minimalny koszt
Metoda ścieżki krytycznej w projektowaniu
Problem n-królowych
Optymalizacja liniowa
Format ogólny i format standardowy
Wizualizacja problemu optymalizacji liniowej w dwóch wymiarach
Konwersja funkcji wypukłej na liniową
Geometria optymalizacji liniowej
Metoda simpleks
Problem transportowy i problemy przydziału
Dualizm, relaksacja Lagrange’a, ceny cienie, Max-Min, Min-Max i tak dalej
Czułość
Teoria gier i multiagenty
Kolejkowanie
Zapasy
Uczenie maszynowe w badaniach operacyjnych
Równanie Hamiltona-Jacobiego-Bellmana
Badania operacyjne na potrzeby sztucznej inteligencji
Podsumowanie i perspektywy na przyszłość

Rozdział 11. Prawdopodobieństwo

Gdzie w tej książce pojawiło się prawdopodobieństwo?
Jakie dodatkowe tematy są niezbędne dla sztucznej inteligencji?
Modelowanie przyczynowe i rachunek do
Alternatywa: rachunek do
Paradoksy i interpretacje diagramów
Problem Monty’ego Halla
Paradoks Berksona
Paradoks Simpsona
Duże macierze losowe
Przykłady losowych wektorów i macierzy
Główne rozważania dotyczące teorii macierzy losowych
Zespołowe macierze losowe
Gęstość wartości własnych sumy dwóch dużych macierzy losowych
Niezbędne narzędzia matematyki dla dużych macierzy losowych
Procesy stochastyczne
Proces Bernoulliego
Proces Poissona
Losowy spacer
Proces Wienera, czyli ruchy Browna
Martyngały
Proces Levy’ego
Proces rozgałęziający
Łańcuch Markowa
Lemat Itô
Procesy decyzyjne Markowa a uczenie przez wzmacnianie
Przykłady uczenia przez wzmacnianie
Uczenie przez wzmacnianie jako proces decyzyjny Markowa
Uczenie przez wzmacnianie w kontekście sterowania optymalnego i dynamiki nieliniowej
Biblioteka Pythona do obsługi uczenia przez wzmacnianie
Rygorystyczne podstawy teoretyczne
Które zdarzenia mają prawdopodobieństwo?
Czy można mówić o szerszym zakresie zmiennych losowych?
Trójka prawdopodobieństwa (przestrzeń próbek, algebra sigma, miara prawdopodobieństwa)
Gdzie leży trudność?
Zmienna losowa, oczekiwanie i całkowanie
Rozkład zmiennej losowej i twierdzenie o zmianie zmiennej
Kolejne kroki w rygorystycznej teorii prawdopodobieństwa
Twierdzenie o uniwersalności dla sieci neuronowych
Podsumowanie i perspektywy na przyszłość

Rozdział 12. Logika matematyczna

Różne frameworki logiki
Logika zdaniowa
Od kilku aksjomatów do kompletnej teorii
Kodyfikacja logiki w agencie
Uczenie maszynowe deterministyczne kontra probabilistyczne
Logika pierwszego rzędu
Relacje pomiędzy kwantyfikatorami „dla wszystkich” i „istnieje”
Logika probabilistyczna
Logika rozmyta
Logika temporalna
Porównanie z ludzkim językiem naturalnym
Maszyny i złożone wnioskowanie matematyczne
Podsumowanie i perspektywy na przyszłość

Rozdział 13. Sztuczna inteligencja i cząstkowe równania różniczkowe

Co to jest cząstkowe równanie różniczkowe?
Modelowanie z wykorzystaniem równań różniczkowych
Modele w różnych skalach
Parametry równań PDE
Zmiana jednej rzeczy w PDE może mieć wielkie znaczenie
Czy można wykorzystać sztuczną inteligencję?
Rozwiązania numeryczne są bardzo cenne
Funkcje ciągłe a funkcje dyskretne
Motywy PDE z mojej pracy doktorskiej
Dyskretyzacja i przekleństwo wymiarowości
Różnice skończone
Elementy skończone
Metody wariacyjne, czyli energetyczne
Metody Monte Carlo
Wybrane zagadnienia mechaniki statystycznej – cudowne równanie główne
Rozwiązania jako oczekiwania badanych procesów losowych
Przekształcanie równań PDE
Transformata Fouriera
Transformata Laplace’a
Operatory rozwiązań
Przykład użycia równania ciepła
Przykład użycia równania Poissona
Iteracja oparta na punkcie stałym
Sztuczna inteligencja dla PDE
Uczenie głębokie w celu rozpoznania wartości fizycznych parametrów
Uczenie głębokie do nauki siatek
Uczenie głębokie w celu uzyskania przybliżeń operatorów rozwiązań PDE
Rozwiązania numeryczne wielkowymiarowych równań różniczkowych
Symulowanie zjawisk naturalnych bezpośrednio na podstawie danych
Równanie PDE Hamiltona-Jacobiego-Bellmana w programowaniu dynamicznym
Równania PDE na potrzeby AI?
Inne rozważania dotyczące cząstkowych równań różniczkowych
Podsumowanie i perspektywy na przyszłość

Rozdział 14. Sztuczna inteligencja, etyka, matematyka, prawo i przepisy

Dobra sztuczna inteligencja
Przepisy mają znaczenie
Co może pójść źle?
Od matematyki do broni
Chemiczne środki bojowe
Sztuczna inteligencja a polityka
Niezamierzone wyniki działania modeli generatywnych
Jak to naprawić?
Rozwiązanie problemu niedostatecznej reprezentacji danych szkoleniowych
Rozwiązanie problemu stronniczości w wektorach słów
Prywatność
Uczciwość
Wstrzykiwanie moralności do systemów sztucznej inteligencji
Demokratyzacja i dostępność systemów sztucznej inteligencji dla nieprofesjonalistów
Priorytetyzacja danych wysokiej jakości
Odróżnianie stronniczości od dyskryminacji
Szum medialny
Końcowe przemyślenia

Skorowidz