UCZENIE MASZYNOWE W PYTHONIE DLA KAŻDEGO

Przedmowa 15

Wprowadzenie 17

O autorze 23

CZĘŚĆ I. PIERWSZE KROKI 25

Rozdział 1. Podyskutujmy o uczeniu się 27

• 1.1. Witaj 27
• 1.2. Zakres, terminologia, predykcja i dane 28
  • 1.2.1. Cechy 28
  • 1.2.2. Wartości docelowe i predykcje 31
• 1.3. Rola maszyny w uczeniu maszynowym 31
• 1.4. Przykład systemów uczących się 33
  • 1.4.1. Predykcja kategorii: przykłady klasyfikacji 33
  • 1.4.2. Predykcja wartości – przykłady regresorów 35
• 1.5. Ocena systemów uczących się 35
  • 1.5.1. Poprawność 36
  • 1.5.2. Wykorzystanie zasobów 37
• 1.6. Proces budowania systemów uczących się 38
• 1.7. Założenia i realia uczenia się 40
• 1.8. Zakończenie rozdziału 42
  • 1.8.1. Droga przed nami 42
  • 1.8.2. Uwagi 43

Rozdział 2. Kontekst techniczny 45

• 2.1. O naszej konfiguracji 45
• 2.2. Potrzeba posiadania języka matematycznego 45
• 2.3. Nasze oprogramowanie do zmierzenia się z uczeniem maszynowym 46
• 2.4. Prawdopodobieństwo 47
  • 2.4.1. Zdarzenia elementarne 48
  • 2.4.2. Niezależność zdarzeń 50
  • 2.4.3. Prawdopodobieństwo warunkowe 50
  • 2.4.4. Rozkłady 52
• 2.5. Kombinacje liniowe, sumy ważone i iloczyny skalarne 54
  • 2.5.1. Średnia ważona 57
  • 2.5.2. Suma kwadratów 59
  • 2.5.3. Suma kwadratów błędów 59
• 2.6. Perspektywa geometryczna: punkty w przestrzeni 60
  • 2.6.1. Linie 61
  • 2.6.2. Coś więcej niż linie 65
• 2.7. Notacja sztuczki plus jeden 69
• 2.8. Odjazd, zrywanie kaftana bezpieczeństwa i nieliniowość 71
• 2.9. NumPy kontra „cała matematyka” 73
  • 2.9.1. Wracamy do 1D i 2D 75
• 2.10. Problemy z wartościami zmiennoprzecinkowymi 78
• 2.11. Zakończenie rozdziału 79
  • 2.11.1. Podsumowanie 79
  • 2.11.2. Uwagi 79

Rozdział 3. Predykcja kategorii – początki klasyfikacji 81

• 3.1. Zadania klasyfikacji 81
• 3.2. Prosty zestaw danych do klasyfikacji 82
• 3.3. Trenowanie i testowanie: nie ucz się do testu 84
• 3.4. Ocena – wystawienie stopni 87
• 3.5. Prosty klasyfikator nr 1: najbliżsi sąsiedzi, związki na odległość i założenia 88
  • 3.5.1. Definiowanie podobieństwa 88
  • 3.5.2. k w k-NN 90
  • 3.5.3. Kombinacja odpowiedzi 90
  • 3.5.4. k-NN, parametry i metody bezparametrowe 90
  • 3.5.5. Budowa modelu klasyfikacji k-NN 91
• 3.6. Prosty klasyfikator nr 2: naiwny klasyfikator bayesowski, prawdopodobieństwo i złamane obietnice 93
• 3.7. Uproszczona ocena klasyfikatorów 96
  • 3.7.1. Wydajność uczenia się 96
  • 3.7.2. Wykorzystanie zasobów w klasyfikacji 97
  • 3.7.3. Szacowanie zasobów w aplikacjach samodzielnych 103
• 3.8. Koniec rozdziału 106
  • 3.8.1. Ostrzeżenie: ograniczenia i otwarte kwestie 106
  • 3.8.2. Podsumowanie 107
  • 3.8.3. Uwagi 107
  • 3.8.4. Ćwiczenia 109

Rozdział 4. Predykcja wartości numerycznych: początki regresji 111

• 4.1. Prosty zbiór danych dla regresji 111
• 4.2. Regresja z najbliższymi sąsiadami i statystyki sumaryczne 113
  • 4.2.1. Miary środka: mediana i średnia 114
  • 4.2.2. Budowa modelu regresji k-NN 116
• 4.3. Błędy regresji liniowej 117
  • 4.3.1. Ziemia nie jest płaska, czyli dlaczego potrzebujemy pochyłości 118
  • 4.3.2. Przekrzywienie pola 120
  • 4.3.3. Wykonanie regresji liniowej 122
• 4.4. Optymalizacja – wybór najlepszej odpowiedzi 123
  • 4.4.1. Zgadywanie losowe 124
  • 4.4.2. Losowe kroki 124
  • 4.4.3. Sprytne kroki 125
  • 4.4.4. Obliczony skrót 125
  • 4.4.5. Wykorzystanie w regresji liniowej 126
• 4.5. Prosta ocena i porównanie regresorów 126
  • 4.5.1. Pierwiastek średniego błędu kwadratowego 126
  • 4.5.2. Wydajność uczenia się 127
  • 4.5.3. Wykorzystanie zasobów w regresji 127
• 4.6. Zakończenie rozdziału 129
  • 4.6.1. Ograniczenia i kwestie otwarte 129
  • 4.6.2. Podsumowanie 130
  • 4.6.3. Uwagi 130
  • 4.6.4. Ćwiczenia 130

CZĘŚĆ II. OCENA 131

Rozdział 5. Ocena i porównywanie metod uczenia się 133

• 5.1. Ocena i dlaczego mniej znaczy więcej 133
• 5.2. Terminologia dla faz uczenia się 134
  • 5.2.1. Powrót do maszyn 135
  • 5.2.2. Mówiąc bardziej technicznie… 137
• 5.3. Majorze Tom, coś jest nie tak – nadmierne dopasowanie i niedopasowanie 141
  • 5.3.1. Dane syntetyczne i regresja liniowa 141
  • 5.3.2. Ręczna modyfikacja złożoności modelu 143
  • 5.3.3. Złotowłosa – wizualizacja nadmiernego dopasowania, niedopasowania oraz „w sam raz” 145
  • 5.3.4. Prostota 148
  • 5.3.5. Uwagi na temat nadmiernego dopasowania 148
• 5.4. Od błędów do kosztów 149
  • 5.4.1. Strata 149
  • 5.4.2. Koszt 150
  • 5.4.3. Punktacja 151
• 5.5. (Powtórne) próbkowanie – zamienić mniej w więcej 152
  • 5.5.1. Walidacja krzyżowa 152
  • 5.5.2. Rozwarstwienie 156
  • 5.5.3. Powtarzany podział na dane treningowe i testowe 158
  • 5.5.4. Lepszy sposób i tasowanie 161
  • 5.5.5. Walidacja krzyżowa z odłożeniem jednego 164
• 5.6. Rozbicie: dekonstrukcja błędu na błąd systematyczny i wariancję 166
  • 5.6.1. Wariancja danych 167
  • 5.6.2. Wariancja modelu 167
  • 5.6.3. Błąd systematyczny modelu 168
  • 5.6.4. A teraz wszystko razem 168
  • 5.6.5. Przykłady kompromisów związanych z błędem systematycznym i wariancją 169
• 5.7. Ocena graficzna i porównanie 173
  • 5.7.1. Krzywe uczenia – jak dużo danych potrzebujemy? 173
  • 5.7.2. Krzywe złożoności 177
• 5.8. Porównywanie metod uczących się za pomocą walidacji krzyżowej 178
• 5.9. Koniec rozdziału 179
  • 5.9.1. Podsumowanie 179
  • 5.9.2. Uwagi 179
  • 5.9.3. Ćwiczenia 181

Rozdział 6. Ocena klasyfikatorów 183

• 6.1. Klasyfikatory bazowe 183
• 6.2. Więcej niż dokładność – wskaźniki dla klasyfikacji 186
  • 6.2.1. Eliminacja zamieszania za pomocą macierzy błędu 187
  • 6.2.2. W jaki sposób można się mylić 188
  • 6.2.3. Wskaźniki z macierzy błędu 189
  • 6.2.4. Kodowanie macierzy błędu 190
  • 6.2.5. Radzenie sobie z wieloma klasami – uśrednianie wieloklasowe 192
  • 6.2.6. F1 194
• 6.3. Krzywe ROC 194
  • 6.3.1. Wzorce w ROC 197
  • 6.3.2. Binarny ROC 199
  • 6.3.3. AUC – obszar pod krzywą ROC 201
  • 6.3.4. Wieloklasowe mechanizmy uczące się, jeden kontra reszta i ROC 203
• 6.4. Inne podejście dla wielu klas: jeden-kontra-jeden 205
  • 6.4.1. Wieloklasowe AUC, część druga – w poszukiwaniu pojedynczej wartości 206
• 6.5. Krzywe precyzji i skuteczności wyszukiwania 209
  • 6.5.1. Uwaga o kompromisie precyzji i skuteczności wyszukiwania 209
  • 6.5.2. Budowanie krzywej precyzji i skuteczności wyszukiwania 210
• 6.6. Krzywe kumulacyjnej odpowiedzi i wzniesienia 211
• 6.7. Bardziej wyrafinowana ocena klasyfikatorów – podejście drugie 213
  • 6.7.1. Binarne 213
  • 6.7.2. Nowy problem wieloklasowy 217
• 6.8. Koniec rozdziału 222
  • 6.8.1. Podsumowanie 222
  • 6.8.2. Uwagi 222
  • 6.8.3. Ćwiczenia 224

Rozdział 7. Ocena metod regresji 225

• 7.1. Metody regresji będące punktem odniesienia 225
• 7.2. Dodatkowe miary w metodach regresji 227
  • 7.2.1. Tworzenie własnych miar oceny 227
  • 7.2.2. Inne wbudowane miary regresji 228
  • 7.2.3. R² 229
• 7.3. Wykresy składników resztowych 235
  • 7.3.1. Wykresy błędów 235
  • 7.3.2. Wykresy składników resztowych 237
• 7.4. Pierwsze podejście do standaryzacji 241
• 7.5. Ocena mechanizmów regresji w bardziej zaawansowany sposób: podejście drugie 245
  • 7.5.1. Wyniki po sprawdzianie krzyżowym z użyciem różnych miar 246
  • 7.5.2. Omówienie wyników ze sprawdzianu krzyżowego 249
  • 7.5.3. Składniki resztowe 250
• 7.6. Koniec rozdziału 251
  • 7.6.1. Podsumowanie 251
  • 7.6.2. Uwagi 251
  • 7.6.3. Ćwiczenia 254

CZĘŚĆ III. JESZCZE O METODACH I PODSTAWACH 255

Rozdział 8. Inne metody klasyfikacji 257

• 8.1. Jeszcze o klasyfikacji 257
• 8.2. Drzewa decyzyjne 259
  • 8.2.1. Algorytmy budowania drzewa 262
  • 8.2.2. Do pracy. Pora na drzewa decyzyjne 265
  • 8.2.3. Obciążenie i wariancja w drzewach decyzyjnych 268
• 8.3. Klasyfikatory oparte na wektorach nośnych 269
  • 8.3.1. Stosowanie klasyfikatorów SVC 272
  • 8.3.2. Obciążenie i wariancja w klasyfikatorach SVC 275
• 8.4. Regresja logistyczna 277
  • 8.4.1. Szanse w zakładach 278
  • 8.4.2. Prawdopodobieństwo, szanse i logarytm szans 280
  • 8.4.3. Po prostu to zrób: regresja logistyczna 285
  • 8.4.4. Regresja logistyczna: osobliwość przestrzenna 286
• 8.5. Analiza dyskryminacyjna 287
  • 8.5.1. Kowariancja 289
  • 8.5.2. Metody 299
  • 8.5.3. Przeprowadzanie analizy dyskryminacyjnej 301
• 8.6. Założenia, obciążenie i klasyfikatory 302
• 8.7. Porównanie klasyfikatorów: podejście trzecie 304
  • 8.7.1. Cyfry 305
• 8.8. Koniec rozdziału 307
  • 8.8.1. Podsumowanie 307
  • 8.8.2. Uwagi 307
  • 8.8.3. Ćwiczenia 310

Rozdział 9. Inne metody regresji 313

• 9.1. Regresja liniowa na ławce kar – regularyzacja 313
  • 9.1.1. Przeprowadzanie regresji z regularyzacją 318
• 9.2. Regresja z użyciem wektorów nośnych 319
  • 9.2.1. Zawiasowa funkcja straty 319
  • 9.2.2. Od regresji liniowej przez regresję z regularyzacją do regresji SVR 323
  • 9.2.3. Po prostu to zrób – w stylu SVR 324
• 9.3. Regresja segmentowa ze stałymi 325
  • 9.3.1. Implementowanie regresji segmentowej ze stałymi 327
  • 9.3.2. Ogólne uwagi na temat implementowania modeli 328
• 9.4. Drzewa regresyjne 331
  • 9.4.1. Przeprowadzanie regresji z użyciem drzew 331
• 9.5. Porównanie metod regresji: podejście trzecie 332
• 9.6. Koniec rozdziału 334
  • 9.6.1. Podsumowanie 334
  • 9.6.2. Uwagi 334
  • 9.6.3. Ćwiczenia 335

Rozdział 10. Ręczna inżynieria cech – manipulowanie danymi dla zabawy i dla zysku 337

• 10.1. Terminologia i przyczyny stosowania inżynierii cech 337
  • 10.1.1. Po co stosować inżynierię cech? 338
  • 10.1.2. Kiedy stosuje się inżynierię cech? 339
  • 10.1.3. Jak przebiega inżynieria cech? 340
• 10.2. Wybieranie cech i redukcja danych – pozbywanie się śmieci 341
• 10.3. Skalowanie cech 342
• 10.4. Dyskretyzacja 346
• 10.5. Kodowanie kategorii 348
  • 10.5.1. Inna metoda kodowania i niezwykły przypadek braku punktu przecięcia z osią 351
• 10.6. Relacje i interakcje 358
  • 10.6.1. Ręczne tworzenie cech 358
  • 10.6.2. Interakcje 360
  • 10.6.3. Dodawanie cech na podstawie transformacji 364
• 10.7. Manipulowanie wartościami docelowymi 366
  • 10.7.1. Manipulowanie przestrzenią danych wejściowych 367
  • 10.7.2. Manipulowanie wartościami docelowymi 369
• 10.8. Koniec rozdziału 371
  • 10.8.1. Podsumowanie 371
  • 10.8.2. Uwagi 371
  • 10.8.3. Ćwiczenia 372

Rozdział 11. Dopracowywanie hiperparametrów i potoki 375

• 11.1. Modele, parametry i hiperparametry 376
• 11.2. Dostrajanie hiperparametrów 378
  • 11.2.1. Uwaga na temat słownictwa informatycznego i z dziedziny uczenia maszynowego 378
  • 11.2.2. Przykład przeszukiwania kompletnego 378
  • 11.2.3. Używanie losowości do szukania igły w stogu siana 384
• 11.3. Wyprawa w rekurencyjną króliczą norę – zagnieżdżony sprawdzian krzyżowy 385
  • 11.3.1. Opakowanie w sprawdzian krzyżowy 386
  • 11.3.2. Przeszukiwanie siatki jako model 387
  • 11.3.3. Sprawdzian krzyżowy zagnieżdżony w sprawdzianie krzyżowym 388
  • 11.3.4. Uwagi na temat zagnieżdżonych SK 391
• 11.4. Potoki 393
  • 11.4.1. Prosty potok 393
  • 11.4.2. Bardziej skomplikowany potok 394
• 11.5. Potoki i dostrajanie całego procesu 395
• 11.6. Koniec rozdziału 397
  • 11.6.1. Podsumowanie 397
  • 11.6.2. Uwagi 397
  • 11.6.3. Ćwiczenia 398

CZĘŚĆ IV. ZWIĘKSZANIE ZŁOŻONOŚCI 399

Rozdział 12. Łączenie mechanizmów uczących się 401

• 12.1. Zespoły 401
• 12.2. Zespoły głosujące 404
• 12.3. Bagging i lasy losowe 404
  • 12.3.1. Technika bootstrap 404
  • 12.3.2. Od techniki bootstrap do metody bagging 408
  • 12.3.3. Przez losowy las 410
• 12.4. Boosting 412
  • 12.4.1. Szczegółowe omówienie boostingu 413
• 12.5. Porównywanie metod opartych na zespołach drzew 415
• 12.6. Koniec rozdziału 418
  • 12.6.1. Podsumowanie 418
  • 12.6.2. Uwagi 419
  • 12.6.3. Ćwiczenia 420

Rozdział 13. Modele z automatyczną inżynierią cech 423

• 13.1. Wybieranie cech 425
  • 13.1.1. Filtrowanie jednoetapowe z wybieraniem cech na podstawie miar 426
  • 13.1.2. Wybieranie cech na podstawie modelu 437
  • 13.1.3. Integrowanie wybierania cech z potokiem procesu uczenia 440
• 13.2. Tworzenie cech za pomocą jąder 441
  • 13.2.1. Powód używania jąder 441
  • 13.2.2. Ręczne metody wykorzystujące jądra 446
  • 13.2.3. Metody wykorzystujące jądro i opcje jądra 450
  • 13.2.4. Klasyfikatory SVC dostosowane do jądra – maszyny SVM 454
  • 13.2.5. Uwagi do zapamiętania na temat maszyn SVM i przykładów 456
• 13.3. Analiza głównych składowych – technika nienadzorowana 457
  • 13.3.1. Rozgrzewka – centrowanie 458
  • 13.3.2. Znajdowanie innej najlepszej linii 459
  • 13.3.3. Pierwsza analiza głównych składowych 461
  • 13.3.4. Analiza głównych składowych od kuchni 463
  • 13.3.5. Wielki finał – uwagi na temat analizy głównych składowych 469
  • 13.3.6. Analiza głównych składowych dla jądra i metody oparte na rozmaitościach 470
• 13.4. Koniec rozdziału 473
  • 13.4.1. Podsumowanie 473
  • 13.4.2. Uwagi 474
  • 13.4.3. Ćwiczenia 478

Rozdział 14. Inżynieria cech dla dziedzin – uczenie specyficzne dla dziedziny 481

• 14.1. Praca z tekstem 482
  • 14.1.1. Kodowanie tekstu 484
  • 14.1.2. Przykład maszynowego klasyfikowania tekstu 488
• 14.2. Klastrowanie 490
  • 14.2.1. Klastrowanie metodą k-średnich 491
• 14.3. Praca z obrazami 492
  • 14.3.1. Worek słów graficznych 492
  • 14.3.2. Dane graficzne 493
  • 14.3.3. Kompletny system 494
  • 14.3.4. Kompletny kod transformacji obrazów na postać WGSG 501
• 14.4. Koniec rozdziału 503
  • 14.4.1. Podsumowanie 503
  • 14.4.2. Uwagi 503
  • 14.4.3. Ćwiczenia 505

Rozdział 15. Powiązania, rozwinięcia i kierunki dalszego rozwoju 507

• 15.1. Optymalizacja 507
• 15.2. Regresja liniowa z prostych składników 510
  • 15.2.1. Graficzne ujęcie regresji liniowej 513
• 15.3. Regresja logistyczna z prostych składników 514
  • 15.3.1. Regresja logistyczna i kodowanie zerojedynkowe 515
  • 15.3.2. Regresja logistyczna z kodowaniem plus jeden – minus jeden 517
  • 15.3.3. Graficzne ujęcie regresji logistycznej 518
• 15.4. Maszyna SVM z prostych składników 518
• 15.5. Sieci neuronowe 520
  • 15.5.1. Regresja liniowa za pomocą sieci neuronowych 521
  • 15.5.2. Regresja logistyczna za pomocą sieci neuronowych 523
  • 15.5.3. Poza podstawowe sieci neuronowe 524
• 15.6. Probabilistyczne modele grafowe 525
  • 15.6.1. Próbkowanie 527
  • 15.6.2. Regresja liniowa za pomocą modelu PGM 528
  • 15.6.3. Regresja logistyczna za pomocą modelu PGM 531
• 15.7. Koniec rozdziału 534
  • 15.7.1. Podsumowanie 534
  • 15.7.2. Uwagi 534
  • 15.7.3. Ćwiczenia 535

Dodatek A. Kod z pliku mlwpy.py 537