MATEMATYCZNE MODELE UCZENIA MASZYNOWEGO W JĘZYKACH MATLAB I PYTHON

Matematyczne modele uczenia maszynowego w językach MATLAB i PYTHON
Robert Szmurło, Stanisław Osowski

Spis treści
1. Pojęcia wstępne uczenia maszynowego 9
2. Modele regresji liniowej 12
2.1. Wprowadzenie 12
2.2. Ogólny model regresji liniowej 13
2.3. Zastosowanie dekompozycji SVD w regresji liniowej 16
2.4. Implementacja regresji liniowej 21
3. Klasyfikatory KNN 25
4. Klasyfikatory probabilistyczne Bayesa 32
4.1. Wprowadzenie 32
4.2. Pełny klasyfikator Bayesa 32
4.3. Naiwny klasyfikator Bayesa 38
4.4. Implementacja naiwnego klasyfikatora Bayesa w Matlabie 43
5. Drzewa decyzyjne 48
5.1. Wprowadzenie 48
5.2. Struktura drzewa decyzyjnego 49
5.3. Algorytm tworzenia drzewa decyzyjnego 51
5.4. Implementacja modelu drzewa decyzyjnego 58
5.5. Las losowy drzew decyzyjnych 64
5.5.1. Opis metody 64
5.5.2. Implementacja lasu losowego 67
6. Sieć neuronowa MLP 73
6.1. Wprowadzenie 73
6.2. Struktura sieci 73
6.3. Algorytmy uczące sieci MLP 76
6.3.1. Wyznaczanie gradintu metodą propagacji wstecznej 77
6.3.2. Algorytmy gradientowe uczenia sieci 80
6.3.3. Program komputerowy do uczenia sieci MLP w Matlabie 87
6.4. Przykłady użycia sieci MLP w aproksymacji danych 90
6.5. Praktyczne wskazówki doboru struktury sieci MLP 94
6 SPIS TREŚCI
7. Sieć radialna RBF 97
7.1. Struktura sieci RBF 97
7.2. Algorytmy uczące sieci RBF 98
7.2.1. Zastosowanie algorytmu samoorganizacji i dekompozycji SVD 99
7.2.2. Algorytm OLS 101
7.3. Program komputerowy do uczenia sieci radialnej w Matlabie 104
7.4. Przykłady zastosowania sieci RBF 106
7.4.1. Aproksymacja funkcji nieliniowych 106
7.4.2. Problem 2 spiral 109
7.4.3. Sieć RBF w kalibracji sztucznego nosa 110
8. Sieć wektorów nośnych SVM 112
8.1. Wprowadzenie 112
8.2. Sieć liniowa SVM w zadaniu klasyfikacji 113
8.3. Sieć nieliniowa SVM w zadaniu klasyfikacji 119
8.3.1. Interpretacja mnożników Lagrange’a w rozwiązaniu sieci 125
8.3.2. Problem klasyfikacji przy wielu klasach 126
8.4. Sieci SVM do zadań regresji 127
8.5. Przegląd algorytmów rozwiązania zadania dualnego 130
8.6. Program komputerowy uczenia sieci SVM w Matlabie 133
8.7. Przykłady implementacji uczenia sieci SVM 134
8.8. Porównanie sieci SVM z innymi rozwiązaniami neuronowymi 137
9. Sieci głębokie 141
9.1. Wprowadzenie 141
9.2. Sieć konwolucyjna CNN 142
9.2.1. Struktura sieci CNN 142
9.2.2. Podstawowe operacje w sieci CNN 144
9.2.3. Uczenie sieci CNN 150
9.3. Transfer Learning 154
9.4. Przykład użycia sieci ALEXNET w trybie transfer learning 157
9.5. Inne rozwiązania pre-trenowanej architektury sieci CNN 167
9.6. Sieci CNN do detekcji obiektów w obrazie 175
9.6.1. Sieć YOLO 175
9.6.2. Sieć R-CNN 177
9.6.3. Sieć U-NET w segmentacji obrazów biomedycznych 181
9.7. Autoenkoder 182
9.7.1. Struktura autoenkodera 182
9.7.2. Funkcja celu 183
9.7.3. Proces uczenia 186
9.7.4. Przykład zastosowania autoenkodera w kodowaniu danych 188
9.8. Podstawy działania autoenkodera wariacyjnego 192
9.9. Sieci generatywne GAN 195
9.10. Głębokie sieci rekurencyjne LSTM 198
9.10.1. Wprowadzenie 198
9.10.2. Zasada działania sieci LSTM 200
7SPIS TREŚCI
9.11. Sieci transformerowe 207
9.11.1. Wprowadzenie 207
9.11.2. Enkoder 209
9.11.3. Dekoder 213
9.11.4. Uczenie sieci 215
9.11.5. Inne zastosowania sieci transformerowych 217
10. Zagadnienia generalizacji i zespoły sieci 218
10.1. Pojęcie generalizacji 218
10.2. Miara VCdim i jej związek z generalizacją 221
10.3. Metody poprawy zdolności generalizacji sieci 224
10.4. Problem generalizacji w sieciach głębokich 229
10.5. Zespoły sieci do polepszenia zdolności generalizacji 231
10.5.1. Struktura zespołu i metody integracji 231
10.5.2. Warunki właściwego działania zespołu 236
10.6. Techniki tworzenia silnych rozwiązań na bazie słabych predyktorów 240
10.6.1. AdaBoost 240
10.6.2. Gradient boosting 242
11. Transformacje i metody redukcji wymiaru danych 245
11.1. Transformacja PCA 245
11.1.1. Istota przekształcenia PCA 246
11.1.2. Implementacja przekształcenia PCA w Matlabie 249
11.1.3. Zastosowanie PCA w kompresji 251
11.1.4. PCA w zastosowaniu do ilustracji rozkładu danych wielowymiarowych 253
11.2. Przekształcenie LDA Fishera 255
11.3. Ślepa separacja sygnałów 257
11.3.1. Sformułowanie problemu ślepej separacji 257
11.3.2. Algorytmy bazujące na statystykach drugiego rzędu 260
11.3.3. Metody bazujące na statystykach wyższego rzędu 261
11.3.4. Toolbox ICALAB w Matlabie 263
11.4. Rzutowanie Sammona 268
11.5. Transformacja tSNE 269
12. Metody grupowania danych wielowymiarowych 274
12.1. Wprowadzenie 274
12.2. Miary odległości między wektorami 275
12.3. Miary odległości między klastrami 276
12.4. Algorytm K-means grupowania 278
12.5. Algorytm hierarchiczny grupowania 284
12.6. Algorytmy rozmyte grupowania 288
12.6.1. Algorytm grupowania górskiego 288
12.6.2. Algorytm c-means 291
12.7. Miary jakości grupowania danych 297
12.7.1. Miary jakości grupowania danych nieprzypisanych do klas 298
12.7.2. Miary jakości grupowania danych przypisanych do klas 300
8 SPIS TREŚCI
13. Wybrane metody generacji i selekcji cech diagnostycznych 305
13.1. Wprowadzenie 305
13.2. Metody generacji cech diagnostycznych 306
13.3. Metody selekcji cech diagnostycznych 310
13.3.1. Metoda dyskryminacyjna Fishera 310
13.3.2. Metoda korelacji danych z klasą 311
13.3.3. Zastosowanie jednowejściowej sieci SVM 312
13.3.4. Zastosowanie wielowejściowej liniowej sieci SVM 313
13.3.5. Selekcja cech bazująca na sekwencji eliminacji krokowej 314
13.3.6. Selekcja przy zastosowaniu algorytmu genetycznego 317
13.3.7. Zastosowanie testu statystycznego Kolmogorova-Smirnova 319
13.3.8. Zastosowanie testu Wilcoxona-Manna-Whitneya 321
13.3.9. Selekcja przy zastosowaniu transformacji PCA 322
13.3.10. Selekcja przy zastosowaniu transformacji LDA 323
13.3.11. Selekcja przy zastosowaniu lasu losowego 326
13.3.12. Selekcja cech przy użyciu algorytmu Refieff 328
13.3.13. Selekcja przy użyciu metody NCA 330
13.3.14. Metoda MRMR 331
14. Metody oceny jakości rozwiązań 334
14.1. Miary jakości regresji 334
14.2. Badanie jakości rozwiązań w zadaniach klasyfikacji 336
14.2.1. Miary jakości klasyfikatora 337
14.2.2. Charakterystyka ROC 341
14.3. Metody poprawy jakości klasyfikatora 346
14.3.1. Metoda różnicowania kosztu błędnej klasyfikacji 346
14.3.2. Metody równoważenia klas 348
14.3.3. Problemy klasyfikacji wieloklasowej 349
14.4. Obiektywna ocena zdolności generalizacyjnych systemu eksploracji 351
15. Adaptacyjne systemy rozmyte 352
15.1. Wprowadzenie 352
15.2. Podstawy matematyczne systemów rozmytych 353
15.3. Systemy wnioskowania 355
15.4. Struktura systemu rozmytego TSK typu ANFIS 358
15.5. Algorytm uczenia sieci ANFIS 361
15.6. Zastosowanie algorytmu grupowania rozmytego c-means w tworzeniu reguł wnio-
skowania 363
15.7. Zmodyfikowana struktura sieci TSK 364
Literatura 367
Skorowidz 372