SIECI NEURONOWE DO PRZETWARZANIA INFORMACJI

Podręcznik „Sieci neuronowe do przetwarzania informacji” stanowi oryginalne ujęcie najnowszych osiągnięć w dziedzinie sztucznych sieci neuronowych oraz ich zastosowań. Jest rozszerzoną i znacznie zmodyfikowaną wersją wcześniejszego wydania podręcznika pod tym samym tytułem. W stosunku do poprzedniego wydania zawiera dodatkowo omówienie sieci typu Support Vector Machine (SVM), znacznie rozbudowaną część dotyczącą sieci rozmytych oraz przedstawienie wielu nowych zastosowań.
Sztuczne sieci neuronowe zdobyły sobie szerokie uznanie w świecie nauki poprzez swoją zdolność łatwego zaadoptowania do rozwiązania różnorodnych problemów obliczeniowych w nauce i technice. Mają właściwości pożądane w wielu zastosowaniach praktycznych: stanowią uniwersalny układ aproksymacyjny odwzorowujący wielowymiarowe zbiory danych, mają zdolność uczenia się i adaptacji do zmieniających się warunków środowiskowych, zdolność generalizacji nabytej wiedzy, stanowiąc pod tym względem szczytowe osiągnięcie sztucznej inteligencji. Podstawową bazą działania sieci są algorytmy uczące pozwalające na optymalny dobór parametrów i struktury sieci dopasowujących się do problemu podlegającemu rozwiązaniu.

Spis treści
Przedmowa 11
1. Wstęp 13
1.1. Podstawy biologiczne działania neuronu. 13
1.2. Pierwsze modele sieci neuronowej 16
1.3. Przegląd zastosowań sieci neuronowych 18
2. Modele neuronów i metody ich uczenia 21
2.1. Perceptron 22
2.2. Neuron sigmoidalny. 23
2.3. Neuron radialny 28
2.4. Neuron typu adaline 29
2.5. Instar i outstar Grossberga 31
2.6. Neurony typu WTA 34
2.7. Model neuronu Hebba 38
2.8. Model stochastyczny neuronu 41
2.9. Zadania i problemy 43
3. Sieci jednokierunkowe wielowarstwowe typu sigmoidalnego 44
3.1. Sieć jednowarstwowa 45
3.2. Sieć wielowarstwowa perceptronowa 48
3.2.1. Struktura sieci perceptronowej 48
3.2.2. Algorytm propagacji wstecznej 49
3.3. Grafy przepływowe w zastosowaniu do generacji gradientu 53
3.4. Algorytmy gradientowe uczenia sieci 58
3.4.1. Zależności podstawowe 58
3.4.2. Algorytm największego spadku 60
3.4.3. Algorytm zmiennej metryki 61
3.4.4. Algorytm Levenberga-Marquardta 63
3.4.5. Algorytm gradientów sprzężonych 65
3.5. Dobór współczynnika uczenia 66
3.6. Metody heurystyczne uczenia sieci 69
3.6.1. Algorytm Quickprop 70
3.6.2. Algorytm RPROP 71
3.7. Program komputerowy MLP do uczenia sieci perceptronowej 72
3.8. Porównanie efektywności algorytmów uczących 73
6 SPIS TREŚCI
3.9. Elementy optymalizacji globalnej 78
3.9.1. Algorytm symulowanego wyżarzania 81
3.9.2. Elementy algorytmów genetycznych 84
3.10. Metody inicjalizacji wag 89
3.11. Zadania i problemy 91
4. Problemy praktycznego wykorzystania sieci neuronowych 93
4.1. Zdolności generalizacyjne sieci neuronowych 93
4.1.1. Zależności podstawowe. 93
4.1.2. Miara VCdim. 94
4.1.3. Zależności między błędem generalizacji i miarą VCdim 95
4.1.4. Przegląd metod zwiększania zdolności generalizacyjnych sieci neuronowej 97
4.2. Wstępny dobór architektury sieci 102
4.3. Dobór optymalnej architektury sieci pod względem generalizacji 105
4.3.1. Metody wrażliwościowe redukcji sieci 106
4.3.2. Metody redukcji sieci z zastosowaniem funkcji kary 110
4.4. Wtrącanie szumu do próbek uczących 112
4.5. Zwiększanie zdolności generalizacyjnych przez użycie wielu sieci 115
4.6. Przykłady zastosowań sieci perceptronowej 117
4.6.1. Rozpoznawanie i klasyfikacja wzorców binarnych 117
4.6.2. Rozpoznawanie wzorców na podstawie obrysu zewnętrznego. 126
4.6.3. Sieć neuronowa do kompresji danych 132
4.6.4. Identyfikacja obiektów dynamicznych 136
4.6.5. Predykcja obciążeń systemu elektroenergetycznego 139
4.7. Zadania i problemy 143
5. Sieci neuronowe radialne 144
5.1. Podstawy matematyczne 145
5.2. Sieć neuronowa radialna 147
5.3. Metody uczenia sieci neuronowych radialnych 153
5.3.1. Proces samoorganizacji w zastosowaniu do adaptacji parametrów funkcji
radialnych 154
5.3.2. Algorytm probabilistyczny doboru parametrów funkcji radialnych 157
5.3.3. Algorytm hybrydowy uczenia sieci radialnych 159
5.3.4. Algorytmy uczące oparte na propagacji wstecznej 161
5.4. Metody doboru liczby funkcji bazowych 164
5.4.1. Metody heurystyczne 164
5.4.2. Metoda ortogonalizacji Grama-Schmidta 165
5.5. Program komputerowy uczenia sieci radialnych 170
5.6. Przykład zastosowania sieci radialnej w aproksymacji 172
5.7. Porównanie sieci radialnych z sieciami sigmoidalnymi. 174
5.8. Zadania i problemy 176
6. Sieci SVM 177
6.1. Sieć liniowa SVM w zadaniu klasyfikacji 178
6.2. Sieć nieliniowa SVM w zadaniu klasyfikacji 184
6.3. Interpretacja mnożników Lagrange’a w rozwiązaniu sieci 192
6.4. Problem klasyfikacji przy wielu klasach 193
6.5. Sieci SVM do zadań regresji 194
6.6. Przegląd algorytmów rozwiązania zadania dualnego 197
7SPIS TREŚCI
6.7. Program komputerowy uczenia sieci SVM 201
6.8. Przykłady zastosowania sieci SVM 204
6.8.1. Problem klasyfikacyjny dwu spiral 204
6.8.2. Rozpoznawanie tekstur 205
6.8.3. Wykrywanie uszkodzeń elementów w obwodzie filtru elektrycznego 207
6.9. Porównanie sieci SVM z innymi rozwiązaniami neuronowymi 209
6.10. Zadania i problemy 214
7. Specjalizowane struktury sieci neuronowych 215
7.1. Sieć kaskadowej korelacji Fahlmana 215
7.2. Sieć Volterry 221
7.2.1. Struktura i zależności uczące sieci 222
7.2.2. Przykłady zastosowań sieci Volterry 225
7.3. Zadania i problemy 232
8. Sieci rekurencyjne jako pamięci asocjacyjne 233
8.1. Wprowadzenie 233
8.2. Sieć autoasocjacyjna Hopfielda 235
8.2.1. Zależności podstawowe 235
8.2.2. Tryb uczenia sieci Hopfielda 238
8.2.3. Tryb odtworzeniowy sieci Hopfielda 239
8.2.4. Program Hop win 240
8.3. Sieć Hamminga 243
8.3.1. Struktura sieci i algorytm doboru wag 243
8.3.2. Działanie sieci Hamminga 245
8.3.3. Program Shamming uczenia sieci 246
8.4. Sieć typu BAM 249
8.4.1. Opis działania sieci 249
8.4.2. Zmodyfikowany algorytm uczący sieci BAM 252
8.4.3. Zmodyfikowana struktura sieci BAM 253
8.5. Zadania i problemy 259
9. Sieci rekurencyjne tworzone na bazie perceptronu 261
9.1. Wprowadzenie 261
9.2. Sieć perceptronowa ze sprzężeniem zwrotnym 261
9.2.1. Struktura sieci RMLP 261
9.2.2. Algorytm uczenia sieci RMLP 263
9.2.3. Dobór współczynnika uczenia 265
9.2.4. Współczynnik wzmocnienia sygnału 266
9.2.5. Wyniki symulacji komputerowych 266
9.3. Sieć rekurencyjna Elmana 271
9.3.1. Struktura sieci 271
9.3.2. Algorytm uczenia sieci Elmana 273
9.3.3. Uczenie z wykorzystaniem momentu 275
9.3.4. Przykładowe wyniki symulacji komputerowych sieci Elmana. 276
9.4. Sieć RTRN 280
9.4.1. Struktura sieci i algorytm uczący 280
9.4.2. Wyniki eksperymentów numerycznych 282
9.5. Zadania i problemy 286
8 SPIS TREŚCI
10. Sieci samoorganizujące się na zasadzie współzawodnictwa 287
10.1. Zależności podstawowe sieci samoorganizujących się przez współzawodnictwo 287
10.1.1. Miary odległości między wektorami 289
10.1.2. Normalizacja wektorów 290
10.1.3. Problem neuronów martwych 291
10.2. Algorytmy uczące sieci samoorganizujących 292
10.2.1. Algorytm Kohonena 293
10.2.2. Algorytm gazu neuronowego 294
10.2.3. Program Kohon 296
10.2.4. Porównanie algorytmów samoorganizacji 298
10.3. Sieć odwzorowań jedno- i dwuwymiarowych 300
10.4. Odwzorowanie Sammona 303
10.5. Zastosowania sieci samoorganizujących 305
10.5.1. Kompresja danych 305
10.5.2. Wykrywanie uszkodzeń w urządzeniach 308
10.5.3. Krótkoterminowe prognozowanie obciążeń systemu elektroenergetycz-
nego 311
10.6. Sieć hybrydowa 315
10.7. Zadania i problemy 319
11. Sieci samoorganizujące typu korelacyjnego 321
11.1. Funkcja energetyczna sieci korelacyjnych 321
11.2. Sieci neuronowe PCA 323
11.2.1. Wprowadzenie matematyczne 323
11.2.2. Relacja między przekształceniami PCA i SVD 326
11.2.3. Estymacja pierwszego składnika głównego 327
11.2.4. Algorytmy estymacji wielu składników głównych 328
11.3. Sieci neuronowe do ślepej separacji sygnałów 331
11.3.1. Zależności wstępne 331
11.3.2. Niezależność statystyczna sygnałów 332
11.3.3. Struktura rekurencyjna sieci separującej 333
11.3.4. Algorytm Heraulta-Juttena dla sieci rekurencyjnej 335
11.3.5. Algorytm Cichockiego uczenia sieci rekurencyjnej 336
11.3.6. Program ślepej separacji BS 337
11.3.7. Sieć jednokierunkowa do separacji sygnałów 340
11.3.8. Toolbox ICALAB 346
11.4. Zadania i problemy 347
12. Podstawy matematyczne systemów rozmytych 348
12.1. Operacje na zbiorach rozmytych 350
12.2. Miary rozmytości zbiorów rozmytych 352
12.3. Rozmytość a prawdopodobieństwo 353
12.4. Reguły rozmyte wnioskowania 354
12.5. Systemy wnioskowania rozmytego Mamdaniego-Zadeha 356
12.5.1. Fuzyfikator 358
12.5.2. Defuzyfikator 362
12.5.3. Model Mamdaniego-Zadeha jako układ uniwersalnego aproksymatora 363
12.6. Model wnioskowania Takagi-Sugeno-Kanga 364
12.7. Zadania i problemy 367
9SPIS TREŚCI
13. Sieci neuronowe rozmyte 369
13.1. Struktura sieci rozmytej TSK 369
13.2. Struktura sieci Wanga-Mendela. 373
13.3. Algorytmy samoorganizacji w zastosowaniu do uczenia sieci rozmytej 374
13.3.1. Algorytm grupowania górskiego 375
13.3.2. Algorytm C-means 378
13.3.3. Algorytm Gustafsona-Kessela samoorganizacji rozmytej 380
13.4. Generacja reguł wnioskowania sieci rozmytej 385
13.5. Algorytm hybrydowy uczenia sieci rozmytej TSK 388
13.6. Modyfikacje sieci TSK 392
13.6.1. Algorytm wyznaczania liczby reguł wnioskowania 393
13.6.2. Przykład numeryczny 395
13.6.3. Uproszczona sieć TSK 398
13.7. Sieć hybrydowa rozmyta 400
13.8. Przykłady zastosowań sieci rozmytych 402
13.8.1. Estymacja stężenia składników mieszaniny gazowej 403
13.8.2. Rozpoznawanie składników mieszanin gazowych 404
13.8.3. Rozpoznawanie gatunków piwa na podstawie zapachu 407
13.9. Adaptacyjny algorytm samoorganizacji dla sieci rozmytej. 409
13.10. Zadania i problemy 412
14. Głębokie sieci neuronowe. 414
14.1. Sieci konwolucyjne CNN 415
14.1.1. Podstawy teoretyczne sieci CNN 415
14.1.2. Operacje sygnałowe w warstwach konwolucyjnych 419
14.1.3. Struktura sieci w pełni połączona 425
14.1.4. Uczenie sieci CNN 427
14.1.5. Transfer learning 430
14.1.6. Przykłady różnych rozwiązań sieci CNN 431
14.1.7. Przykłady zastosowań sieci CNN w Matlabie 436
14.2. Sieci generatywne GAN 442
14.3. Autoenkoder 445
14.4. Autoenkoder wariacyjny 455
14.4.1. Podstawy działania 455
14.4.2. Proces uczenia sieci VAE 457
14.5. Ograniczona maszyna Boltzmanna 460
14.5.1. Pojęcia wstępne. 460
14.5.2. Algorytm uczenia sieci RBM 462
14.6. Sieć DBN 466
14.7. Sieć rekurencyjna LSTM. 467
14.7.1. Wprowadzenie 467
14.7.2. Zasada działania sieci LSTM 469
14.8. Przykłady zastosowań sieci głębokich 476
14.9. Podsumowanie. 482
Bibliografia 484
Skorowidz 496