WYSOKO WYDAJNY PYTHON EFEKTYWNE PROGRAMOWANIE W PRAKTYCE

Słowo wstępne 11

Przedmowa 13

1. Wydajny kod Python 19

Podstawowy system komputerowy 19
Jednostki obliczeniowe 20
Jednostki pamięci 23
Warstwy komunikacji 26
Łączenie ze sobą podstawowych elementów 27
Porównanie wyidealizowanego przetwarzania z maszyną wirtualną języka Python 27
Dlaczego warto używać języka Python? 31
Jak zostać bardzo wydajnym programistą? 34
Sprawdzone praktyki 35
Wnioski dotyczące sprawdzonych praktyk korzystania z rozszerzenia Jupyter Notebook 37
Niech praca znów sprawia radość 38

2. Użycie profilowania do znajdowania wąskich gardeł 39

Efektywne profilowanie 40
Wprowadzenie do zbioru Julii 41
Obliczanie pełnego zbioru Julii 45
Proste metody pomiaru czasu – instrukcja print i dekorator 48
Prosty pomiar czasu za pomocą polecenia time systemu Unix 51
Użycie modułu cProfile 52
Użycie narzędzia snakeviz do wizualizacji danych wyjściowych modułu cProfile 57
Użycie narzędzia line_profiler do pomiarów dotyczących kolejnych wierszy kodu 57
Użycie narzędzia memory_profiler do diagnozowania wykorzystania pamięci 63
Introspekcja istniejącego procesu za pomocą narzędzia py-spy 68
Kod bajtowy od podszewki 69
Użycie modułu dis do sprawdzenia kodu bajtowego narzędzia CPython 69
Różne metody, różna złożoność 71
Testowanie jednostkowe podczas optymalizacji w celu zachowania poprawności 73
Dekorator @profile bez operacji 73
Strategie udanego profilowania kodu 76
Podsumowanie 77

3. Listy i krotki 79

Bardziej efektywne wyszukiwanie 82
Porównanie list i krotek 84
Listy jako tablice dynamiczne 85
Krotki w roli tablic statycznych 88
Podsumowanie 89

4. Słowniki i zbiory 91

Jak działają słowniki i zbiory? 94
Wstawianie i pobieranie 94
Usuwanie 97
Zmiana wielkości 98
Funkcje mieszania i entropia 99
Słowniki i przestrzenie nazw 102
Podsumowanie 105

5. Iteratory i generatory 107

Iteratory dla szeregów nieskończonych 111
Wartościowanie leniwe generatora 112
Podsumowanie 116

6. Obliczenia macierzowe i wektorowe 117

Wprowadzenie do problemu 118
Czy listy języka Python są wystarczająco dobre? 122
Problemy z przesadną alokacją 123
Fragmentacja pamięci 126
Narzędzie perf 128
Podejmowanie decyzji z wykorzystaniem danych wyjściowych narzędzia perf 131
Wprowadzenie do narzędzia numpy 132
Zastosowanie narzędzia numpy w przypadku problemu dotyczącego dyfuzji 135
Przydziały pamięci i operacje wewnętrzne 138
Optymalizacje selektywne: znajdowanie tego, co wymaga poprawienia 141
Moduł numexpr: przyspieszanie i upraszczanie operacji wewnętrznych 143
Przestroga: weryfikowanie „optymalizacji” (biblioteka scipy) 146
Wnioski z optymalizacji macierzy 148
Narzędzie Pandas 150
Model wewnętrzny narzędzia Pandas 150
Zastosowanie funkcji dla wielu wierszy danych 152
Budowanie struktur DataFrame i szeregów z wyników częściowych, a nie przez łączenie 159
Zadanie może zostać zrealizowane na więcej niż jeden sposób (i być może szybszy) 160
Rada dotycząca efektywnego projektowania z wykorzystaniem narzędzia Pandas 161
Podsumowanie 163

7. Kompilowanie do postaci kodu C 165

Jakie wzrosty szybkości są możliwe? 166
Porównanie kompilatorów JIT i AOT 168
Dlaczego informacje o typie ułatwiają przyspieszenie działania kodu? 168
Użycie kompilatora kodu C 169
Analiza przykładu zbioru Julii 170
Cython 170
Kompilowanie czystego kodu Python za pomocą narzędzia Cython 171
pyximport 173
Użycie adnotacji kompilatora Cython do analizowania bloku kodu 173
Dodawanie adnotacji typu 175
Cython i numpy 179
Przetwarzanie równoległe rozwiązania na jednym komputerze z wykorzystaniem interfejsu OpenMP 181
Numba 183
Użycie narzędzia Numba do kompilacji kodu NumPy dla narzędzia Pandas 185
PyPy 186
Różnice związane z czyszczeniem pamięci 187
Uruchamianie interpretera PyPy i instalowanie modułów 188
Zestawienie wzrostów szybkości 189
Kiedy stosować poszczególne technologie? 190
Inne przyszłe projekty 192
Procesory graficzne (GPU) 193
Grafy dynamiczne: PyTorch 193
Podstawowe profilowanie procesora graficznego 196
Elementy wydajności procesorów graficznych 197
Kiedy stosować procesory graficzne? 199
Interfejsy funkcji zewnętrznych 201
ctypes 202
cffi 204
f2py 206
Moduł narzędzia CPython 209
Podsumowanie 212

8. Asynchroniczne operacje wejścia-wyjścia 215

Wprowadzenie do programowania asynchronicznego 217
Jak działają funkcja async i instrukcja await? 219
Przeszukiwacz szeregowy 220
gevent 222
tornado 226
aiohttp 229
Wspólne obciążenie procesora i urządzeń wejścia-wyjścia 232
Proces szeregowy 233
Przetwarzanie wsadowe wyników 234
Pełna asynchronizacja 237
Podsumowanie 240

9. Moduł multiprocessing 243

Moduł multiprocessing 246
Przybliżenie liczby pi przy użyciu metody Monte Carlo 248
Przybliżanie liczby pi za pomocą procesów i wątków 249
Zastosowanie obiektów języka Python 250
Zastępowanie modułu multiprocessing biblioteką Joblib 256
Liczby losowe w systemach przetwarzania równoległego 260
Zastosowanie narzędzia numpy 261
Znajdowanie liczb pierwszych 264
Kolejki zadań roboczych 270
Weryfikowanie liczb pierwszych za pomocą komunikacji międzyprocesowej 274
Rozwiązanie z przetwarzaniem szeregowym 279
Rozwiązanie z prostym obiektem Pool 280
Rozwiązanie z bardzo prostym obiektem Pool dla mniejszych liczb 281
Użycie obiektu Manager.Value jako flagi 282
Użycie systemu Redis jako flagi 284
Użycie obiektu RawValue jako flagi 286
Użycie modułu mmap jako flagi 287
Użycie modułu mmap do odtworzenia flagi 288
Współużytkowanie danych narzędzia numpy za pomocą modułu multiprocessing 290
Synchronizowanie dostępu do zmiennych i plików 297
Blokowanie plików 297
Blokowanie obiektu Value 300
Podsumowanie 303

10. Klastry i kolejki zadań 305

Zalety klastrowania 306
Wady klastrowania 307
Strata o wartości 462 milionów dolarów na giełdzie Wall Street z powodu kiepskiej strategii aktualizacji klastra 309
24-godzinny przestój usługi Skype w skali globalnej 309
Typowe projekty klastrowe 310
Metoda rozpoczęcia tworzenia rozwiązania klastrowego 311
Sposoby na uniknięcie kłopotów podczas korzystania z klastrów 312
Dwa rozwiązania klastrowe 313
Użycie modułu IPython Parallel do obsługi badań 314
Operacje równoległe narzędzia Pandas z wykorzystaniem biblioteki Dask 316
Użycie systemu NSQ dla niezawodnych klastrów produkcyjnych 321
Kolejki 321
Publikator/subskrybent 322
Rozproszone obliczenia liczb pierwszych 324
Inne warte uwagi narzędzia klastrowania 328
Docker 329
Wydajność Dockera 329
Zalety Dockera 332
Podsumowanie 334

11. Mniejsze wykorzystanie pamięci RAM 335

Obiekty typów podstawowych są kosztowne 336
Moduł array zużywa mniej pamięci do przechowywania wielu obiektów typu podstawowego 337
Mniejsze zużycie pamięci RAM w bibliotece NumPy dzięki narzędziu NumExpr 340
Analiza wykorzystania pamięci RAM w kolekcji 343
Bajty i obiekty Unicode 345
Efektywne przechowywanie zbiorów tekstowych w pamięci RAM 346
Zastosowanie metod dla 11 milionów tokenów 347
Modelowanie większej ilości tekstu za pomocą narzędzia FeatureHasher biblioteki scikit-learn 355
Wprowadzenie do narzędzi DictVectorizer i FeatureHasher 356
Porównanie narzędzi DictVectorizer i FeatureHasher w wypadku rzeczywistego problemu 358
Macierze rzadkie biblioteki SciPy 360
Wskazówki dotyczące mniejszego wykorzystania pamięci RAM 363
Probabilistyczne struktury danych 363
Obliczenia o bardzo dużym stopniu przybliżenia z wykorzystaniem jednobajtowego licznika Morrisa 365
Wartości k-minimum 367
Filtry Blooma 371
Licznik LogLog 376
Praktyczny przykład 380

12. Rady specjalistów z branży 385

Usprawnianie potoków inżynierii cech za pomocą biblioteki Feature-engine 385
Inżynieria cech w przypadku uczenia maszynowego 386
Trudne zadanie wdrażania potoków inżynierii cech 386
Wykorzystanie możliwości bibliotek open source języka Python 387
Biblioteka Feature-engine usprawnia budowanie i wdrażanie potoków inżynierii cech 388
Ułatwienie adaptacji nowego pakietu open source 389
Projektowanie, utrzymywanie i zachęcanie do uczestnictwa w rozwoju bibliotek open source 390
Bardzo wydajne zespoły danologów 391
Ile to potrwa? 392
Poznawanie i planowanie 392
Zarządzanie oczekiwaniami i dostarczeniem produktu 393
Numba 395
Prosty przykład 395
Najlepsze praktyki i zalecenia 397
Uzyskiwanie pomocy 400
Optymalizowanie a myślenie 401
Narzędzie Social Media Analytics (SoMA) firmy Adaptive Lab (2014) 403
Język Python w firmie Adaptive Lab 404
Projekt narzędzia SoMA 404
Zastosowana metodologia projektowa 405
Serwisowanie systemu SoMA 405
Rada dla inżynierów z branży 406
Technika głębokiego uczenia prezentowana przez firmę RadimRehurek.com (2014) 406
Strzał w dziesiątkę 407
Rady dotyczące optymalizacji 409
Podsumowanie 411
Uczenie maszynowe o dużej skali gotowe do zastosowań produkcyjnych w firmie Lyst.com (2014) 412
Projekt klastra 412
Ewolucja kodu w szybko rozwijającej się nowej firmie 412
Budowanie mechanizmu rekomendacji 413
Raportowanie i monitorowanie 413
Rada 414
Analiza serwisu społecznościowego o dużej skali w firmie Smesh (2014) 414
Rola języka Python w firmie Smesh 414
Platforma 415
Dopasowywanie łańcuchów w czasie rzeczywistym z dużą wydajnością 415
Raportowanie, monitorowanie, debugowanie i wdrażanie 417
Interpreter PyPy zapewniający powodzenie systemów przetwarzania danych i systemów internetowych (2014) 418
Wymagania wstępne 419
Baza danych 419
Aplikacja internetowa 420
Mechanizm OCR i tłumaczenie 420
Dystrybucja zadań i procesy robocze 421
Podsumowanie 421
Kolejki zadań w serwisie internetowym Lanyrd.com (2014) 421
Rola języka Python w serwisie Lanyrd 422
Zapewnianie odpowiedniej wydajności kolejki zadań 423
Raportowanie, monitorowanie, debugowanie i wdrażanie 423
Rada dla programistów z branży 423