INŻYNIERIA DANYCH NA PLATFORMIE AWS JAK TWORZYĆ KOMPLETNE POTOKI UCZENIA MASZYNOWEGO

SPIS TREŚCI

Przedmowa

Rozdział 1. Wprowadzenie do danologii na platformie AWS

Zalety przetwarzania w chmurze
Potoki i procesy w danologii
Zalecane praktyki z obszaru MLOps
Usługi SI Amazona i zautomatyzowane uczenie maszynowe w narzędziu Amazon SageMaker
Pobieranie, eksploracja i przygotowywanie danych na platformie AWS
Uczenie i dostrajanie modelu za pomocą narzędzia Amazon SageMaker
Instalowanie modeli za pomocą usługi Amazon SageMaker i funkcji AWS Lambda
Analizy i uczenie maszynowe dla strumieni danych na platformie AWS
Infrastruktura platformy AWS i niestandardowy sprzęt
Ograniczanie kosztów za pomocą tagów, budżetów i alertów
Podsumowanie

Rozdział 2. Zastosowania danologii

Innowacje w każdej branży
Spersonalizowane rekomendacje produktów
Wykrywanie niestosownych materiałów wideo za pomocą usługi Amazon Rekognition
Prognozowanie zapotrzebowania
Identyfikowanie fałszywych kont za pomocą usługi Amazon Fraud Detector
Używanie usługi Amazon Macie do wykrywania wycieków wrażliwych danych
Urządzenia konwersacyjne i asystenci głosowi
Analiza tekstu i NLP
Wyszukiwanie kognitywne i rozumienie języka naturalnego
Inteligentne centra obsługi klienta
Przemysłowe usługi SI i konserwacja predykcyjna
Automatyzacja domu za pomocą narzędzi AWS IoT i Amazon SageMaker
Pobieranie informacji medycznych z dokumentów służby zdrowia
Samooptymalizująca i inteligentna infrastruktura chmury
Kognitywna i predyktywna analityka biznesowa
Edukacja następnego pokolenia programistów SI i UM
Zaprogramuj naturalny system operacyjny za pomocą przetwarzania kwantowego
Wzrost wydajności i obniżenie kosztów
Podsumowanie

Rozdział 3. Zautomatyzowane uczenie maszynowe

Zautomatyzowane uczenie maszynowe w usłudze SageMaker Autopilot
Śledzenie wyników eksperymentów za pomocą usługi SageMaker Autopilot
Uczenie i instalowanie klasyfikatora tekstu za pomocą usługi SageMaker Autopilot
Zautomatyzowane uczenie maszynowe w usłudze Amazon Comprehend
Podsumowanie

Rozdział 4. Pobieranie danych do chmury

Jeziora danych
Kierowanie zapytań do jeziora danych w S3 za pomocą usługi Amazon Athena
Ciągłe pobieranie nowych danych za pomocą narzędzia AWS Glue Crawler
Stosowanie architektury Lake House za pomocą usługi Amazon Redshift Spectrum
Wybór między narzędziami Amazon Athena a Amazon Redshift
Zmniejszanie kosztów i zwiększanie wydajności
Podsumowanie

Rozdział 5. Eksplorowanie zbioru danych

Narzędzia do eksplorowania danych w AWS
Wizualizowanie jeziora danych w środowisku SageMaker Studio
Zapytania dotyczące hurtowni danych
Tworzenie paneli kontrolnych za pomocą usługi Amazon QuickSight
Wykrywanie problemów z jakością danych za pomocą narzędzi Amazon SageMaker i Apache Spark
Wykrywanie tendencyjności w zbiorze danych
Wykrywanie zmian różnego rodzaju za pomocą usługi SageMaker Clarify
Analizowanie danych za pomocą usługi AWS Glue DataBrew
Zmniejszanie kosztów i zwiększanie wydajności
Podsumowanie

Rozdział 6. Przygotowywanie zbioru danych do uczenia modelu

Wybieranie i inżynieria cech
Skalowanie inżynierii cech za pomocą zadań SageMaker Processing
Udostępnianie cech za pomocą repozytorium cech z platformy SageMaker
Wczytywanie i przekształcanie danych w usłudze SageMaker Data Wrangler
Śledzenie historii artefaktów i eksperymentów na platformie Amazon SageMaker
Wczytywanie i przekształcanie danych za pomocą usługi AWS Glue DataBrew
Podsumowanie

Rozdział 7. Uczenie pierwszego modelu

Infrastruktura platformy SageMaker
Instalowanie wyuczonego modelu BERT za pomocą usługi SageMaker JumpStart
Tworzenie modelu w platformie SageMaker
Krótka historia przetwarzania języka naturalnego
Architektura Transformer w algorytmie BERT
Uczenie modelu BERT od podstaw
Dostrajanie wstępnie wyuczonego modelu BERT
Tworzenie skryptu uczenia
Uruchamianie skryptu uczenia w usłudze SageMaker Notebook
Ocena modeli
Debugowanie i profilowanie procesu uczenia modelu w usłudze SageMaker Debugger
Interpretowanie i wyjaśnianie predykcji modelu
Wykrywanie tendencyjności modelu i wyjaśnianie predykcji
Dodatkowe metody uczenia algorytmu BERT
Zmniejszanie kosztów i zwiększanie wydajności
Podsumowanie

Rozdział 8. Uczenie i optymalizowanie modeli na dużą skalę

Automatyczne znajdowanie optymalnych hiperparametrów dla modelu
Stosowanie ciepłego startu dla dodatkowych zadań dostrajania hiperparametrów na platformie SageMaker
Skalowanie poziome uczenia rozproszonego na platformie SageMaker
Zmniejszanie kosztów i zwiększanie wydajności
Podsumowanie

Rozdział 9. Instalowanie modeli w środowisku produkcyjnym

Predykcje w czasie rzeczywistym czy w trybie wsadowym?
Generowanie predykcji w czasie rzeczywistym za pomocą punktów końcowych platformy SageMaker
Automatyczne skalowanie punktów końcowych platformy SageMaker za pomocą usługi Amazon CloudWatch
Strategie instalowania nowych i zaktualizowanych modeli
Testowanie i porównywanie nowych modeli
Monitorowanie pracy modelu i wykrywanie zmian
Monitorowanie jakości danych w punktach końcowych platformy SageMaker
Monitorowanie jakości modelu w zainstalowanych punktach końcowych platformy SageMaker
Monitorowanie zmian tendencyjności w zainstalowanych punktach końcowych platformy SageMaker
Monitorowanie zmian wkładu cech w zainstalowanych punktach końcowych platformy SageMaker
Wsadowe generowanie predykcji za pomocą usługi przekształcania wsadowego na platformie SageMaker
Funkcje AWS Lambda i usługa Amazon API Gateway
Optymalizowanie modeli i zarządzanie nimi na obrzeżach sieci
Instalowanie modelu opartego na platformie PyTorch za pomocą narzędzia TorchServe
Generowanie predykcji przez algorytm BERT oparty na platformie TensorFlow na platformie AWS Deep Java Library
Zmniejszanie kosztów i zwiększanie wydajności
Podsumowanie

Rozdział 10. Potoki i MLOps

MLOps
Potoki programowe
Potoki uczenia maszynowego
Koordynowanie potoku za pomocą usługi SageMaker Pipelines
Automatyzacja w usłudze SageMaker Pipelines
Inne sposoby tworzenia potoków
Procesy z udziałem człowieka
Zmniejszanie kosztów i zwiększanie wydajności
Podsumowanie

Rozdział 11. Analizy i uczenie maszynowe dla danych przesyłanych strumieniowo

Uczenie w trybach online i offline
Aplikacje strumieniowe
Zapytania oparte na oknach dotyczące strumieniowanych danych
Analiza i uczenie maszynowe na podstawie strumieni na platformie AWS
Klasyfikowanie recenzji produktów w czasie rzeczywistym za pomocą narzędzi Amazon Kinesis, AWS Lambda i Amazon SageMaker
Implementowanie pobierania strumieniowanych danych za pomocą usługi Kinesis Data Firehose
Podsumowywanie recenzji produktów w czasie rzeczywistym na podstawie analizy strumienia
Konfigurowanie usługi Amazon Kinesis Data Analytics
Aplikacje w usłudze Kinesis Data Analytics
Klasyfikowanie recenzji produktów za pomocą narzędzi Apache Kafka, AWS Lambda i Amazon SageMaker
Zmniejszanie kosztów i zwiększanie wydajności
Podsumowanie

Rozdział 12. Bezpieczna danologia na platformie AWS

Model podziału odpowiedzialności między platformę AWS i klientów
Korzystanie z usługi IAM na platformie AWS
Izolacja środowisk obliczeniowych i sieciowych
Zabezpieczanie dostępu do danych w S3
Szyfrowanie danych w spoczynku
Szyfrowanie danych w tranzycie
Zabezpieczanie instancji z notatnikami platformy SageMaker
Zabezpieczanie środowiska SageMaker Studio
Zabezpieczanie zadań i modeli platformy SageMaker
Zabezpieczanie usługi AWS Lake Formation
Zabezpieczanie danych uwierzytelniających do bazy za pomocą AWS Secrets Manager
Nadzór
Audytowalność
Zmniejszanie kosztów i zwiększanie wydajności
Podsumowanie