PRZETWARZANIE JĘZYKA NATURALNEGO W PRAKTYCE PRZEWODNIK PO BUDOWIE RZECZYWISTYCH SYSTEMÓW

Spis treści

Słowo wstępne

Przedmowa

CZĘŚĆ I. Podstawy

1. NLP – elementarz
NLP w rzeczywistym świecie
Zadania NLP
Czym jest język?
Podstawowe elementy języka
Dlaczego NLP jest trudnym wyzwaniem?
Uczenie maszynowe, uczenie głębokie i NLP – przegląd
Podejścia do NLP
NLP oparte na heurystyce
Uczenie maszynowe w NLP
Uczenie głębokie w NLP
Dlaczego uczenie głębokie nie jest jeszcze „srebrną kulą” NLP?
Przewodnik po NLP – agenty konwersacyjne
Podsumowanie
Bibliografia
2. Potok NLP
Pozyskiwanie danych
Ekstrakcja i oczyszczanie tekstu
Parsowanie i oczyszczanie HTML-a
Normalizacja Unikodu
Poprawianie pisowni
Poprawianie błędów specyficzne dla systemu
Przetwarzanie wstępne
Czynności wstępne
Częste czynności
Inne czynności
Przetwarzanie zaawansowane
Inżynieria cech
Klasyczny potok NLP/ML
Potok DL
Modelowanie
Zacznij od prostej heurystyki
Budowanie modelu
Budowanie ostatecznego modelu
Ewaluacja
Ewaluacja wewnętrzna
Ewaluacja zewnętrzna
Fazy następujące po modelowaniu
Wdrażanie
Monitorowanie
Aktualizowanie modelu
Praca z innymi językami
Studium przypadku
Podsumowanie
Bibliografia
3. Reprezentacja tekstu
Modele przestrzeni wektorowej
Proste metody wektoryzacji
Kodowanie one-hot
Worek słów
Worek n-gramów
TF-IDF
Reprezentacje rozproszone
Osadzenia słów
Ponad słowa
Reprezentacje rozproszone na poziomach wyższych niż słowa i znaki
Uniwersalne reprezentacje tekstu
Wizualizacja osadzeń
Ręcznie utworzone reprezentacje cech
Podsumowanie
Bibliografia

CZĘŚĆ II. Niezbędnik

4. Klasyfikacja tekstu
Zastosowania
Potok budowania systemów klasyfikacji tekstu
Prosty klasyfikator bez potoku klasyfikacji tekstu
Używanie istniejących interfejsów API do klasyfikacji tekstu
Jeden potok, wiele klasyfikatorów
Naiwny klasyfikator bayesowski
Regresja logistyczna
Maszyna wektorów nośnych
Osadzenia neuronowe w klasyfikacji tekstu
Osadzenia słów
Osadzenia podsłów i fastText
Osadzenia dokumentów
Uczenie głębokie w klasyfikacji tekstu
Sieci CNN do klasyfikacji tekstu
Sieci LSTM do klasyfikacji tekstu
Klasyfikacja tekstu z wykorzystaniem dużych, wstępnie wytrenowanych modeli językowych
Interpretacja modeli klasyfikacji tekstu
Wyjaśnianie prognoz klasyfikatora za pomocą Lime’a
Uczenie się bez danych lub na mniejszej ilości danych i adaptowanie modeli do nowych dziedzin
Brak danych treningowych
Mało danych treningowych – nauka aktywna i adaptacja dziedzinowa
Studium przypadku – obsługa zgłoszeń problemów
Praktyczne rady
Podsumowanie
Bibliografia
5. Ekstrakcja informacji
Zastosowania IE
Zadania IE
Ogólny potok IE
Ekstrakcja fraz kluczowych
Implementowanie KPE
Praktyczne rady
Rozpoznawanie nazwanych encji
Budowanie systemu NER
NER z wykorzystaniem istniejącej biblioteki
NER z wykorzystaniem nauki aktywnej
Praktyczne rady
Ujednoznacznianie i łączenie nazwanych encji
NEL z wykorzystaniem Azure API
Ekstrakcja relacji
Podejścia do RE
RE z wykorzystaniem Watson API
Inne zaawansowane zadania IE
Ekstrakcja informacji temporalnych
Ekstrakcja zdarzeń
Uzupełnianie szablonów
Studium przypadku
Podsumowanie
Bibliografia
6. Czatboty
Zastosowania
Prosty bot FAQ
Taksonomia czatbotów
Dialog ukierunkowany na cel
Pogawędki
Potok budowania systemów dialogowych
Szczegóły systemu dialogowego
Czatbot PizzaStop
Szczegółowa analiza komponentów systemu dialogowego
Klasyfikacja aktu dialogowego
Identyfikacja slotów
Generowanie odpowiedzi
Systemy dialogowe z przykładami kodu
Inne potoki dialogowe
Podejście kompleksowe
Generowanie dialogu poprzez uczenie głębokie ze wzmocnieniem
Człowiek w pętli
Rasa NLU
Studium przypadku – polecanie przepisów
Korzystanie z istniejących platform
Czatboty generatywne o strukturze otwartej
Podsumowanie
Bibliografia
7. Tematy w skrócie
Wyszukiwanie i zwracanie informacji
Komponenty wyszukiwarki
Typowy potok wyszukiwarki korporacyjnej
Budowanie wyszukiwarki – przykład
Studium przypadku – wyszukiwarka dla księgarni
Modelowanie tematyczne
Trenowanie modelu tematycznego – przykład
Co dalej?
Streszczanie tekstu
Zastosowania streszczania
Konfigurowanie narzędzia streszczającego – przykład
Praktyczne rady
Systemy rekomendujące dane tekstowe
Tworzenie systemu rekomendacji książek – przykład
Praktyczne rady
Tłumaczenie maszynowe
Używanie interfejsu API do tłumaczenia maszynowego – przykład
Praktyczne rady
Systemy odpowiadania na pytania
Budowanie własnego systemu odpowiadania na pytania
Poszukiwanie głębszych odpowiedzi
Podsumowanie
Bibliografia

CZĘŚĆ III. Praktyka

8. Media społecznościowe
Aplikacje
Unikatowe wyzwania
Przetwarzanie języka naturalnego w danych społecznościowych
Chmura wyrazowa
Jonizator SMTD
Popularne tematy
Odczucia użytkowników Twittera
Wstępne przetwarzanie danych SMTD
Reprezentacja tekstu w SMTD
Obsługa klienta w kanałach społecznościowych
Memy i fake newsy
Identyfikowanie memów
Fake newsy
Podsumowanie
Bibliografia
9. E-commerce i handel detaliczny
Katalog e-commerce
Analiza recenzji
Wyszukiwanie produktów
Rekomendacje produktów
Wyszukiwanie w e-commerce
Budowanie katalogu e-commerce
Ekstrakcja atrybutów
Kategoryzacja i taksonomia produktów
Wzbogacanie produktów
Deduplikacja i dopasowywanie produktów
Analiza recenzji
Analiza odczuć
Aspektowa analiza odczuć
Łączenie ocen ogólnych z aspektami
Rozumienie aspektów
Rekomendacje w e-commerce
Studium przypadku – produkty substytucyjne i komplementarne
Podsumowanie
Bibliografia
10. Opieka zdrowotna, finanse i prawo
Opieka zdrowotna
Dokumentacja zdrowotna i medyczna
Ustalanie priorytetów i rozliczanie pacjentów
Nadzór farmakologiczny
Systemy wspomagania decyzji klinicznych
Asystenty zdrowotne
Elektroniczna dokumentacja medyczna
Monitorowanie zdrowia psychicznego
Ekstrakcja i analiza informacji medycznych
Finanse i prawo
Zastosowania NLP w finansach
NLP w krajobrazie prawnym
Podsumowanie
Bibliografia

CZĘŚĆ IV. Synteza

11. Kompleksowy proces NLP
Powrót do potoku NLP – wdrażanie oprogramowania NLP
Przykładowy scenariusz
Budowanie i utrzymywanie dojrzałego systemu
Znajdowanie lepszych cech
Iteracyjne rozwijanie istniejących modeli
Odtwarzalność kodu i modelu
Rozwiązywanie problemów i interpretowalność
Monitorowanie
Minimalizowanie długu technicznego
Automatyzacja uczenia maszynowego
Proces data science
Proces KDD
Proces Microsoft Team Data Science
Droga do sukcesu AI w Twojej organizacji
Zespół
Właściwy problem i właściwe oczekiwania
Dane i czas
Dobry proces
Inne aspekty
Spojrzenie poza horyzont
Ostatnie słowa
Bibliografia

Skorowidz