ZAAWANSOWANE TECHNIKI PRZETWARZANIA JĘZYKA NATURALNEGO

Spis treści
Słowo wstępne

O autorach

O recenzentach

Przedmowa

Rozdział 1. Nawigowanie po krajobrazie NLP – kompleksowe wprowadzenie

Dla kogo jest ta książka?
Co to jest przetwarzanie języka naturalnego?
Historia i ewolucja przetwarzania języka naturalnego
Wstępne strategie maszynowego przetwarzania języka naturalnego
Zwycięska synergia – połączenie NLP i ML
Wprowadzenie do matematyki i statystyki w NLP
Przykład modelu językowego – ChatGPT
Podsumowanie
Pytania i odpowiedzi

Rozdział 2. Algebra liniowa, prawdopodobieństwo i statystyka w uczeniu maszynowym i NLP

Wprowadzenie do algebry liniowej
Podstawowe działania na macierzach i wektorach
Definicje macierzy
Wartości i wektory własne
Metody numeryczne znajdowania wektorów własnych
Rozkład macierzy na wartości własne
Rozkład według wartości osobliwych
Prawdopodobieństwo w uczeniu maszynowym
Niezależność statystyczna
Zmienne losowe dyskretne i ich rozkład
Funkcja gęstości prawdopodobieństwa
Estymacja bayesowska
Podsumowanie
Dalsza lektura
Bibliografia

Rozdział 3. Wykorzystanie potencjału uczenia maszynowego w NLP

Wymagania techniczne
Eksploracja danych
Wizualizacja danych
Oczyszczanie danych
Selekcja cech
Inżynieria cech
Typowe modele uczenia maszynowego
Regresja liniowa
Regresja logistyczna
Drzewa decyzyjne
Las losowy
Maszyny wektorów nośnych (SVM)
Sieci neuronowe i transformery
Niedostateczne i nadmierne dopasowanie modelu
Dzielenie danych
Dostrajanie hiperparametrów
Modele zespołowe
Bagging
Wzmacnianie
Spiętrzanie
Lasy losowe
Wzmacnianie gradientowe
Dane niezrównoważone
SMOTE
Algorytm NearMiss
Uczenie wrażliwe na koszty
Wzbogacanie danych
Dane skorelowane
Podsumowanie
Bibliografia

Rozdział 4. Usprawnianie technik wstępnego przetwarzania tekstu pod kątem optymalnej wydajności NLP

Wymagania techniczne
Normalizacja tekstu
Zamiana na małe litery
Usuwanie znaków specjalnych i interpunkcyjnych
Usuwanie słów stopu
Sprawdzanie i poprawianie pisowni
Lematyzacja
Tematyzacja
Rozpoznawanie nazwanych encji (NER)
Oznaczanie części mowy
Metody oparte na regułach
Metody statystyczne
Metody oparte na uczeniu głębokim
Wyrażenia regularne
Tokenizacja
Potok wstępnego przetwarzania tekstu
Kod NER i POS
Podsumowanie

Rozdział 5. Klasyfikowanie tekstu – wykorzystanie tradycyjnych technik uczenia maszynowego

Wymagania techniczne
Typy klasyfikacji tekstu
Uczenie nadzorowane
Uczenie nienadzorowane
Uczenie półnadzorowane
Klasyfikacja zdań z wykorzystaniem reprezentacji wektorowej z kodowaniem z „gorącą jedynką”
Klasyfikacja tekstu metodą TF-IDF
Klasyfikacja tekstu z użyciem Word2Vec
Word2Vec
Ewaluacja modelu
Nadmierne i niedostateczne dopasowanie
Dostrajanie hiperparametrów
Dodatkowe zagadnienia związane z praktyczną klasyfikacją tekstu
Modelowanie tematyczne – praktyczne zastosowanie nienadzorowanej klasyfikacji tekstu
LDA
Projekt rzeczywistego systemu ML do klasyfikacji tekstu
Implementowanie rozwiązania ML
Przykładowy scenariusz – projekt systemu ML do klasyfikacji NLP w notatniku Jupytera
Cel biznesowy
Cel techniczny
Potok
Ustawienia
Selekcja cech
Generowanie wybranego modelu
Podsumowanie

Rozdział 6. Nowe spojrzenie na klasyfikowanie tekstu – językowe modele uczenia głębokiego

Wymagania techniczne
Podstawy uczenia głębokiego
Co to jest sieć neuronowa?
Podstawowa struktura sieci neuronowej
Terminy dotyczące sieci neuronowych
Architektury sieci neuronowych
Problemy z trenowaniem sieci neuronowych
Modele językowe
Uczenie półnadzorowane
Uczenie nienadzorowane
Uczenie transferowe
Transformery
Architektura transformerów
Zastosowania transformerów
Duże modele językowe
Wyzwania związane z trenowaniem modeli językowych
Konkretne architektury modeli językowych
Problemy związane z używaniem GPT-3
Przykładowy scenariusz – projekt systemu ML/DL do klasyfikacji NLP w notatniku Jupytera
Cel biznesowy
Cel techniczny
Potok
Podsumowanie

Rozdział 7. Duże modele językowe – teoria, projektowanie i implementacja

Wymagania techniczne
Co to są duże modele językowe i czym różnią się od zwykłych modeli językowych?
Modele n-gramowe
Ukryte modele Markova (HMM)
Rekurencyjne sieci neuronowe (RNN)
Co wyróżnia modele LLM?
Powody tworzenia i używania modeli LLM
Lepsze wyniki
Szeroka generalizacja
Nauka na nielicznych przykładach
Rozumienie złożonych kontekstów
Wielojęzyczność
Generowanie tekstu podobnego do napisanego przez człowieka
Problemy związane z tworzeniem modeli LLM
Ilość danych
Zasoby obliczeniowe
Ryzyko uprzedzeń
Stabilność modelu
Interpretowalność i debugowanie
Wpływ na środowisko
Typy modeli LLM
Modele transformerowe
Przykładowe projekty nowoczesnych modeli LLM
GPT-3.5 i ChatGPT
Wstępny trening modelu językowego
Trening modelu nagrody
Dostrajanie modelu przez uczenie ze wzmacnianiem
GPT-4
LLaMA
PaLM
Narzędzia open source do RLHF
Podsumowanie
Źródła

Rozdział 8. Dostęp do dużych modeli językowych – zaawansowana konfiguracja i integracja z RAG

Wymagania techniczne
Konfigurowanie aplikacji LLM – oparte na API modele o zamkniętym kodzie źródłowym
Wybór zdalnego dostawcy LLM
Inżynieria podpowiedzi i inicjalizowanie GPT
Eksperymentowanie z modelem GPT
Konfigurowanie aplikacji LLM – lokalne modele o otwartym kodzie źródłowym
Różnice między modelami o otwartym i zamkniętym kodzie źródłowym
Repozytorium modeli Hugging Face
Stosowanie modeli LLM z ekosystemu Hugging Face z użyciem Pythona
Zaawansowane projektowanie systemów – RAG i LangChain
Koncepcje projektowe LangChain
Źródła danych
Dane, które nie są wstępnie osadzone
Łańcuchy
Agenty
Pamięć długoterminowa i odwoływanie się do poprzednich konwersacji
Zapewnianie ciągłej istotności przez przyrostowe aktualizacje i zautomatyzowane monitorowanie
Omówienie prostej konfiguracji LangChain w notatniku Jupytera
Konfigurowanie potoku LangChain w Pythonie
Modele LLM w chmurze
AWS
Microsoft Azure
GCP
Podsumowanie usług chmurowych
Podsumowanie

Rozdział 9. Eksplorowanie granic – zaawansowane zastosowania i innowacje w dziedzinie LLM

Wymagania techniczne
Zwiększanie skuteczności modeli LLM z użyciem RAG i LangChain – funkcje zaawansowane
Potok LangChain w Pythonie – zwiększanie skuteczności modeli LLM
Zaawansowane użycie łańcuchów
Zadawanie modelowi LLM pytania związanego z wiedzą ogólną
Nadawanie struktury danym wyjściowym – nakazywanie modelowi LLM zwrócenia wyników w określonym formacie
Prowadzenie płynnej konserwacji – wstawianie elementu pamięciowego w celu użycia poprzednich interakcji jako kontekstu dla następnych podpowiedzi
Automatyczne pobieranie informacji z różnych źródeł internetowych
Wyszukiwanie treści w filmach na YouTubie i streszczanie ich
Kompresja podpowiedzi i ograniczanie kosztów użycia API
Kompresja podpowiedzi
Eksperymentowanie z kompresją podpowiedzi i ocena kompromisów
Wiele agentów – tworzenie zespołu współpracujących modeli LLM
Potencjalne korzyści z jednoczesnej pracy wielu agentów
Zespoły wielu agentów – podsumowanie
Podsumowanie

Rozdział 10. Na fali – przeszłe, teraźniejsze i przyszłe trendy kształtowane przez modele LLM i sztuczną inteligencję

Kluczowe trendy techniczne związane z modelami LLM i AI
Moc obliczeniowa – siła napędowa modeli LLM
Przyszłość mocy obliczeniowej w NLP
Duże zbiory danych i ich niezatarty wpływ na NLP i modele LLM
Cel – trening, testy porównawcze i wiedza dziedzinowa
Wartość – niezawodność, różnorodność i efektywność
Wpływ – demokratyzacja, biegłość i nowe obawy
Ewolucja dużych modeli językowych – cel, wartość i wpływ
Cel – po co dążyć do większych i lepszych modeli LLM?
Wartość – przewaga modeli LLM
Wpływ – zmiana krajobrazu
Trendy kulturowe w NLP i modelach LLM
NLP i modele LLM w świecie biznesu
Sektory biznesu
Obsługa klienta – wcześni użytkownicy
Zarządzanie zmianami wywołanymi przez AI
Trendy behawioralne wywoływane przez AI i model LLM – aspekt społeczny
Rosnące znaczenie asystentów osobistych
Łatwość komunikacji i przełamywanie barier językowych
Etyczne implikacje delegowanych decyzji
Etyka i zagrożenia – rosnące obawy związane z implementacją AI
Podsumowanie

Rozdział 11. Okiem branży – opinie i prognozy ekspertów światowej klasy

Prezentacja ekspertów
Nitzan Mekel-Bobrov, PhD
David Sontag, PhD
John D. Halamka, M.D., M.S.
Xavier Amatriain, PhD
Melanie Garson, PhD
Nasze pytania i odpowiedzi ekspertów
Nitzan Mekel-Bobrov
David Sontag
John D. Halamka
Xavier Amatriain
Melanie Garson
Podsumowanie