Żyjemy w dziwnych czasach, w których ludzie nie chcą rozumieć…

A to właśnie zrozumienie wpływa w dużej mierze na wyniki osiągane w pracy z takimi narzędziami jak GPT.

Co jeszcze lepsze, zrozumienie podstaw działania dużych modeli językowych jest prostsze, niż mogłoby się wydawać.

Prawda jest taka, że ChatGPT nie myśli tak jak człowiek.

W dzisiejszym wpisie z użyciem prostego języka wyjaśniam podstawy działania dużych modeli językowych takich jak GPT.

Jak działa GPT

Wszystko tak naprawdę sprowadza się do prawdopodobieństwa.

Odpowiedzi, które model taki jak GPT generuje, są konstruowane stopniowo, za pomocą małych jednostek informacji, czyli tokenów.

Działanie modelu polega na przydzielaniu każdemu potencjalnemu tokenowi, jaki może wystąpić w danej wypowiedzi, określonego prawdopodobieństwa.

Takie prawdopodobieństwo obliczane jest na podstawie informacji, które model pozyskał podczas procesu uczenia, kiedy analizował ogromne ilości tekstów. Na tej podstawie GPT wie, jakie tokeny mają tendencję do występowania po sobie w naturalnym języku.

Prawdopodobieństwo danego tokenu determinuje, czy zostanie on wybrany jako następny składnik zdania. Im wyższe jest jego prawdopodobieństwo, tym większa szansa, że ten konkretny token zostanie użyty w procesie generowania odpowiedzi.

Czym jest token

Token w LLM to najmniejsza jednostka informacji, którą model może przetworzyć. W przypadku języka angielskiego często jest to pojedyncze słowo, ale może to być również część słowa lub nawet pojedynczy znak, w zależności od tego, jak dane zostały wstępnie przetworzone.

GPT-4, jak i inne modele oparte na transformerach, używają technik tokenizacji do podziału tekstu na mniejsze jednostki, które są następnie przekształcane w wektory służące do reprezentacji powiązań pomiędzy poszczególnymi słowami.

Przykładowo, zdanie "Cześć, jak się masz?" może zostać podzielone na następujące tokeny:

["Cześć", ",", "jak", "się", "masz", "?"]

Przykład przypisania prawdopodobieństwa do tokenów

Załóżmy, że GPT odpowiada na pytanie: "Kto był pierwszym człowiekiem na Księżycu?" Jak widzisz na grafice, GPT rozważa różne tokeny i na tej podstawie generuje odpowiedź.

Algorytm będzie szukał tokenów, które są najbardziej prawdopodobne w kontekście pytania i wszystkich dotychczas wygenerowanych tokenów, aż uformuje całkowicie sensowną odpowiedź.

Ciekawostką jest fakt, że choć może się wydawać, że GPT powinien zawsze wybrać token o największym prawdopodobieństwie, to rzeczywistość wygląda inaczej.

Aby zapewnić pewną formę naturalności i nieprzewidywalności, GPT czasami wybiera tokeny, które mają niższe, choć nadal sensowne, wartości prawdopodobieństwa.

Najprostsze wytłumaczenie działania GPT

Uproszczając jeszcze bardziej, możemy powiedzieć, że algorytm ciągle pyta samego siebie:

"Jakie słowo lub znak powinienem teraz dodać, aby to, co już napisałem, brzmiało naturalnie i było podobne do milionów tekstów, które już widziałem?"

Ten proces powoduje, że automatycznie generowane teksty są spójne i czytelne, a jednocześnie wystarczająco losowe, by sprawiały wrażenie naturalnego języka.

Znaczenie kontekstu w GPT

To właśnie z tego powodu kontekst, który podajesz przy okazji pisania promptu, jest tak ważny.

GPT używa słów zawartych w kontekście, aby lepiej określić, jakie tokeny mają największą szansę na wystąpienie w wynikowym zdaniu i na tej podstawie przypisuje im odpowiednie prawdopodobieństwo.

Zrozumienie tego procesu umożliwia Ci lepsze wykorzystanie GPT i podobnych narzędzi.

Podsumowanie

Duże modele językowe, takie jak GPT działają na zasadzie prawdopodobieństwa, przypisując każdemu tokenowi (najmniejszej jednostce informacji) prawdopodobieństwo na to, że będzie następnym elementem zdania.

Model szuka tokenów najbardziej prawdopodobnych w kontekście pytania i dotychczas wygenerowanej części odpowiedzi, a następnie dokleja je na sam koniec wygenerowanego ciągu znaków.

To, co musisz zapamiętać to fakt, że GPT nie wybiera zawsze tokenu o największym prawdopodobieństwie. Możliwa jest sytuacja, że wybrany zostanie token o mniejszym prawdopodobieństwie, dzięki czemu Twoja odpowiedź zawsze jest unikalna i naturalna.

Źródła:

• https://www.coursera.org/learn/generative-ai-with-llms