Z kursu: Wprowadzenie do inżynierii podpowiedzi dla generatywnej sztucznej inteligencji
Duże modele językowe
- [Instruktor] Czym więc jest duży model językowy lub czym jest model językowy w ogóle? W tym celu przejdźmy do GPT. I tak, to model związany z ChatGPT. Pójdę dalej i wprowadzę zdanie: "Próbuję nauczyć się czegoś nowego". A potem zamierzam kliknąć Prześlij. Następnym słowem było "co jakiś dzień". I widzicie, że klikam na każde i otrzymuję ten fajny mały rozkład lub coś w rodzaju procentów. Co to oznacza? Teraz możemy pomyśleć o modelu, który dociera do słowa nowy i jest to rodzaj skrzyżowania lub skrzyżowania. A modelka musi wybrać następne słowo. Co się stanie, jeśli stworzymy coś w rodzaju wykresu kołowego z tymi statystykami? Więc pójdę dalej i powiem, że każdy to prawie 50%, czyli 49. A potem jest 21% szansy na \n. To początek nowej linii. Dalej jest codzienność jako jedno słowo. A to już 17%. A następnie jest każdy na około 6%. A kiedy mówię "inny", mam na myśli prawie wszystko inne. Teraz, gdybym podzielił to na ruletkę i w pewnym sensie obrócił to, jest prawdopodobne, że dostanę wszystko, ale nie jest to gwarantowane. Brzmi to bardzo prosto, ale wymyślenie tej dystrybucji jest dość niesamowite. W tym celu te wielkie modele językowe są trenowane na ogromnej, ogromnej ilości tekstów, prawie całym internecie, ogromnych ilościach książek. A co więcej, czasami są one dostrojone do konkretnych zadań. Teraz, tutaj pojawia się podpowiedź: "Próbuję nauczyć się czegoś nowego" i pojawia się wraz z ukończeniem, każdego dnia. Tak więc duży model językowy pobiera dane wejściowe i daje nam pewnego rodzaju dane wyjściowe tokenów.
Korzystaj z plików z ćwiczeniami, aby zmieniać teorię w praktykę
Pobierz pliki wykorzystywane przez instruktora podczas kursu. Weź udział i ucz się oglądając, słuchając i ćwicząc.