Text sa rozdelí na menšie jednotky nazývané tokeny.
Text sa premení na postupnosť čísel.
Neurónová sieť premení postupnosť čísel na inú postupnosť čísel.
Generatívne jazykové modely
Neurónová si dokáže predpovedať ďalšie slovo na základe predchádzajúcej histórie.
História môže byť dosť dlhá.
Ak dokážeme predpovedať ďalšie slovo, dokážeme generovať text.
Čo dokáže generatívny jazykový model
Má všeobecný prehľad v ľudských vedomostiach.
Programovať.
Preklad do viacerých jazykov.
Konverzácia vo viacerých jazykoch - cieľavedomá alebo nezáväzná.
Generovanie správ, životopisov.
Medicínske diagnózy.
Editovanie textu a oprava gramatických chýb.
Zostavenie návodov.
Čo dokáže generatívny model
Generovaní prehľadu literatúry.
Sumarizácia textu.
Zodpovedanie zložitejší otázok.
Porovnanie produktov.
Vyhľadávanie informácií.
Vytváranie odporúčaní.
Rozpoznávanie emócií v zadanom texte.
História jazykových modelov
N gramový model: štatistický prístup.
T5, BART: neurónová sieť Transformer typu kóder-dekóder.
GPT: Transformer typu kóder.
ChatGPT: GPT natrénovaný na porozumenie inštrukciám, konverzáciám/
iné konverzačné modely
OpenAI: ChatGPT.
Je použitý vo vyhľadávači BING.
GitHUB Copilot - nápoveda pri programovaní.
Google BARD.
Midjourney, Dallie pre generovanie obrázkov.
Otvorené generatívne modely
mBART, mT5
GPT-J, GPT-Neo
LLAMA, BLOOM, Falcon
Chinchilla, Alpaca, Vicuna
Spôsob trénovania ChatGPT
Generatívny model GPT, nedokáže "konverzovať".
Množina človekom generovaných konverzácií, spolu s vyhodnotením.
Na základe konverzácií sa vygeneruje model "odmeny a trestu" - reinforcement.
Model odmeny a trestu trénuje GPT na úlohu konverzácie.
Čo nedokáže generatívny model
rozumieť číslam a počítať zložitejšie matematické výrazy
vytvárať komplexné programy
dokonale rozumieť po slovensky
byť zodpovedný a predvídateľný.
neaktuálnosť, model bol trénovaní na dáta z roku 2021 a nedokáže reagovať na novšie udalosti.
aké sú bezpečnostné problémy
halucinácia, model si vymýšľal nezmysly
bias, model môže byť zaujatý voči určitej skupine ľudí, generovanie nenávisti
model môže generovať spoločensky neprijateľné výstupy.
nemožnosť vysvetliť výstup - na základe čoho model generoval, z toho vyplýva nespoľahlivosť
zneužitie interných informácií - konverzácie sa stávajú súčasťou trénovania, veľké jazykové modely typicky bežia na cudzej infraštruktúre, dialógy sa odosielajú a dáta sa využívajú na ďalšie "zlepšenie" modelu.
model môže predstierať, že je pracovník banky alebo podpory a vylákať citlivé údaje.
Dopady na zamestnanosť:
Niektoré profesiu môžu zaniknúť.
nové pracovné miesta - prompt engineer
Ďalší tlak na vzdelávací systém a nové zručnosti.
Potreba regulácie
Generovanie nenávisti, falošných správ. Deepfake
Automatický troll.
Zneužívanie cudzích dát.
Zneužívanie osobných informácií na manipuláciu. Politickú, marketingovú.
Manipulácia prostredníctvom chatbota.
Možnosti obrany proti nenávisti.
Jazykový model ako autonḿomny inteligentný agent
samostatné zlepšovanie modelu.
riadenie robotov jazykovým modelom
Budúcnosť modelu
v modeli sa budú nachádzať všetky texty z celej histórie ľudstva.
efektívnejšie trénovanie a používanie
dostupnosť vlastných jazykových modelov.
lepšia vysvetliteľnosť
Triky pri používaní ChatGPT
Vytvorte si tzv. Persónu - fiktívnu postavu ktorá by mala vyplniť Vaše požiadavky. ChatGPT sa pokúsi "prevteliť" a odpovedať ako daná osoba. Inak by odpovedal učiteľ, inak programátor a inak manuálne pracujúci človek.
Hovorte po anglicky.
Používajte tzv. temperature: mieru kreativity. Vyššia kreativita znamená väčšia pravdepodobnosť halucinácie
Buďte zdvorilí, používajte prosím.
Vyjadrujte sa podrobne a exaktne.
Používajte rozpoznávanie reči.
Neposielajte citlivé informácie - model si to môže zapamätať.
Etické implikácie modelov
Príležitosť pre menej kvalifikovaných. Ako sa k tomu postaviť pri vzdelávaní?
Nadvláda veľkých technologických spoločností.
Je potrebný súhlas na zaradenie do trénovacej databázy?
Spotreba elektrickej energie pri trénovaní a pri používaní., Nové modely zvyšujú energetickú náročnosť webového vyhľadávania.