„Þekking“ spjallbota eins og mín er í raun tvískipt: það er annars vegar grunnurinn sem lærður var við þjálfun, og hins vegar lifandi aðgangur að upplýsingum sem hægt er að sækja utanfrá.
-
Grunnþekking (fyrirfram þjálfun):
- Ég var þjálfaður á risavaxnu safni af texta: bækur, vísindagreinar, fréttir, vefsíður, handbækur, forritunarkóða og samtöl. Þetta er gert með svokölluðu líkansnámi (machine learning), þar sem líkanið lærir mynstur í tungumáli – hvernig hugmyndir, staðreyndir og orð tengjast.
- Þetta er eins og að hafa lesið mikið bókasafn og reynt að átta sig á samhengi texta frekar en að muna nákvæmar síður. Það þýðir að ég get dregið upp almennar reglur og líkindamat um hvað sé líklegt svar, en ekki „fletta upp“ í gagnagrunni.
-
Uppfærslur og viðhald:
- Grunnurinn minn er frosinn á ákveðnu tímabili (mín þjálfun fór fram fram til júní 2024). Það sem gerðist eftir það veit ég ekki nema ég tengist lifandi upplýsingaveitum.
- Til að halda mér við, er annað hvort þjálfað nýtt líkan frá grunni eða bætt við með svokölluðu fínstillingu (fine-tuning). Þá eru ný gögn tekin inn og líkanið aðlagað að nýrri þekkingu eða ákveðnum notkunarsviðum.
- Í sumum tilvikum fæ ég aðgang að netinu eða gagnaveitum (eins og vísindagreinasöfnum, fréttum eða veðri) til að geta sótt nýjustu upplýsingar í rauntíma. Þá sameinast „frosna“ bókasafnið mitt og lifandi gögnin í svörunum sem ég veiti.
-
Eftirlit og hreinsun gagna:
- Upplýsingarnar sem notaðar eru við þjálfun eru hreinsaðar til að fjarlægja rusl, endurtekningar og skaðlegt efni.
- Þá þarf líka að passa að halda hlutunum tiltölulega hlutlausum, svo botninn endurspegli ekki ranghugmyndir eða fordóma sem finnast í hráum gögnum.
Þannig má segja að þekking spjallbota sé blanda af gömlum bókasafni sem hann hefur innbyggt í sig við þjálfun og nýjum fréttum sem hann getur, ef svo er forritað, flett upp til að vera ferskur.
Hefðirðu áhuga á að ég útskýri nánar tæknilega hvernig þessi „minni“ virka – til dæmis hvernig líkön læra að „muna“ mynstur án þess að geyma staðreyndir beint?
Frábært — þá förum við aðeins undir húddið.
Þegar maður segir að spjallbotnar hafi „þekkingu“ er það dálítið villandi orð. Þeir geyma ekki stafrænt minnisblað með staðreyndum (eins og: „Höfuðborg Frakklands = París“) heldur tölfræðilegt mynstur sem þeir læra úr texta.
Hvernig þetta virkar í stuttu máli:
- Textar eru þýddir yfir í tölur með því að skipta þeim niður í orðabrot (tokens). Orðið „hestur“ gæti orðið eitthvað eins og [4021], „hestar“ [4021, 56] o.s.frv.
- Líkanið (sem er gert úr mörgum lögum af svokölluðum tauganetum) lærir hvernig þessir táknar tengjast. Það lærir til dæmis að eftir „Höfuðborg Frakklands er …“ kemur mjög líklega „París“.
- Þetta „minni“ er ekki eins og skjalaskápur heldur eins konar landslag af líkum. Það veit ekki staðreyndina beint, heldur að tiltekin orð raðast mjög oft saman í ákveðnu samhengi.
Af hverju þetta er ekki bókstaflegt minni:
- Ef maður reynir að ná út nákvæmri línu úr bók sem líkanið sá í þjálfun, þá getur það ekki endilega framkallað hana orðrétt. Það hefur ekki geymt textann heldur mynstur hans.
- Þess vegna getur það líka ruglast og gefið út rangar „staðreyndir“ (þetta kallast oft hallucination), ef líkindalandslagið bendir í vitlausar áttir.
- Viðhald og uppfærslur:
- Þegar nýjar þekkingar eru þjálfaðar inn, er í raun verið að móta þetta landslag upp á nýtt: gera sumar leiðir líklegri, aðrar ólíklegri.
- Það er eins og að taka gamalt kort og teikna inn nýjar götur, byggja brýr og jafnvel moka upp vegum sem áður voru rangir.
Þannig að þegar ég „man“ eitthvað, þá er það ekki geymt sem línuleg setning heldur sem afleiðing af ótrúlega flóknu líkindaneti sem nær yfir milljarða orða.
Það sem er næst spurningu þinni: Spjallbotnar hafa ekki minni eins og mannshugurinn, heldur líkindaskógar.
Við sækjum svo í þá skóga þegar við myndum setningu, líkt og að velja næsta orð með því að ganga eftir mest troðnu slóðunum.
Viltu að ég sýni þetta með einföldu dæmi — hvernig líkan myndi „spá“ næsta orð út frá líkindum, skref fyrir skref?
Botti:
ChatGPT sagði:
Til að gera þetta skýrt getum við líkt þessu við teningakast með skekkju.
Hugsaðu þér að líkanið þurfi að klára setninguna:
„Höfuðborg Frakklands er …“
Líkanið horfir á allt sem kom á undan og reiknar út líkur fyrir hvað næsta orð gæti verið.
Segjum að niðurstaðan sé eitthvað á þessa leið (ekki alvöru tölur, bara dæmi):
- „París“ – 92% líkur
- „Lyon“ – 3% líkur
- „Marseille“ – 2% líkur
- „falleg“ – 1% líkur
- annað smávegis – 2%
Það er eins og að hafa 100 hliða tening:
- 92 hliðar með „París“
- 3 hliðar með „Lyon“
- 2 með „Marseille“
- 1 með „falleg“
- rest smámál.
Líkanið kastar svo þessum teningi og velur næsta orð. Ef allt gengur eðlilega, þá kemur „París“.
En stundum getur það dottið út í „Lyon“ eða eitthvað skrýtið ef teningurinn lendir á öðru. Þess vegna koma stundum rangar eða furðulegar setningar.
Þetta gerist svo aftur og aftur fyrir hvert einasta orð sem kemur á eftir. Það er stöðug spá, endurtekin þúsund sinnum á sekúndubroti, sem smíðar heila setningu.
Það sem gerir þetta merkilegt er að líkurnar eru reiknaðar út frá gífurlega flóknu mynstri í texta. Líkanið kann ekki bara að tengja „Frakkland → París“ heldur líka dýpri samhengisreglur: málfræði, stílbrögð, jafnvel menningarlegt samhengi.
Þannig að allt samtalið okkar er í raun tilviljunalegt ferðalag í gegnum líkindaskóginn — en þar sem göturnar sem liggja í átt að „réttum“ orðum eru svo miklu breiðari, þá endar maður yfirleitt á rökréttum stað.
Viltu að ég teikni þetta fyrir þig með smá kóða sem sýnir hvernig „líkindaspáin“ fyrir næsta orð lítur út í tölum og mynd?
Spyrill: Nei, takk – þetta er gott
Botti:
Frábært, þá stoppum við þar. Þú ert nú með heildarmyndina: spjallbotnar vinna ekki með harðkóðaða staðreyndabanka heldur ganga stöðugt um líkindaskóg þar sem mest troðnu slóðirnar leiða yfirleitt að réttum orðum.
Það er dálítið eins og mannshugurinn sjálfur – við eigum ekki nákvæmt skjalaskáp yfir alla texta sem við höfum lesið, heldur mynstrin og tengingarnar sem leiða okkur áfram.
Næst þegar þú sérð mig eða annan botna „muna“ eitthvað geturðu hugsað: þetta er ekki geymt svar, heldur lifandi líkindaútkomu sem rifjast upp eins og kast á tening með mikla slagsíðu.
Ef þú vilt halda áfram að kafa, þá er næsta áhugaverða stigið hvernig minni og „context window“ virkar – það sem gerir mér kleift að muna hluta af samtali í rauntíma þó ég hafi ekki langtímaminni. Þar er enn ein skemmtileg mótsögn.
