Kanibalizem modelov umetne inteligence vodi v katastrofo
Veliki jezikovni modeli potrebujejo velike količine besedila za učenje, kjer počasi trkamo ob povsem fizikalne meje. GPT-4 naj bi imel več kot bilijon parametrov, prebrati pa je moral še precej več besedila. Kakovostnih vsebin, ki so jih ustvarili ljudje, pa vseeno ni neomejeno mnogo, sploh pa dostopnih.
Zato ni presenetljivo, da so modeli najprej postrgali z interneta vse, kar se je dalo. Zaradi tega so si njihovi avtorji prislužili tudi številne tožbe, ki jih vlagajo zlasti založniki in drugi lastniki avtorskih pravic. Tožbe so vložili največji časniki v ZDA, Reddit pa je na primer prepovedal uporabo vsebin na njihovih straneh, razen če sklenejo dogovor in je uporaba plačljiva.
A nekoč bo vsebin zmanjkalo in že sedaj smo blizu. Raziskovalci so zato preverili, kaj bi se zgodilo, če bi se modeli učili od svojih mlajših bratov. Če bi na primer z GPT-n ustvarili velikanske količin besedila, ki bi ga potem pri učenju uporabil GPT-n+1, in tako naprej. Ideja ni tako zelo neverjetna, saj nekatere vrste strojnega učenja (unsupervised learning) delujejo zelo podobno.
Rezultat je katastrofalen, so ugotovili raziskovalci. Zgodi se tako imenovani kolaps modelov, ki postanejo čedalje manj sposobni, njihovi rezultate pa nesmiselni. Kanibalizem predhodnih rezultatov začne uničevati modele, uporaba predhodnih rezultatov pa povzroči nastanek nepopravljivih defektov v novem modelu. Ni pa še jasno, kaj bi se zgodilo ob navzkrižnem učenju, kjer bi rezultati modela OpenAI nastopili kot vhod za Metin model itd.
V preizkusu, o katerem poročajo v reviji Nature, se je najbolj napreden model zataknil v stavku »black@tailed jackrabbits«. Nepopravljivo, nespremenljivo, neskončno.
