Oblačna in lokalna inteligenca
Prihod programskih rešitev in storitev s področja umetne inteligence že povzroča znatne spremembe v tako rekoč vseh ostalih kategorijah programske opreme, od pisarniških programov, do programov CAD. Spreminja tudi strategijo proizvajalcev strojne opreme, saj se nam med drugim obeta, da bomo dokaj kmalu del procesiranja umetne inteligence izvajali lokalno na računalnikih.
V zadnji mesecih skoraj ne mine dan brez omembe umetne inteligence. V službi, doma, v medijih, med prijatelji in sodelavci. Skoraj vsak sogovornik je tako ali drugače že preizkusil vsaj eno od orodij, običajno vsaj ChatGPT. Veliko je takih, ki orodja uporabljajo že povsem redno, na dnevni ravni, denimo programerji in tudi povsod drugod, kjer opravila vključujejo ustvarjanje in pisanje besedil.
Pričakovanja so velika, veliko pa je tudi še nejasnega. Menim, da smo še vedno v nekakšni »testni« fazi uporabe orodij za umetno inteligenco. Zelo redki jih uporabljajo sistematično, še manj je organizacij, vsaj v Sloveniji, ki umetno inteligenco uvajajo v svoje ključne procese. A to po vsej verjetnosti še pride, morda hitreje, kot bi pričakovali.
Trenutno smo v fazi, ko smo, strahovom navkljub, nekako priznali, da vidimo, kje bi nam (generativna) umetna inteligenca lahko prihranila delo, čas, napor, toda ob tem ostajajo neodgovorjena številna vprašanja. Ali lahko zaupamo predlogom in odgovorom, ki jih ponujajo programi? Kako lahko vemo, kaj od predlaganega drži in kaj je izmišljeno? Na podlagi česa lahko zaupamo, da podatki, deljeni s storitvijo umetne inteligence, ne bodo prišli v javnost oziroma do tistih, ki jim niso namenjeni? In zato: Ali bi lahko vse skupaj namestili na »naš« strežnik ali celo svoj računalnik?
Zadnjega vprašanja sem deležen skoraj pri vsakem podjetju, ki želi narediti naslednji korak pri rabi umetne inteligence. Potrjuje nenapisano pravilo, da se kljub desetletju uporabe storitev v oblaku v trenutku, »ko gre zares«, raje odločimo, da imamo podatke na varnem, nekje blizu, morda celo pri sebi. To je železno pravilo, ki se ga ne bomo kar tako zlahka znebili.
Še pred kakim mesecem sem vsakomur zatrdil, da so vložki v izgradnjo in/ali uporabo lastnih LLM gromozanski, ne samo za podjetja, celo za države. Navedbe velikih hipercentrov omenjajo milijonske, celo milijardne vložke. Sočasno so cene specializiranih procesorjev, ki so potrebni za procesiranje, nenormalno visoke, če jih sploh lahko najdemo.
Toda vse kaže, da se bo tudi to spremenilo, celo hitreje, kot sem sam pričakoval. Vnaprej pripravljene modele LLM lahko kot odprtokodne projekte že danes zlahka prenesemo k sebi in celo poženemo na lastnem računalniku. Čudežev pa ne smemo pričakovati - tam, kjer nam ChatGPT odgovori v nekaj sekundah, bomo na lokalni opremi odgovore dobili čez dolge minute, morda celo ure. Sploh če želimo modele LLM z velikim številom parametrov. Skratka, za praktično rabo neuporabno.
Tam, kjer nam ChatGPT odgovori v nekaj sekundah, bomo na lokalni opremi odgovore dobili čez dolge minute, morda celo ure.
To pa se že spreminja. Prav vsi proizvajalci procesorjev so že najavili, da v centralne procesne enote prihajajo specializirana jedra, ki bodo bistveno bolj učinkovito procesirala programske naloge (bremena) s področja umetne inteligence. Vsaj tako hitro kot današnji najdražji NPU/GPUji, a za delček cene (in porabe energije). Microsoft za konec letošnje pomladi napoveduje večjo predstavitev, kjer bodo razkrili, kako bodo umetno inteligenco tesneje povezali s svojimi današnjimi izdelki.
Microsoft je svoje pomočnike Copilot doslej vgradil že v domala celoten spekter svojih izdelkov in storitev, vključno z okolji Windows in Microsoft 365 (Office). Malo manj znano je, da prav vse zahteve vzpostavljene v lokalnih programih vedno posredujejo v oblak in procesirajo tam. Trenutno celo zahtevajo, da so vsi parametri za poizvedbe, ključno tudi vsi dokumenti in učno gradivo, vidni in dosegljivi v (Microsoftovemu) oblaku (OneDrive).
To je seveda sporno iz več kot enega razloga in dolgoročno nevzdržno. Zato pri Microsoftu že razmišljajo o naslednjem koraku: napovedali so da bo Copilot v doglednem času deloval tudi lokalno, torej na uporabnikovem osebnem računalniku. Toda trenutno ocene navajajo, da je zahtevana zmogljivost NPU precej večja od danes najhitrejših namiznih procesorjev, denimo Applovega procesorja M3.
Gledano iz današnjega zoprnega kota je to velika ovira, a saj vemo, kako to gre. Že čez leto ali dve bo to zmogel vsak nov osebni računalnik. To pa je velikanska priložnost za proizvajalce računalnikov. Drugače povedano – industrija pričakuje, da bomo v roku dveh ali treh let, še raje prej, vsi zamenjali računalnike. Bolj zanesljivo kot kadarkoli doslej. Skoraj vsak od prvih desetih proizvajalcev čipov je javno napovedal večje naložbe, kot je vreden celoten načrt za razvoj in proizvodnjo v EU. Pomislite, kaj to pomeni.
S tem bomo dobili začasno rešitev za velik del prej omenjenih vprašanj. Za določena opravila bomo dobili večji nadzor nad delovanjem umetne inteligence, kar bo najbrž sprostilo nekatere zavore pri njeni nadaljnji implementaciji v vsakdanjem življenju.
Trdim, da je to začasna rešitev zato, ker se modeli LLM ta hip razvijajo hitreje, kot se razvijajo zmogljivosti procesorjev. Torej bomo za številna opravila potrebovali zmogljivejše strežnike, verjetno storitve hipercentrov. Želja po zmogljivosti bo še naprej strmo naraščala.