Manj je več: tehnika CoD lahko znižala stroške umetne inteligence za 90 %

Raziskovalci pri Zoom Communications so razvili revolucionarno metodo za izboljšanje učinkovitosti umetne inteligence pri reševanju kompleksnih nalog. Tehnika, imenovana "chain of draft" (CoD), omogoča velikim jezikovnim modelom (LLM), da rešujejo probleme s precej manj besedila – uporabi zgolj 7,6 % besedila, ki ga potrebujejo trenutne metode, pri tem pa ohranja ali celo izboljšuje natančnost.

Nova metoda temelji na opazovanju človeškega načina razmišljanja. Ljudje pri reševanju zapletenih nalog pogosto zabeležimo le ključne informacije, ki so potrebne za napredek. CoD posnema to prakso in modelom omogoča osredotočenost na bistvene podatke, s čimer se zmanjšajo stroški in čas obdelave.

Rezultati testiranj so obetavni. Pri nalogah, kot so aritmetično razmišljanje, splošno znanje in simbolično sklepanje, je CoD znatno zmanjšal količino uporabljenega besedila. Pri testiranju modela Claude 3.5 Sonnet na vprašanjih iz sveta športa je bila povprečna dolžina izhoda zmanjšana iz 189,4 na 14,3 besed, pri tem pa se je natančnost izboljšala s 93,2 % na 97,3 %.

Ekonomični vidik CoD je prav tako impresiven. Pri podjetju, ki mesečno obdeluje milijon zahtevkov za sklepanje, bi se stroški lahko zmanjšali z 3.800 USD (pri metodi CoT) na zgolj 760 USD, kar pomeni več kot 3.000 USD prihranka mesečno.

Ključna prednost CoD je njegova enostavna implementacija. Za razliko od drugih inovacij, ki zahtevajo drage posodobitve modelov, se CoD lahko uporabi takoj, zgolj s prilagoditvijo poziva (prompting). To pomeni, da podjetja ne potrebujejo novih arhitektur ali ponovnega usposabljanja modelov, temveč lahko takoj izkoristijo prihranke pri stroških in izboljšano učinkovitost.

Uporabnost CoD se kaže predvsem v aplikacijah, kjer je pomembna hitrost odziva, kot so podporne storitve za stranke, mobilna umetna inteligenca, izobraževalna orodja in finančne storitve. Metoda bi lahko imela tudi širše družbene učinke, saj bi omogočila dostop do naprednih AI rešitev manjšim organizacijam in podjetjem z omejenimi viri.