Veliki ponudniki oblakov imajo na tisoče grafičnih procesorjev, a je precej neizkoriščenih

Ponudniki storitev v oblakov so v preteklih letih v svojih podatkovnih centrih namestili več deset tisoč grafičnih procesorjev in pospeševalnikov umetne inteligence v tekmi, da bi izkoristili priložnost zaradi povečanja povpraševanja po velikih jezikovnih modelih umetne inteligence.

Toda kljub tem množičnim uvedbam raziskave kažejo, da je večina teh procesorjev premalo izkoriščenih. Po ocenah analitičnega podjetja TechInsights je bilo leta 2023 nameščenih in uporabljenih okoli 878.000 pospeševalnikov, ki so omogočili sedem milijonov ur dela procesorjev GPU.

Po mnenju raziskovalce to pomeni priložnost za približno 5,8 milijarde dolarjev prihodkov, ob upoštevanju povprečnih cen, ki veljajo za uro uporabe GPU v oblaku. Amazon AWS denimo ponuja storitev za okoli 98 dolarjev na GPU/uro.

Čeprav ponudniki storitev v oblaku nimajo navade deliti svoje dejanske ravni izkoriščenosti, TechInsights poudarja, da če bi gruče GPU delovale kjer koli blizu zmogljivosti, bi bil ta prihodek bistveno višji. Analitiki sicer priznavajo, da številni ponudniki oblakov uporabljajo pospeševalnike tudi za notranje delovna bremena, kar lahko nekoliko izkrivlja ta sklep. Toda kljub temu ocenjujejo, da je velik delež procesnih zmogljivosti tega gromozanskega števila GPU neizkoriščen, povzroča pa stroške in porabi energijo.

Zdi se, da je težava povezana z načinom, kako uporabniki običajno uporabljajo tovrstne storitve v oblaku. Ker gre za drage storitve, marsikdo procesiranje GPU naroča glede na dejansko rabo in nima v naprej zakupljene zmogljivosti, kar pa ponudnikom v oblaku ne omogoča predvidljivega modela uporabe sredstev.

Zato morajo podjetja, kot sta AWS ali Microsoft, zagotoviti veliko več zmogljivosti, kot pričakujejo, da bodo prodala. Posledično ponudniki zaradi tega storitve zaračunajo več, kot bi lahko, da pokrijejo stroške tudi v obdobju manjše zasedenosti.

Seveda je vse skupaj daleč od optimalne izrabe sredstev (in energije, ki je za to potrebna), končno ceno pa plačajo uporabniki storitev. Rešitev bi lahko bila v abstrakciji rabe procesorjev GPU, tako najmanjšega dela procesne zmogljivosti, kot tudi enotnega programskega modela, ki bi naslavljal različne variante GPU, ki imajo danes vsaka različno programsko zasnovo.