Microsoft ponuja orodje za testiranje kakovosti AI agentov

Microsoft je predstavil novo platformo za testiranje umetne inteligence, imenovano Windows Agent Arena (WAA), ki omogoča preizkus AI asistentov v okolju operacijskega sistema Windows. Rešitev je zasnovana z namenom pospešitve razvoja naprednih AI asistentov, ki bodo sposobni izvajati kompleksne računalniške naloge v različnih aplikacijah.

Za velike jezikovne modele velja, da se jih lahko učinkovito uporablja tudi kot računalniške agente. Tako uporabljeni modeli lahko izboljšajo produktivnost ljudi ter omogočijo avtomatizacijo programske opreme pri opravljanju večmodalnih nalog, ki zahtevajo načrtovanje in razmišljanje.

WAA omogoča AI agentom, da se soočijo z nalogami, ki so podobne uporabi programov s strani ljudi. Microsoftovi AI agenti se lahko trenutno preizkusijo v več kot 150 različnih nalogah, kot so urejanje dokumentov, brskanje po spletu, programiranje in konfiguracija sistemov. Ključna inovacija platforme je sposobnost paralelnega testiranja na več virtualnih strojih v oblaku Azure, kar močno pospeši razvojni cikel.

Trenutno je še precej izzivov glede tega, kako učinkovito meriti uspešnost teh agentov v realnih okoljih, kar Windows Agent Arena skuša rešiti. Eden najbolj uspešnih AI asistentov, multi-modalnim agentom z imenom Navi, je na testih dokazal 19,5 % uspešnost pri opravljanju nalog znotraj WAA, medtem ko je za primerjavo uspešnost pri ljudeh znašala 74,5 %. Rezultati sicer kažejo napredek pri kakovosti delovanja agentov, a hkrati opozarjajo na še vedno obstoječe izzive pri razvoju AI, ki bi lahko dosegel enako stopnjo spretnosti kot ljudje pri uporabi računalnikov.

Microsoftova odločitev, da odpre dostop do Windows Agent Arena, je pomemben korak, saj bo tako širša raziskovalna skupnost lahko prispevala k nadaljnjemu razvoju tovrstnih tehnologij. Strokovnjaki ob tem opozarjajo, da se s tem žal odpirajo tudi vrata za potencialno zlorabo teh orodij. Sposobnost AI agentov, da prostovoljno upravljajo datoteke, pošiljajo e-pošto ali spreminjajo nastavitve sistema, pomeni, da bo treba uvesti robustne varnostne ukrepe in protokole za zagotavljanje uporabniške zasebnosti. Z nadaljnjim razvojem teh agentov bo zato ključnega pomena tudi, da se uporabniki jasno zavedali, kdaj komunicirajo z AI, še posebej v profesionalnih ali kritičnih okoljih.