Kako kompanije mogu izgraditi pouzdane AI pomoćnike
Putovanje AI pomoćnika već je dobro u toku. Vidimo da se evolucija ka agentu oblikuje u tri faze: pomoćnik, konobar i agent. Ova evolucija je uzbudljiva i obećava da će nam olakšati život - eliminisanjem dosadnih zadataka i pomažući nam da budemo produktivniji. Ali svako ko je ikada imao pomoćnika zna da odnos funkcioniše samo ako postoji poverenje. Autori istražuju šta može poći po zlu sa autonomnim agentima i kako kompanije mogu odgovorno ih implementirati.
AI pomoćnici već godinama postoje u našim džepovima (npr. Siri) i našim domovima (npr. Alexa). I kako AI postaje moćniji zahvaljujući često pominjanim velikim modelima jezika (LLM) i manje pominjanim modelima velikih akcija (LAM), ovi pomoćnici mogu postati agenti - proaktivno završavajući ceo niz zadataka umesto vas.
Razmotrimo jednostavan scenario. Vlasnik preduzeća upravlja lancem restorana sa skupim aparatima za gazirane napitke koje je skupo nabaviti i održavati. Prodaja gaziranih napitaka može generisati do 90% marže, pa kada aparat prestane sa radom, to može značiti ogromne gubitke u prihodu za kompaniju. Sada zamislimo implementaciju AI sistema paralelno sa Internetom stvari (IoT), praćenje signala da bi deo moglo pristupiti kraju svog životnog veka. Vlasnik zatim može koristiti LAM da pokrene orkestar manjih modela, automatski naručujući delove, slanje ih i preporučivanje vremena kada tehničar treba da stigne, baš na vreme da popravi aparat bez zastoja.
Aparat za gazirane napitke je bezazleni primer. Ali kada su ulozi veći od ponovnog punjenja gaziranog napitka, kako se postiže da ovi autonomni agenti budu bezbedni i pouzdani? Koje zaštitne barijere treba postaviti kako bi se osiguralo da ovi agenti usklađuju sa ljudskim vrednostima?
Evolucija AI pomoćnika
Putovanje AI pomoćnika već je dobro u toku. Vidimo da se evolucija ka agentu oblikuje u tri faze:
Faza I: Pomoćnik
AI pomoćnik sluša šta želite i isporučuje upravo to. Ova prva faza je ono što većina botova radi danas. Na vašu komandu, pomoćnik reprodukuje vašu omiljenu pesmu, daje vam vremensku prognozu ili preporučuje obližnji restoran.
Faza II: Konobar
AI konobar sluša vašu komandu i pruža ono što želite PLUS dodatne korisne informacije. Zamislite ovu drugu fazu kao hotelskog konobara. Vi i vaša porodica idete do lobija i tražite preporuku za dobar restoran. Konobar vam govori o najboljim restoranima sa odrezcima u blizini, ali - primećujući da imate decu - preporučuje restoran pogodan za decu umesto restorana sa Mišlenovom zvezdom koji neće pustiti vašu decu kroz vrata. Ovo je veština koju počinjemo viđati kod nekih AI agenata danas.
Faza III: Agent
AI agent može raditi sve iste stvari kao pomoćnik ili konobar - ali takođe može obavljati akcije bez postavljanja pitanja. Zamislite ovu treću fazu kao izvršnog asistenta kojem ste predali kontrolu nad svojim e-poštom, kalendarom i troškovima. Znaju koje sastanke prihvatiti ili odbiti, koje e-poruke ignorisati ili istaći radi vaše trenutne pažnje. Kada idete na putovanje, oni završavaju vaš izveštaj o troškovima bez pitanja.
Ova evolucija je uzbudljiva i obećava da će naš život učiniti mnogo lakšim - eliminisanjem dosadnih zadataka i pomažući nam da postanemo produktivniji. Ali svako ko je ikada imao pomoćnika zna da odnos funkcioniše samo ako postoji poverenje. Veliki pomoćnik vas poznaje jednako dobro kao i vi sami i pomaže vam da razmišljate korak unapred, ali predavanje pristupa i odgovornosti može biti neprijatno dok se ne razvije poverenje.
Šta može poći po zlu?
Nedavna anketa MITRE-Harris Poll o trendovima u vezi sa veštačkom inteligencijom otkrila je iste nesigurnosti i pokazala da je poverenje javnosti u AI prilično nisko. Poverenje u AI tehnologije smanjilo se na 39% u julu 2023. godine, u poređenju sa 48% samo osam meseci ranije. I Bentley-Gallup Business in Society Study otkrio je da samo 21% ljudi veruje preduzećima "nešto" ili "mnogo" da koriste AI odgovorno.
Kako autonomni agenti postaju sve više korišćeni, realnost je da će se mnogi rizici povećati na najmanje četiri načina:
1. Interakcija i amplifikacija:
LAM-ovi stapaju više modela zajedno, svaki sa svojim potencijalnim pristrasnostima, toksičnošću i/ili greškama. Kada se modeli povežu, ovi štetni efekti mogu se seći i međusobno pojačavati na nepredvidive načine, a takođe mogu potencijalno uvesti beskrajne interakcije (npr. promptovanje u petlji), sa svim troškovima i zloupotrebama koje dolaze s tim.
2. Nedostatak čoveka u petlji:
Mnoge strategije umanjenja rizika od AI oslanjaju se na čoveka, obično stručnjaka, u petlji da uoči probleme (npr. primetiti netačne odgovore ili toksične reakcije). Uklanjanjem čoveka iz petlje, autonomni agenti nemaju nikoga ko bi uhvatio njihove greške - što može dovesti do potencijalnih problema poput curenja podataka ili uključivanja suptilnih i implicitnih pristrasnosti.
3. Slab kvalitet podataka:
Mnoge kompanije imaju nisku ili varijabilnu spremnost podataka. Na primer, možda su neki vaši kontakti sa klijentima ili podaci o prodaji potpuni, dok su drugi potpuno zastareli. Kada se modeli oslanjaju na podatke loše kvalitete, dobijate netačne rezultate od jednostavnih stvari poput pogrešnog određivanja statusa preferiranog statusa klijenta kada žele ponovo da rezervišu avionsku kartu, do ozbiljnijih grešaka kao što je korišćenje pogrešnog broja socijalnog osiguranja pri apliciranju za državne beneficije. Autonomni agenti zahtevaju još pouzdanije podatke da bi efikasno radili s obzirom na nedostatak prilike za značajan ljudski pregled.
4. Prostorne praznine odgovornosti:
Na koga bismo trebali svaliti krivicu kada autonomni agent preduzme problematične akcije? Bez čoveka u petlji, nema nikoga ko bi bio odgovoran. U ovom pravcu se nedavno postigao pozitivan pomak - uključujući Izvršni nalog Bele kuće o veštačkoj inteligenciji - ali regulatori treba da ostvare više nadzora i kontrole autonomnih sistema.
Mere predostrožnosti za pouzdane autonomne agente
Potrebni su snažni okviri i zaštitne barijere kako bi se umanjili ovi rizici i osiguralo da su autonomni agenti pouzdani. Pored smernica za odgovornu upotrebu generativne veštačke inteligencije koje smo razvili ranije ove godine, takođe smo naveli još šest dodatnih mera predostrožnosti koje kompanije i pojedinci treba da preduzmu kako bi stvorili pouzdano autonomno iskustvo.
1. Prilagodljivost slučaju upotrebe:
Kompanije bi trebalo da zadrže čoveka u petlji za svaki slučaj upotrebe sa značajnim posledicama i identifikuju slučajeve u kojima je AI previše rizičan da bi se koristio. U Salesforce-u smo identifikovali niz ograničenja za korisnike naše AI kako bismo osigurali da se ne koristi na načine koji nisu bezbedni. Važno je utvrditi koje dodatne mere opreza su potrebne (u ovom slučaju, rigorozna verifikacija identiteta sa pratećim zaštitama privatnosti) kada nema čoveka u petlji.
2. Upozorenja:
Administratori AI sistema trebaju biti obavešteni kada stvari krenu nizbrdo (npr. primećeno je povećanje napada na prompt injection). Ovi administratori će trebati da imaju analize da bi razumeli uzrok problema i mogli doneti odluke o tome šta treba učiniti - kao što su onemogućavanje pomoćnika ili zahtevanje ljudskog pregleda dok se problem ne reši.
3. Automatske kočnice:
"Hitne kočnice" trebalo bi ugraditi kada se otkrije vrlo visok rizik. U slučaju velikog broja ubrizgavanja, sistem bi mogao automatski blokirati dalju aktivnost od tog korisnika ili IP adrese - ili povući agenta iz upotrebe i usmeriti saobraćaj ka ljudima dok administrator efikasno ne interveniše.
4. Testiranje
Kompanije treba da budu u mogućnosti da testiraju svoje AI sisteme na neprijateljski način, posebno autonomne agente, i njihove strategije ublažavanja štete u velikoj meri (na primer, Konstitutivni AI proces). Kreiranje hackatona na nivou celokupne kompanije, posvećenih timova za pronalaženje grešaka (red timova) i spoljašnjih programa nagrađivanja za pronalaženje bagova, svi su dobro poznati metodi, ali ih treba kontinuirano primenjivati. Ovi autonomni agenti nisu situacija "postavi i zaboravi".
Seamful AI
Greške u AI sistemima su neizbežne, stoga je važno istaći "šavove" ili tačke prekida u AI kako biste podigli svest i sposobnost korisnika. Na primer, sistem može prepoznati kada je poverenje AI u izlaz nisko i predati ga čoveku da interveniše.
Robusna ograničenja i dozvole
Kontrole pristupa na nivou korišćenja standard su u svakom poslovnom sistemu, ali je takođe važno ograničiti pristup podacima koje AI agent može koristiti. Zahtevanje od korisnika da se autentifikuju može omogućiti veću sigurnost i pomoći u izbegavanju nenamernog otkrivanja osetljivih podataka izvan kompanije. Takođe treba implementirati ograničenje brzine. Tvrdi limit za koliko se često aplikacija ili sistem koristi pomoći će u zaustavljanju zlonamernih aktera od napada metodom "bruteforce", uz dodatnu korist kontrole troškova povezanih sa korišćenjem LLM ili LAM.
Osiguravanje pouzdanih iskustava s autonomnim agentima
Mi čvrsto verujemo u moć i potencijal AI-a, posebno autonomnih agenata, da transformišu poslovanje i unaprede ljudske sposobnosti. Međutim, moramo prepoznati i pripremiti se za kompromise koji se javljaju kada prenesemo neke od ovih rutinskih ili običnih zadataka autonomnom agentu. Ne želimo da efikasnost i jednostavnost korišćenja dođu na štetu naše sopstvene sposobnosti delovanja, privatnosti ili sigurnosti.
Dobra vest je da, čak i dok se AI asistenti nastavljaju razvijati, možemo preduzeti korake sada kako bismo smanjili rizike i izgradili poverenje. Snažnim smernicama, uputstvima i upravljanjem, možemo zajedno raditi na tome da autonomni agenti ispune svoju ulogu kao snaga za dobro u našim životima.
