AI agenti za interne timove: brifing za rukovodioce

SAŽETAK

Agent je sistem zasnovan na jezičkom modelu, povezan sa vašim alatima i podacima, koji može da obavi definisan zadatak uz ograničen nadzor. Nije četbot i nije zaposleni za sve i svašta.
Procesi koji odgovaraju agentima dele četiri svojstva: jasna pravila, kraj koji se može definisati, značajan obim i podnošljivu cenu greške. Većina internih administrativnih procesa u finansijama, operacijama, korisničkoj podršci, ljudskim resursima i pravnim poslovima sadrži kandidate.
Agenti greše, i to samouvereno. Sistem oko agenta — pragovi pouzdanosti, ljudska provera, logovanje, evaluacija na stvarnim slučajevima — mesto je kome pripada inženjerski napor.
Upravljanje nije dokument; to su verzionisanje, revizorski tragovi, kontrola pristupa, evaluacija i imenovani vlasnik. Funkcije usklađenosti prihvataju agente kada to postoji i može da se pokaže.
Trošak rada zavisi od obima zadataka, izbora modela i veličine konteksta, i može se kontrolisati kroz dizajn. Izračunajte ga pre nego što počnete da gradite.
Počnite sa jednim procesom, izmerite ga, širite se na osnovu dokaza. Kompanija koja šest meseci ima tri agenta u produkciji zna više nego što bi joj ijedna strateška prezentacija mogla reći.

1. ŠTA JE AGENT, U PRAKTIČNOM SMISLU

Jezički model sam po sebi ume da čita i piše tekst. Agent je jezički model smešten u petlju: dobije zadatak, odluči šta da radi, koristi alate — pretraži vašu bazu znanja, pročita zapis iz CRM-a, sastavi nacrt dokumenta, pozove API — posmatra rezultat i nastavlja dok zadatak ne bude gotov ili dok mu ne zatreba čovek. Alati su ono što je važno. Agent koji ima pristup vašim politikama, vašim sistemima i vašoj istoriji može da obavi stvaran posao; prozor za ćaskanje bez ičega od toga može samo da priča.

U produkciji je agent, dakle, deo softvera sa svim uobičajenim obavezama — testiranje, puštanje u rad, nadzor, kontrola pristupa — i jednim neobičnim svojstvom: njegovo ponašanje je probabilističko. Neće svaki put uraditi istu stvar i ponekad će pogrešiti tako da greška izgleda kao tačan odgovor. Svaka važna odluka u dizajnu sledi iz tog svojstva.

2. KOJI PROCESI ODGOVARAJU AGENTU

Četiri testa, pošteno primenjena.

Jasna pravila. Zadatak može da se opiše novom zaposlenom tako da ga u većini slučajeva obavi ispravno. Postoje politike, presedani i primeri.

Kraj koji se može definisati. Postoji stanje u kome je zadatak završen — dodeljena klasifikacija, sastavljen nacrt, ažuriran zapis, prosleđen predmet — i ono se može prepoznati.

Značajan obim. Stotine ili hiljade slučajeva mesečno, tako da se inženjerski trošak isplati, a evaluacioni skup bude dovoljno velik da mu se veruje.

Podnošljiva cena greške. Grešku hvata provera ili se jeftino ispravlja. Tamo gde je jedna greška katastrofalna — plaćanje, pravna obaveza, odluka o nečijim pravima — agent može da pripremi i preporuči, ali čovek odlučuje.

Procesi koji prolaze sva četiri testa su česti: trijaža i usmeravanje pristiglih zahteva; prvi nacrti odgovora na rutinsku prepisku sa klijentima i dobavljačima; izvlačenje i provera podataka iz dokumenata; priprema sažetaka i brifinga iz internih izvora; provera podnesaka u odnosu na politike; usaglašavanje zapisa između sistema; priprema rutinskih izveštaja. Procesi koji padaju — otvoreno istraživanje, pregovori bez presedana, sve što ima mali obim ili katastrofalnu cenu greške — bolje je ostaviti ljudima ili konvencionalnom softveru.

3. PROJEKTOVANJE SA GREŠKAMA NA UMU

Agent će grešiti. Pitanje dizajna je šta se tada dešava.

Pouzdanost i pragovi. Sistem procenjuje koliko je siguran u svaki izlaz, a izlazi ispod praga idu čoveku. Pragovi se postavljaju po procesu na osnovu podataka iz evaluacije, a ne nagađaju.

Ljudska provera kao projektovan korak. Za slučajeve koji se proveravaju interfejs je važan: šta je agent pronašao, zašto je došao do zaključka, u šta nije siguran i brz način da se ispravi. Ispravke se ulivaju u evaluacioni skup. Korak provere koji je spor ili neproziran biće preskakan, a bezbednost koju pruža ispariće.

Ograničene radnje. Agentu je dozvoljeno da radi tačno određene stvari — da čita ove sisteme, upisuje u ona polja, šalje nacrte u ovaj red — i ništa drugo. Proširenje njegovih ovlašćenja je odluka koja se donosi na osnovu dokaza, a ne podrazumevano stanje.

Reverzibilnost. Tamo gde agent deluje, radnja može da se poništi, a log pokazuje šta treba poništiti.

Evaluacija na stvarnim slučajevima. Pre lansiranja i neprekidno posle njega, agent se pušta na skup istorijskih slučajeva sa poznatim ishodima. Kvalitet je broj koji se prati. Kada dobavljač modela objavi novu verziju, evaluacija se pokreće pre nego što se ona usvoji.

Preterano poverenje. Agent koji je u pravu u 95% slučajeva navikava ljude da prestanu da proveravaju. Merenje ponašanja pri proveri — da li proveravači zaista proveravaju? — deo je sistema.

4. UPRAVLJANJE KOJE ĆE SLUŽBENIK ZA USKLAĐENOST PRIHVATITI

Upravljanje agentima je uglavnom obično upravljanje softverom, samo eksplicitno zapisano.

Verzionisanje. Svaki prompt, model, konfiguracija alata i dokument sa politikama koje agent koristi imaju verziju, a svaki izlaz beleži koje su ga verzije proizvele.
Revizorski trag. Svaka radnja — šta je pročitano, šta je odlučeno, šta je upisano, ko je proverio — loguje se i čuva u skladu sa vašim pravilima o čuvanju podataka.
Kontrola pristupa. Agent ima sopstveni identitet sa minimumom ovlašćenja koja njegov proces zahteva. Ne može da vidi ono što ne bi mogla da vidi osoba koja je uputila zahtev.
Rukovanje podacima. Kuda podaci idu — u koji model, hostovan gde, pod kojim ugovorom, koliko dugo se čuvaju — dokumentovano je, a izbor se pravi tako da odgovara vašim obavezama, uključujući potpuno privatnu instalaciju gde je to potrebno.
Evidencija evaluacije. Evaluacioni skup, rezultati kroz vreme i važeći pragovi dokumentovani su i dostupni za pregled.
Vlasništvo. Za svakog agenta zadužena je imenovana osoba: za njegov učinak, njegovo proširenje, njegove incidente.
Mapiranje regulative. Tamo gde proces dodiruje lične podatke ili odluke o ljudima, dizajn se mapira na primenljive obaveze — propise o zaštiti podataka i, u Evropskoj uniji, zahteve Akta o veštačkoj inteligenciji (AI Act) za odgovarajuću kategoriju rizika — i ljudski nadzor se projektuje u skladu s tim.

Kada to postoji i može da se pokaže, razgovori o usklađenosti postaju kratki.

5. KOLIKO KOŠTA U RADU

Trošak rada ima tri pokretača.

Obim zadataka. Trošak raste sa brojem zadataka i brojem poziva modela koje svaki od njih zahteva. Agent koji po zadatku prođe kroz petlju mnogo puta košta višestruko više od onog koji završi u nekoliko koraka; projektujte kratke putanje.

Izbor modela. Veliki opšti modeli koštaju više po pozivu od malih specijalizovanih. Većina agenata u produkciji koristi kombinaciju: sposoban model za teške korake, jeftin za rutinske i nikakav model tamo gde je dovoljno pravilo.

Veličina konteksta. Ono što agent pročita pri svakom pozivu — dokumenti, istorija, politike — plaća se pri svakom pozivu. Pretraga koja modelu daje samo ono što je relevantno kontroliše trošak koliko i tačnost.

Izračunajte trošak po zadatku pre nego što počnete da gradite, na osnovu svojih obima i stvarnog obrasca poziva iz prototipa, i uporedite ga sa današnjim troškom tog posla. Ako poređenje nije jasno povoljno, proces je loš kandidat, ma koliko demonstracija bila upečatljiva. Dobavljači menjaju cene; projektujte tako da sloj modela može da se zameni.

6. REDOSLED KORAKA OD NULE DO NEKOLIKO

Prvi mesec — izbor i dizajn. Izaberite jedan proces koji čisto prolazi četiri testa i ima vlasnika koji ga želi. Projektujte proces: ulazi, pravila, kraj, izuzeci, merila. Sastavite evaluacioni skup iz istorije.

Drugi i treći mesec — izgradnja i evaluacija. Izgradite agenta sa njegovim alatima, interfejsom za proveru, logovanjem i evaluacionom infrastrukturom. Pustite ga u shadow režimu na stvarnim slučajevima i uporedite sa onim što su ljudi uradili. Podesite pragove.

Treći ili četvrti mesec — produkcija pod nadzorom. Agent obrađuje stvarne slučajeve; čovek u početku proverava svaki izlaz, a zatim uzorak, kako se dokazi gomilaju. Merite kvalitet, trošak, vreme provere i poverenje vlasnika.

Od četvrtog do šestog meseca — širenje na osnovu dokaza. Proširite ovlašćenja agenta tamo gde to brojke opravdavaju. Započnite drugi proces, uz ponovnu upotrebu upravljanja, alata i onoga što je tim naučio. Drugi ide brže; treći još brže.

Posle šest meseci — imate operativnu sposobnost. Standarde, alate, praksu evaluacije, internog vlasnika koji razume agente i red kandidata za nove procese rangiranih po dokazima. Ta sposobnost vredi više od bilo kog pojedinačnog agenta.

7. ŠTA PITATI DOBAVLJAČA, UKLJUČUJUĆI I NAS

Koje od naših procesa biste odbili da automatizujete, i zašto?
Pokažite mi evaluacioni skup i rezultate. Kolika je trenutna stopa grešaka?
Šta se dešava kada agent pogreši? Pokažite mi interfejs za proveru.
Šta sadrži revizorski log i ko može da ga čita?
Kuda idu naši podaci, pod kojim ugovorom, i mogu li ostati privatni?
Koliko košta po zadatku pri našem obimu, i šta se dešava ako dobavljač modela udvostruči cene?
Ko je vlasnik agenta kada vi odete?

Dobavljač koji na ovo odgovara tečno imao je agente u produkciji. Dobavljač koji vas preusmeri na demonstraciju — nije.

IZVORI

Evropska unija, Uredba (EU) 2024/1689 (Akt o veštačkoj inteligenciji), Službeni list Evropske unije, 12. jul 2024. — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
Uredba (EU) 2016/679 (Opšta uredba o zaštiti podataka) — https://eur-lex.europa.eu/eli/reg/2016/679/oj

O AUTORU

JOVAN SOLDATOVIC — Osnivač i upravljački partner, Tehnologija, arhitektura i poduhvati. Jovan je vodio tehnologiju za proizvode zasnovane na AI u upravljanju imovinom, ESG podacima i podršci odlučivanju o portfoliju, a sisteme zasnovane na agentima koristi u sopstvenom produktnom i inženjerskom radu. Jovan Soldatovic

POVEZANI UVIDI

Gde AI zaista stvara vrednost u srednjoj kompaniji Gde AI zaista stvara vrednost u srednjoj kompaniji
Transformacija je problem operativnog modela, a ne softvera Transformacija je problem operativnog modela, a ne softvera

POKRENITE PROJEKAT

Imate proces na umu?

Primenite četiri testa, pa nam ga opišite. Iskreno ćemo reći da li je dobar prvi kandidat.

Pokrenite projekat