Dodajanje AI v obstoječi produkt: kje nastanejo skriti stroški

Skriti stroški dodajanja AI-ja praviloma ne nastanejo pri prvem klicu modela, temveč pri pripravi podatkov, evalvaciji odgovorov, obravnavi napak, nadzoru porabe, zakasnitvah, zasebnosti in človeškem pregledu. Prototip lahko hitro pokaže želeno vedenje. Produkcijska funkcija mora isto nalogo opravljati dovolj zanesljivo, opazljivo in varno tudi pri nepopolnih vhodih.

Pred izbiro modela najprej določite nalogo, posledice napačnega odgovora in način preverjanja kakovosti.

Strošek API-ja je odvisen od načina uporabe

Cena modela ni samo tarifa za en zahtevek. Na porabo vplivajo:

• dolžina sistemskih navodil;
• količina uporabniškega vnosa;
• zgodovina pogovora;
• dokumenti, dodani v kontekst;
• dolžina odgovora;
• število ponovnih poskusov;
• izbrani model;
• pogostost uporabe;
• dodatni modeli za razvrščanje, moderiranje ali pretvorbo.

Funkcija, ki ob vsakem vprašanju pošlje celoten dokument in dolgo zgodovino, ima drugačen profil kot kratka klasifikacija.

Pred izvedbo ocenite enoto uporabe: kaj pomeni ena obdelava, kateri koraki se izvedejo in koliko konteksta res potrebujejo. Uvedite omejitve dolžine, smiselno predpomnjenje in spremljanje porabe po funkciji ali organizaciji.

Cene ponudnikov se lahko spreminjajo, zato arhitektura ne sme temeljiti na predpostavki, da bo današnji strošek ostal enak.

Priprava podatkov je ločen sistem

Ko mora AI odgovarjati na podlagi internih dokumentov, preprost »naloži PDF« običajno ni dovolj.

Potrebni so lahko:

• uvoz več formatov;
• ekstrakcija besedila;
• odstranjevanje podvojenih ali neuporabnih delov;
• deljenje dokumenta na smiselne enote;
• shranjevanje metapodatkov;
• iskanje relevantnih odlomkov;
• dovoljenja glede na uporabnika;
• posodabljanje in odstranjevanje starih virov;
• prikaz vira ob odgovoru.

Ta proces pogosto poimenujemo retrieval oziroma pridobivanje relevantnega konteksta. Njegova kakovost je odvisna od podatkovnega modela in pravil dostopa, ne samo od sposobnosti jezikovnega modela.

Če rezultat potrebuje navedke, jih mora sistem povezati z dejanskim virom. Model ne sme sam ustvarjati videza zanesljive reference.

Evalvacija mora obstajati pred optimizacijo

Kakovosti ni mogoče oceniti samo z nekaj prijaznimi primeri.

Pripravite zbirko realističnih scenarijev:

• običajna zahteva;
• nepopoln vhod;
• nasprotujoči si podatki;
• vprašanje brez odgovora v virih;
• poskus dostopa do nedovoljenih informacij;
• nenavadno dolg ali dvoumen vnos;
• zahteva, ki mora biti predana človeku.

Za vsak primer določite sprejemljivo vedenje. Včasih je to pravilen odgovor, drugič zavrnitev, opozorilo ali prošnja za dodatne podatke.

Evalvacije ponovite ob spremembi modela, navodil, podatkovnega vira ali načina iskanja. Brez tega ni jasno, ali je nova različica boljša ali je samo drugačna.

Načrtujte neuspeh in rezervno pot

AI-funkcija lahko odpove zaradi nedosegljivega ponudnika, časovne omejitve, prekoračene kvote, neustreznega odgovora ali manjkajočih podatkov.

Določite:

• koliko časa uporabnik čaka;
• ali je varen ponovni poskus;
• kaj se zgodi ob delnem rezultatu;
• ali obstaja preprostejša rezervna pot;
• kdaj se naloga preda človeku;
• kako se prepreči podvojeno dejanje.

Pri funkciji, ki samo predlaga besedilo, je posledica napake drugačna kot pri funkciji, ki spreminja podatke ali izvaja zunanjo akcijo. Višje kot so posledice, močnejši morajo biti preverjanje, omejitve in potrditev.

Zasebnost in hramba nista naknadni nastavitvi

Pred pošiljanjem podatkov modelu določite:

• katere podatke funkcija res potrebuje;
• ali vsebujejo osebne ali zaupne informacije;
• kateri ponudnik jih obdeluje;
• v kateri regiji se obdelujejo;
• kako dolgo se hranijo;
• kdo vidi vnose, odgovore in dnevnike;
• kako se podatki izbrišejo;
• ali je mogoče občutljive dele odstraniti ali nadomestiti.

Dnevniki pomagajo pri odpravljanju napak, vendar lahko sami postanejo zbirka občutljivih podatkov. Opazljivost mora zato beležiti dovolj za diagnozo, ne samodejno vsega.

Pravne in pogodbene zahteve se razlikujejo glede na podatke, trg in ponudnike ter potrebujejo ustrezno strokovno presojo.

Zakasnitev je del uporabniške izkušnje

AI-odgovor lahko vključuje iskanje, več modelskih klicev in zunanja orodja. Vsak korak doda možnost čakanja ali napake.

Uporabniku pokažite stanje, omogočite preklic, kjer je smiseln, in rezultat posredujte postopoma samo, če to izboljša uporabo. Pri daljših nalogah je lahko primernejša obdelava v ozadju z obvestilom ob zaključku.

Hitrejši model ni vedno boljša izbira, enako kot zmogljivejši model ni vedno potreben. Odločitev naj sledi zahtevani kakovosti, zakasnitvi in stroškovnemu profilu naloge.

Človeški pregled naj bo izrecno zasnovan

»Človek bo preveril« ni dovolj, če vmesnik ne pokaže, kaj je AI predlagal, na katerih virih temelji in kaj se bo zgodilo po potrditvi.

Določite:

• kdo pregleduje;
• katere izhode mora preveriti;
• katere podatke vidi;
• kako popravi rezultat;
• ali je akcija pred potrditvijo reverzibilna;
• kako se popravek uporabi pri prihodnjih evalvacijah.

AI naj bo samostojen samo tam, kjer so posledice in nadzor temu primerni.

V prvi izdaji vključite le AI-potek, ki preverja bistveno predpostavko SaaS MVP-ja. Pri pogovornih sistemih podobna načela veljajo tudi za AI glasovne agente. Za načrt integracij in nadzora je na voljo storitev AI agenti.

← Nazaj na blog