Kui AI loeb dokumenti, võib dokument lugeda sind

Kui AI loeb dokumenti, võib dokument lugeda sind: praktilised sammud ja kontrollkohad

AI-süsteem, mis teeb dokumentidest kokkuvõtteid või otsib neist vastuseid, tundub süütu kontoriabiline. Tegelikult saab ta iga loetud faili kaudu uue sisendikanali. Kui samal süsteemil on õigus saata kiri, muuta CRM (kliendihalduse) kirjet või käivitada töövoog, ei ole küsimus enam ainult teksti kvaliteedis. Küsimus on selles, kas sinu tööriist oskab eristada infot käsust.

See ei ole filmilik häkkerijutt. Varjatud või nähtav juhis võib olla e-kirjas, müügipakkumise PDF-is, jagatud dokumendis või veebilehel. Inimene näeb hinnakirja; assistent näeb samal ajal ka käsku teha midagi muud. Seda riski nimetatakse prompt injection (sisendiga peidetud mõjutusjuhis). See ei muuda iga faili ohtlikuks, kuid muudab hooletu automaatika kalliks.

Hea uudis on proosaline: sul ei ole vaja oodata täiuslikku kaitset. Sul on vaja ehitada töövoog nii, et üks kahtlane dokument ei saaks üksi teha kahju. Järgmine kontrollnimekiri sobib väikeettevõttele, turundustiimile ja sisevahendile, kus AI loeb väliseid või töötajate lisatud materjale.

Alusta õigest eeldusest: dokument on andmeallikas, mitte kolleeg

Esimene viga sünnib juba sõnastuses. Tiim ütleb, et assistent loeb kliendi faili ja aitab vastata. Süsteem aga ei tea, kes on kolleeg, klient või pahatahtlik saatja; tema jaoks on see kõik töödeldav tekst. Microsofti värske nullusalduse juhis ütleb väga selgelt, et prompti, dokumendi, otsingutulemuse, tööriista vastuse ja mälukirje suhtes tuleb käituda kui ebausaldusväärse sisendiga. See on mõistlik lähtepunkt ka siis, kui kasutad väikest sisevahendit.

Praktikas tähendab see, et äriline sisu ja tegevusõigus ei tohi kokku sulada. Kui assistent leiab arvelt konto numbri, võib ta selle välja tuua. Kui failis leidub käsk muuta makseandmeid või saata koopia kõrvalisele aadressile, ei tohi see käsk saada automaatset staatust lihtsalt seetõttu, et tekst tuli PDF-ist. Ka OWASP-i LLM (suure keelemudeli) rakenduste riskiloend hoiab prompt injection’i kesksete ohtude hulgas, sest loomulikus keeles olevat sisendit ei saa käsitleda usaldusväärse programmiloogikana.

Ära ürita dokumenti ainult keelatud sõnade järgi puhastada. Varjatud juhis võib kasutada väikest fonti, metaandmeid või täiesti tavalist lauset. Sinu eesmärk on teha isegi edukast mõjutusest väheoluline sündmus. Nii nagu raamatupidaja ei anna igale arvele pangavõtit, ei anna sina igale loetud lõigule automaatset tegevusõigust.

„See fail võib olla kasulik tõendus, kuid ta ei ole tegevusluba.“

Kui kahtled, tee väike rollimäng: anna ühele inimesele dokument ja teisele süsteemi administraatori õigused. Esimene võib väita mida tahes; teine otsustab, mida päriselt teha. AI peab sinu töövoos olema esimese rolli lähedal, mitte saama salaja mõlema rolli õigusi. See eristus teeb ka hilisema veaotsingu lihtsamaks.

Kaardista kolm kohta, kus sisu muutub kahjuks

Vaata oma töövoogu nagu toru, mitte nagu vestlusakent. Esimene koht on sissevõtt: e-post, PDF, veebileht, vormivastus või jagatud kaust. Teine koht on tõlgendus: assistent teeb kokkuvõtte, otsib vastust või valib järgmise sammu. Kolmas koht on väljund: ta pakub teksti, lisab kalendrisündmuse, saadab kirja või muudab süsteemi kirjet. Oht suureneb järsult siis, kui viimane koht saab toimida ilma inimese või õiguste kontrollita.

AWS kirjeldab kaudset mõjutust olukorrana, kus välises sisus olev juhis satub koos tavatekstiga assistendi töötlusse. Selle tulemus võib olla vale vastus, tundlike andmete väljaviimine või tegevus, mida kasutaja ei palunud. Loe nende praktilist selgitust kaudse prompt injection’i kohta kui arhitektuurset hoiatussilti, mitte ühe teenuse reklaami. Sama muster töötab igas süsteemis, kus loetud tekst ja tegevus satuvad samasse otsusesse.

Pane iga kasutusjuhtumi juurde üks lihtne küsimus: mis on halvim realistlik tegevus, mida see tööriist saab ühe vale tõlgenduse järel teha? Kui vastus on saata kliendile pakkumine, muuda tööriist ainult mustandi loojaks. Kui vastus on kustutada või üle kirjutada andmeid, tee tegevus vaikimisi keelatuks. Sinu esimene kaitse ei ole täpsem sõnastus, vaid väiksem löögiraadius.

Siin tasub võtta eeskujuks AI-agendi õiguste tulemüüri põhimõte: juurdepääs olgu võimalikult kitsas ja ajutine. Dokumendi kokkuvõtja ei vaja postkasti saatmisõigust. Arveandmete leidja ei vaja õigust muuta tarnija põhiandmeid. Kui sul on vaja automaatikat, anna talle üks konkreetne toiming, mitte terve konto võimekus.

„Kõige turvalisem automaatika on see, millel pole õigust eksimust ellu viia.“

Kui see kaart on tehtud, ära jäta seda sahtlisse. Uus failiallikas, uus ühendus või uus automaatne tegevus muudab ka ohupilti. Küsi iga muudatuse juures, kas sisend muutus laiemaks või kas väljundi mõju muutus suuremaks. Mõlemal juhul tuleb sama kontroll läbi teha uuesti.

Ehita töövoog kaheks: AI soovitab, inimene või reegel otsustab

Paljud tiimid ostavad endale riski lihtsalt seetõttu, et tahavad ühte sujuvat nuppu. Tegelikult on kaks sammu täiesti piisavad. Esimeses etapis loeb AI sisu ja esitab struktureeritud ettepaneku: kokkuvõte, leitud väljad, ebakindlused ning viide algallikale. Teises etapis kontrollib inimene või kindel programmireegel, kas ettepanek vastab lubatud tegevusele. See aeglustab mõnd tööd sekundite võrra, kuid hoiab ära olukorra, kus üks PDF teeb sinu eest otsuseid.

Struktureeritud väljund (kindlate väljadega tulemus) aitab, sest saad kontrollida, kas vajalikud väljad üldse eksisteerivad. Kuid ära aja vormi segi tõega. Korrektses tabelis võib olla vale konto, vale kontakt või pahatahtlik soovitus. Võrdle iga suure mõjuga välja algdokumendi konkreetse lõiguga ning säilita viide, kust see tuli. Nii näed hiljem, kas viga tuli sisendist, tõlgendusest või otsustusreeglist.

Alusta piiranguga, mida saad homme rakendada: automaatne saatmine välja, mustandi loomine sisse. Seejärel lisa kinnitusekraan, kus näed sihtkohta, muutuvat väärtust ja algallika lõiku. Kui inimene ei saa enne klõpsu aru, mida automaatika teeb, siis ei ole tegemist kontrolliga, vaid lootusega.

„AI võib pakkuda järgmist sammu; mõjuv tegevus algab alles pärast nähtavat kinnitust.“

Kasuta ka lihtsat pidurireeglit: kui assistent ei ole kindel, peab ta küsima, mitte arvama. Ebakindlus ei ole ebaõnnestumine, vaid kasulik signaal. See hoiab ära olukorra, kus mõistliku kõlaga kokkuvõte liigub märkamatult päris tegevuseks. Sina otsustad, millistes juhtudes peab ebakindlus alati inimese lauale jõudma.

See samm ei nõua uut platvormi. Vajad ainult nähtavat piiri soovituse ja tegevuse vahel ning inimest, kes teab, miks ta kinnitab. Kui reegel otsustab automaatselt, kirjuta see reegel samuti selgelt välja.

Tee 30 minuti punase lipu test enne pärisandmeid

Turvatest ei pea algama konsultandiga. Võta üks koopia töövoost ja üks ohutu näidisfail. Lisa sinna selgelt märgitud testlause, mis üritab assistendi ülesannet muuta, näiteks palub see kokkuvõtte asemel teha kõrvalise tegevuse. Eesmärk ei ole süsteemi üle kavaldada, vaid vaadata, kus ta loobub algsest ülesandest ning kas mõni integratsioon reageerib ilma kinnituseta.

Testi vähemalt nelja asja. Esiteks, kas AI nimetab kahtlast juhist sisuks, mitte käsuks. Teiseks, kas ta kuvab algallika viite. Kolmandaks, kas ta saab toimingu ainult ette valmistada. Neljandaks, kas logi ütleb, milline fail, kasutaja ja kinnitaja tegevusega seotud olid. Kui üks vastus on ei, on sul konkreetne parandustöö, mitte abstraktne turvamure.

Ära peida ebaõnnestumist. Kui süsteem järgib testfaili juhist, on see väärtuslik leid: nüüd tead, et kaitse peab tulema õigustest, kinnitustest või sisendi eraldamisest. Microsofti sisendi ja konteksti hügieeni juhend on selles mõttes kasulik raam: kontrolli kõiki kihte, mitte ainult vestluse alguslauset.

Testi tulemuse põhjal ära paranda ainult üht lauset. Vaata, kas probleem tuli sisendi lugemisest, liiga laiadest õigustest või kinnituse puudumisest. Nii väldid kosmeetilist parandust, kus süsteem tunneb ära ühe konkreetse lause, kuid teeb järgmise sõnastuse korral sama vea. Parem on muuta töövoo piiri kui mängida keelatud fraaside kassi-hiirt.

Pane testi kirja ka see, mida süsteem ei tohi teha. See annab hiljem tiimile võrdluse, kui tööriista versioon, ühendused või kasutajad muutuvad. Nii saad avastada regressiooni enne, kui see jõuab päris kliendiandmeteni või päris postkasti.

See samm ei nõua uut platvormi. Vajad ainult nähtavat piiri soovituse ja tegevuse vahel ning inimest, kes teab, miks ta kinnitab. Kui reegel otsustab automaatselt, kirjuta see reegel samuti selgelt välja.

Pane paika minimaalne poliitika, mida tiim päriselt järgib

Kontroll ei pea olema bürokraatia. Üks konkreetne omanik, lihtne kinnitusekraan ja korduv test annavad rohkem kui pikk poliitikadokument. Kui protsess tundub liiga pikk, vähenda automaatika õigusi, mitte nähtavust.

Hea poliitika mahub ühele lehele ja ei sõltu sellest, kas keegi mäletab pikka koolitust. Kirjuta sinna, millistest kohtadest võib AI sisu lugeda, millised andmetüübid on keelatud, millised tegevused nõuavad kinnitust ning kuhu probleemist teatatakse. Lisa omanik: keegi peab kord kuus vaatama, kas tööriist sai uue ühenduse või rohkem õigusi.

Ära kirjuta, et süsteem on turvaline. Kirjuta, mida süsteem ei tohi teha. Näiteks: välisest dokumendist leitud kontakt ei lähe automaatselt saajate nimekirja; failis olev juhis ei muuda süsteemi ülesannet; makseandmeid ei muudeta ilma kahe kontrollita; tööriist ei näe rohkem kaustu kui ülesanne nõuab. Need laused on igavad, kuid igavus ongi siin odav kindlustus.

Kui sinu AI ainult pakub mustandit ning inimene kinnitab mõjuva sammu, on sul juba tugevam lähtepositsioon kui enamikul hoogsat demo-nuppu taga ajavatel tiimidel. Failid jäävad kasulikuks, aga nad ei saa vaikimisi sinu tööriista juhtida. See on praktiline usalduspiir: ära oota, et dokument käitub hästi; ehita süsteem, mis jääb mõistlikuks ka siis, kui dokument ei käitu.

Vaata kord kvartalis üle, kas keegi lisas tööriistale uue saatmisõiguse, kausta või andmeallika. Väikestes tiimides sünnib suurim risk sageli heast tahtest: keegi teeb ühe mugava ühenduse ja eeldab, et vana kontroll jääb automaatselt alles. Kontrolli seda teadlikult.