AI demod säravad, töökindlus logiseb
- Video-keelemudelid võivad suure sündmuste hulga juures anda ladusa, kuid sisuliselt vale kokkuvõtte.
- Pika töövooga AI-agent vajab esimese põhjusliku vea jälitamist, mitte ainult lõpptulemuse hindamist.
- Finantsis ja füüsilistes katsetes paraneb agent siis, kui tagasiside mõõdab päris tulemust, mitte ilusat skoori.
AI-uudiste kõige valjem osa on tavaliselt uus mudelinimi, suurem kontekstiaken või tegevjuhi lubadus, et seekord on masin peaaegu kolleeg. Viimase 24 tunni huvitavam signaal tuli aga mujalt: viis värsket uurimust küsivad, kas mudel oskab päriselt jälgida sündmusi, kasutada visuaalset tõendit, leida pika töövoo esimese vea, õppida finantsülesannetest ja juhtida füüsilist katset.
Vastus ei ole katastroofiline, kuid see on ebamugav. AI suudab teha palju, ent ilus lõpptulemus võib varjata valesti loetud videot, kasutamata jäetud pilti või skoori, mis tõuseb ilma päris tulemuse paranemiseta. Kui sina valid ettevõttele AI-tööriista, on see olulisem teadmine kui järjekordne edetabelikoht.
Tänane päevadigest põhineb viiel 6. augustil arXivi AI-kategoorias avaldatud uurimusel. Need on värsked käsikirjad, mitte jumalikud kivitahvlid: osa võib olla eelretsenseerimata ning tulemusi tuleb oma kasutusjuhus kontrollida. Ühine järeldus on siiski selge — tööriista kasutamine, õige vastus ja päris töökindlus ei ole üks ja sama asi.
Video-AI kaotab sündmuste järje
Video-keelemudel (mudel, mis tõlgendab videot ja teksti) võib vaadata klippi ning vastata, mitu korda pall vastu seina põrkas või mitu korda valgus vilkus. See kõlab lihtsa ülesandena. Just seepärast on värske uuring The Low Frequency Trap kasulik: autorid eemaldasid pärisvideo segaduse ja ehitasid 2190 kontrollitud videot, kus sündmuste arv, sagedus ja kestus olid täpselt teada.
Tulemus lõhub mugava oletuse, et rohkem videokaadreid parandab automaatselt mõistmist. Gemini 3.6 Flash suutis püsivaid olekumuutusi teatavates tingimustes usaldusväärselt lugeda kuni 12 sündmuseni. Ajutiste vilkumiste puhul ei leidnud uurijad aga 80-protsendilise töökindluse tasemel ühtegi usaldusväärset positiivse loenduse piirkonda. Kõrge sündmuste arvu ja sageduse kombinatsioonis oli õige ainult 0,2% lõppvastustest ning mudel taastas 18,1% tegelikest sündmustest.
Veel kavalam probleem: suurem kaadrisagedus tõstis põrkava palli ülesandes lõpptulemuse täpsuse 19,6 protsendilt 29,3 protsendile, kuid mudeli kirjeldatud sündmuste jada kattus tegeliku jadaga ainult 3,7% juhtudest. Teisisõnu võib tabelis olev number paraneda, kuigi mudel ei ole video sisust õigesti aru saanud. See on sama trikk nagu õpilane, kes saab valikvastuse õigeks vale arvutuskäiguga.
Eesti ettevõtte jaoks puudutab see turvavideot, kvaliteedikontrolli, spordianalüüsi ja kõiki töövooge, kus AI peab tuvastama järjestikuseid sündmusi. Ära testi ainult kümmet mugavat klippi. Koosta kontrollvalim, kus sündmuste sagedus, pikkus ja hulk muutuvad, ning võrdle lisaks lõppvastusele ka ajatempleid. Kui vale loendus võib käivitada väljamakse, hoiatuse või töötaja hindamise, peab inimene piiripealsed juhtumid üle vaatama.
Pika agenditöö veaotsing vajab ajalugu
AI-agent (tööriistu kasutav automaatne töövoog) võib täita kümneid samme: lugeda faili, otsida andmeid, muuta tabelit, saata päringu ja kontrollida tulemust. Kui viimane samm ebaõnnestub, on ahvatlev süüdistada viimast veateadet. Tegelik põhjus võis tekkida kakskümmend sammu varem, kui agent tõlgendas juhist valesti või valis vale tööriista.
TrajDebugi uurimus käsitleb just seda probleemi. Autorid eristavad lokaalset viga kriitilisest veast: iga aps ei põhjusta lõplikku läbikukkumist ning osa eksimusi parandatakse töö käigus. Raamistik tihendab pika ajaloo eri detailsusastmetele, kogub konkreetse sammu kohta tõendeid ning jälgib, kas vea mõju lahendati või kandus lõpptulemuseni.
Uuringu juurde loodi TrajErrBench, milles on 486 käsitsi märgendatud ebaõnnestunud trajektoori Tau2Benchi ja SWE-Bench Pro tööriistakasutuse ning programmeerimise ülesannetest. See number ei muuda süsteemi automaatselt universaalseks, kuid näitab, et hinnati päris pika ahelaga ebaõnnestumisi, mitte ainult ühe vastuse headust. Autorite katsetes ületas TrajDebug võrreldud lähtejooni ning diagnoosid andsid kasutatavat tagasisidet agentide parandamiseks.
Sinu praktiline kontrollküsimus on lihtne: kas töövoost jääb alles piisavalt tõendit, et taastada esimene vale otsus? Kui logis on ainult algne käsk ja lõppvastus, ei saa hiljem eristada halba mudelit, puuduvat õigust, aegunud faili ega vigast välisteenust. Salvesta iga tööriistakutse eesmärk, sisend, väljund, veakood ja see, millise tingimuse põhjal agent jätkas.
See ei tähenda lõputut logiprügi. Kõrge riskiga sammud vajavad täielikumat jälge, madala riskiga lugemistoimingud võivad saada lühema kokkuvõtte. Oluline on siduda logi otsusega. Kui agent saadab arve, muudab kliendiandmeid või avaldab sisu, peab näha olema viimane kontrollpunkt ja kinnitaja. Nii muutub veaotsing loteriist protsessiks.
Pilditööriist võib olla tühi žest
Multimodaalne mudel (teksti ja pilti koos töötlev mudel) võib pilti kärpida, suurendada ja vaadata uuesti. Demol mõjub see nutikalt: mudel justkui uurib tõendit nagu detektiiv. Värske visuaalse tööriistakasutuse põhjuslik audit küsib karmima küsimuse: kas tööriista tagastatud pilt muutis vastust või tegi mudel lihtsalt rituaalse lisasammu?
Autorid testisid kuut mudelit viiel peent visuaalset taju nõudval võrdlustestil. Nad rikkusid kontrollitult tööriista tagastatud vaatlusi ja asendasid üksikuid pilte, et mõõta visuaalse tõendi tegelikku mõju. Ilmnes kaks tüüpilist läbikukkumist. Esimeses kutsub mudel tööriista, kuid saadud vaatlus ei mõjuta vastust. Teises on vaatlus kasulik, ent mudel ei oska otsustada, millal ja millises järjekorras seda kasutada.
See on oluline dokumenditöötluses, kahjustuste hindamises, tootefotode kontrollis ja meditsiinipildi abisüsteemides. Tööriistakutse olemasolu ei ole kvaliteeditõend. Kui mudel suurendab arve alumist nurka, kuid vastab ikkagi enne suurendamist tekkinud oletuse põhjal, maksad rohkemate tokenite (mudeli tööd mõõtvad tekstiosad) ja pikema viiteaja eest ilma parema tulemuseta.
Testi visuaalset agenti vastandkatsega. Anna talle sama ülesanne õige suurenduse, eksitava suurenduse ja ilma suurenduseta. Kui vastus ei muutu isegi siis, kui oluline tõend eemaldatakse, ei kasuta süsteem pilti nii, nagu kasutajaliides lubab. Selline test on ebamugav, kuid odavam kui avastada pärast sajandat dokumenti, et näiline kontroll oli dekoratsioon.
Finantsagent õpib ainult heast tagasisidest
Enamik võrdlusteste käsitleb iga ülesannet eraldi. Päris töös peaks agent aga eelmisest juhtumist õppima, ilma et ta võtaks kaasa kliendiandmeid, vale erandit või juhuslikku nippi. FinEvo-Bench proovib mõõta just sellist pikaajalist paranemist 120 pärisjuhtumitel põhineva ülesande, 20 äristsenaariumi ja kuue finantsvaldkonna kaudu.
Uuringus võrreldi nelja iseenesest areneva agendi raamistikku sama Qwen3.7-Max mudeliga. Evolutsiooniline tingimus tõstis tulemusi 9,33 kuni 19,37 punkti ning vähendas vastavusprobleeme 0,12 kuni 0,44 võrra ülesande kohta. Letta saavutas kõrgeima lõpptulemuse 91,65 ja kõige vähem vastavusvigu, samas kui Codexi raamistik näitas suurimat paranemist, 19,37 punkti. Need on uuringu konkreetse seadistuse tulemused, mitte lubadus sinu raamatupidamisele.
Kõige praktilisem tähelepanek puudutab tagasiside vormi. Oskustepõhine õppimine andis parema kvaliteedi ja vähem vastavusprobleeme kui ainult mälule toetuv või mälu ja oskusi segav lähenemine. Rubriigi ehk selgete hindamiskriteeriumide tagasiside töötas paremini kui valmis näidisvastuse näitamine. See on loogiline: hea töötaja ei õpi üksnes eilset vastust pähe, vaid saab aru kontrollreeglist.
Kui ehitad Eestis finants- või haldusagenti, ära lase tal lihtsalt kõiki varasemaid vestlusi mällu koguda. Muuda korduv õppetund versioonitud oskuseks: millised väljad tuleb kontrollida, millal küsida kinnitust ja millal töö peatada. Privaatsuse ning õiguste piiridest saad praktilise raami Tehisaruka juhendist AI-agendi õiguste tulemüüri kohta. Kliendiandmed ei ole õppematerjal lihtsalt seetõttu, et need on süsteemile nähtavad.
Laboris peab skoor kohtuma füüsikaga
Kõige kõnekam tänane uurimus viib agendi jututoast päris laborisse. OPERA raamistik kirjeldab autonoomseid optikakatseid, kus agent valib mõõtmise, juhtimise või rekonstrueerimise toiminguid. Autorid ei usaldanud ainult sisemist skoori, vaid sidusid tegevused füüsikaliselt tõlgendatava jääkveaga (mõõdetud kõrvalekalle soovitud olekust).
Kolmes optikaülesandes kasvas pelga skooritagasiside korral näit 23,6–39,0% otsustest ilma füüsilise tulemuse paranemiseta. Operaatori ja jääkvea põhise tagasiside puhul juhtus seda 0,9–1,9% otsustest. Autorid kandsid digitaalses kaksikus valitud protokollid üle kolmele füüsilisele optikaseadmele ning näitasid struktureeritud valguse rekonstrueerimisel väiksemat projektsioonide eelarvet.
Siin on tänase uudisvoo kõige tähtsam metafoor. Kui juhtpaneel näitab rohelist, aga päris masin ei tee paremat tööd, on sul ilus armatuurlaud, mitte intelligentne süsteem. Sama kehtib klienditeeninduses, turunduses ja tarkvaraarenduses. AI enesehinnang, automaatne kvaliteediskoor või ladus seletus peab lõpuks kohtuma välise mõõduga: kas viga vähenes, tellimus sai õigesti täidetud või inimene jõudis kontrollitava tulemuseni.
Väikeettevõte ei vaja selleks optikalaborit. Vali igale agendile üks päris tulemuse mõõdik ja üks ohutusmõõdik. Näiteks kliendikirjade puhul võivad need olla õigesti lahendatud juhtumite osakaal ja valele inimesele saadetud vastuste arv. Koodimuudatuste puhul testi läbimine ja turvakontrolli rikkumised. Mõõda neid inimese kinnitatud valimil, mitte agendi enda kokkuvõtte järgi.
Mida sina sellest täna teed
Viis uurimust ei ütle, et peaksid AI-agentidest loobuma. Need ütlevad, et pead ostma vähem teatrit ja rohkem tõendeid. Hea süsteem ei peida viga ühe rohelise protsendi taha, vaid võimaldab sul taastada, mida mudel nägi, millise sammu valis ja kas tulemus paranes pärismaailmas.
- Vali üks praegu kasutatav AI-töövoog ja kirjuta välja selle kriitilised sammud.
- Lisa igale kriitilisele sammule kontrollitav vahetulemus: ajatempel, dokumendiväli, test või füüsiline mõõt.
- Loo kolm rasket katset, kus sündmuste hulk, järjekord või visuaalne tõend muutub.
- Kontrolli, kas tööriista kasutamine muudab vastust põhjuslikult või lisab ainult kulu.
- Muuda korduvad parandused versioonitud oskuseks ning hoia tundlikud juhtumiandmed mälust eraldi.
Eesti seost ei ole vaja välja mõelda: tänastes allikates ei olnud eraldi kohalikku AI-sündmust. Praktiline mõju on siiski väga kohalik. Väike meeskond ei saa lubada endale süsteemi, mille viga selgub alles kliendikaebusest, maksehäirest või valesti avaldatud sisust. Kui soovid enne uue tööriista kasutuselevõttu kontrollnimekirja, kasuta Tehisaruka AI-tööriista kasutuselevõtu kontrolli ning lisa sinna kolm tänast küsimust: kas mudel kasutas tõendit, kas esimene viga on leitav ja kas skoor vastab päris tulemusele.
Hankes tasub küsida tõendeid, mida müügidemol tavaliselt ei näidata. Palu tarnijal näidata ebaõnnestunud katsete jaotust, keeruliste juhtumite käsitlust ning võimalust eksportida sammulogid sinu enda auditiks. Lepi kokku, milline veamäär käivitab inimese kontrolli ja kes vastutab, kui välise mudeli versioon muutub. Kui tarnija vastab ainult üldise täpsusprotsendi või särava juhtumilooga, ei ole sul veel töökindluse tõendit. Sul on turundusmaterjal. Väikeses meeskonnas on eriti oluline määrata enne kasutuselevõttu katkestuslüliti: kes saab agendi peatada, millised pooleliolevad toimingud tühistatakse ja kuidas taastatakse viimane inimese kinnitatud seis. See kontroll ei tee süsteemi aeglaseks; see hoiab ühe vea muutumast kümneks automaatseks veaks.
Järgmine kord, kui demo näitab agenti iseseisvalt videot uurimas, tabelit parandamas või laborit juhtimas, vaata animatsioonist mööda. Küsi logi, vastandkatset ja välist mõõdikut. AI ei vaja sinult rohkem usku. Ta vajab paremat kontrolli.
Sageli küsitud (FAQ)
Kas need uuringud tõestavad, et AI-agendid ei tööta?
Ei. Need näitavad, et edu sõltub ülesandest, mõõdikust ja kontrollist. Agent võib olla kasulik, kuid tema töökindlust tuleb mõõta päris töövoos, mitte ühe õnnestunud demo järgi.
Mida peaks Eesti ettevõte AI-agendi puhul logima?
Logi vähemalt sisend, tööriistakutse, saadud vastus, õiguste kasutamine, inimese kinnitus, veateade ja lõpptulemus. Nii saad eristada esimest põhjuslikku viga hilisematest tagajärgedest.
Kas arXivi uuringut võib võtta lõpliku teadusliku tõena?
Ei. ArXivi käsikirjad võivad olla eelretsenseerimata. Neid tasub kasutada värske signaali ja kontrollitava meetodi kirjeldusena, kuid suuri ostu- või riskijuhtimisotsuseid tuleb toetada sõltumatu katsega.
