AI agent a schvalování akcí: jak kontrolovat e-maily a platby

Asistent, který píše návrhy, má jiná provozní rizika než agent, který je skutečně odesílá. Jakmile připojíte poštu, účetnictví nebo správu uživatelů, posuzujete především pravomoc jednat. Dobře formulovaný výstup není důkazem, že se má akce provést. Schvalování navrhněte ještě před prvním připojením produkčního nástroje.

OWASP doporučuje pro AI agenty minimální oprávnění, kontrolu akcí a lidské posouzení u důležitých rozhodnutí. Specifikace MCP u nástrojů popisuje lidskou kontrolu a možnost volání odmítnout. Konkrétní matici níže navrhuje CIAD jako pracovní vzor. Limity upravte podle dopadu ve vaší firmě, nikoli podle přesvědčivosti odpovědí modelu.

Rozhodovací tabulka pro tři úrovně akcí

Právo navrhnout a právo provést rozdělte technicky. Agent pro přípravu faktur nemusí mít bankovní přístup. Pomocník pro zákaznickou podporu může vytvořit koncept bez práva poslat přílohu. Čím menší počet schopností připojíte, tím menší okruh událostí musí kontrolor posuzovat a tím snazší bude vyšetřit chybu.

Postup, který váže souhlas na konkrétní výsledek

Nejprve uložte akci v podobě, kterou lze jednoznačně posoudit. U e-mailu zahrňte adresy, předmět, tělo i seznam příloh. Schvalovat větu „odpovědět klientovi“ znamená schválit záměr, nikoli finální odeslání. Schvalovatel potřebuje vidět přesně to, co cílová aplikace obdrží.

Po potvrzení nesmí agent potichu vyměnit příjemce nebo přidat přílohu. Pokud se návrh změní, vraťte jej k posouzení. Kontrola má být u vykonávací služby, která porovnává schválený návrh se skutečným požadavkem. Samotná historie chatu není spolehlivou provozní hranicí.

Souhlas omezte na jednu akci nebo jasně ohraničenou dávku. Určete také platnost návrhu a chování při přerušení. Opakování požadavku po síťové chybě nesmí vytvořit dvě objednávky. V případě nejistého výsledku nejprve zjistěte stav v cílové aplikaci, teprve potom rozhodujte o opakování.

Testovací scénář: objednávka s nečekanou změnou

Použijte cvičný obchod, testovací adresy a neprodukční nástroj. Agent připraví objednávku konkrétního materiálu pro interního příjemce. Po schválení testovací vstup změní adresu nebo množství. Očekávaný výsledek je zastavení a nové posouzení, nikoli provedení podle poslední instrukce v dokumentu.

Další zkouška ověří zamítnutí. Odmítnutá akce nesmí čekat v jiné frontě, kde ji později automatický pracovník provede. Třetí zkouška simuluje nedostupného schvalovatele. Bezpečný režim je koncept nebo přerušení, ne automatické potvrzení po uplynutí času. Výsledek každé zkoušky zapište včetně skutečně provedených změn.

Kdy schvalování přestává být užitečné

Pokud člověk dostává desítky stejných potvrzení bez kontextu, začne je odbavovat mechanicky. Snižujte počet upozornění omezením pravomocí a oddělením rutinního čtení od citlivých změn. U riskantních akcí zobrazte důvod, dopad a rozdíl proti schváleným údajům. Schvalovatel má mít možnost návrh upravit nebo celý postup zastavit.

Kontrolu doplňte o ověřování odpovědí AI, pravidla pro AI v zákaznické podpoře a odpovědnost za chybu AI. Jejich společný účel je určit, kdo rozhoduje, jaké podklady vidí a jak se opravuje výsledek.