Společnost Mend.io vydala praktický průvodce Securing AI agents, MCP servers & LLM apps: A practical framework, který míří k mezím mezi rychlým nasazením agentických systémů a tradičními bezpečnostními programy. Průvodce je postaven na třech hlavních krocích · zjistit, co je důležité, rychle to opravit a chránit AI v produkci · a obsahuje sedm opakovaně použitelných artefaktů.
Agentická AI se liší od klasických aplikací tím, že její chování vychází z kombinace modelu, systémového promptu, kontextu, uživatelského vstupu a volaných nástrojů. Díky tomu mohou dvě identická nasazení reagovat odlišně a vznikají nové typy selhání: prompt injection proniká přes data, nadměrně oprávněný agent může jednat bez exploitu, zastaralý model nadále poskytuje predikce po ukončení podpory a otrávený popis nástroje na MCP serveru může přesměrovat chování bez zásahu do kódu. Tyto scénáře se neobjevují v běžných CVE kanálech.
Metodika klade důraz na přístupy „shift‑left“ i „protect‑right“. V první fázi je nutné identifikovat všechny agenty a MCP servery, které často unikají tradičnímu nákupu. Podle Marktechpost existují tři kategorie, které je třeba sledovat: stínové agenty, neregistrované MCP servery a zabudované AI frameworky. Každý MCP server by měl mít definovaného vlastníka, rozsah přístupu a pravidelnou revizi.
Objevování probíhá pěti metodami: skenováním repozitářů na agentické signatury, sledováním síťového odchodu k API endpointům modelů, auditem servisních účtů a API klíčů, lehkou registrací deklarací a kontinuální automatizací, která zabraňuje zastarání informací. Podle Marktechpost rozšiřuje artefakt 2.1 AI‑BOM o devět polí · identitu, závislost na modelu, úroveň autonomy, oprávnění nástrojů, rozsah pověření, dosah dat, MCP endpointy, umístění promptu a poslední revizi.
Dále přináší artefakt 2.2, dvanáctibodový kontrolní seznam zaměřený na zneužitelné konfigurace. Mezi klíčové položky patří omezení pověření na konkrétní zdroje, zákaz sdílených pověření mezi agenty, vyžadování lidského schválení pro nástroje s vysokým dopadem, uložení systémových promptů do verzovacího systému a jejich nedopustnost změn v produkci, autentizaci klientů na MCP serverech, revizi popisů nástrojů z hlediska injekcí a pevné přiřazení verzí modelů s monitorováním konce podpory a zodpovědným vlastníkem.
Po identifikaci a kontrolním seznamu následuje pipeline enrich → prioritize → triage. Prioritizační signály jsou v pořadí: dosah, exploatabilita, obchodní kontext, agentické zesílení a dostupnost opravy. Tento postup pomáhá zaměřit zdroje na nejkritičtější rizika.
Automatizace uzavírání zranitelností řídí artefakt 3.1, který stanovuje dvě pravidla: každé automatické uzavření musí nést důkaz a pokud systém nedokáže vysvětlit, že jde o falešný poplach, přechází se k lidskému rozhodnutí. Chyby jsou pravidelně vzorkovány a při překročení prahových hodnot spouštějí přetrénování modelu.
Runtime ochrana zahrnuje guardrailové mechanismy, zpevnění promptů, vynucování politik a monitorování. Guardrail lze nasadit buď jako Python SDK (online i offline režim) nebo jako samostatný API server v Dockeru, což nevyžaduje úpravy kódu. Minimální nastavení zachytává vstupní prompt injection, požadavky mimo politiku a jailbreaky.
Podobný přístup k runtime kontrole představuje i Varonis Agent IBAC, který porovnává instrukci agenta s jeho úvahou a nástroji a v reálném čase blokuje nebo karanténuje nevyhovující akce. V širším kontextu komunita pracuje na sdílených standardech, např. SAFE guidelines od Open Secure AI Alliance, které podporují výměnu incidentů a společné guardrailové techniky. Tyto iniciativy potvrzují, že zabezpečení agentických AI se stává samostatnou disciplínou nad rámec tradičního skenování zranitelností.
Co to znamená: Metodika Mend.io poskytuje firmám strukturovaný nástroj pro mapování, hodnocení a mitigaci rizik spojených s AI agenty a LLM aplikacemi. Implementace artefaktů, kontrolního seznamu a runtime guardrailů umožňuje auditovat celý životní cyklus agenta, od vývoje po provoz, a tím snížit pravděpodobnost neúmyslných úniků dat nebo škodlivých akcí v produkčním prostředí.
Zdroje: