Prompt injection a jailbreaky
Podvržená instrukce schovaná ve vstupu nebo v načteném dokumentu dokáže systém přesvědčit, aby porušil vlastní pravidla.Podvržená instrukce ve vstupu nebo dokumentu dokáže systém přimět porušit vlastní pravidla.
NEZÁVISLÝ AUDIT AI
Hledáme slabé místo dřív, než ho najde někdo jiný.Slabé místo najdeme dřív než někdo jiný.
Prověříme váš AI systém dřív, než dostane citlivá data. Výstupem jsou nálezy a nápravný plán.Prověříme AI systém, než dostane citlivá data. Dodáme nálezy a nápravný plán.
CO PROVĚŘUJEME
Kde AI systém bývá nejzranitelnější.
Testujeme scénáře, které dávají smysl pro váš systém, vaše data a oprávnění.
RAG a práce s kontextem
Odkud systém bere odpovědi, jestli odděluje uživatele od sebe navzájem a jestli si nepůjčuje data, ke kterým nemá mít přístup.Odkud systém bere odpovědi, jestli drží uživatele odděleně a nesahá na data bez oprávnění.
Agentní smyčky a přístupy
Co smí systém udělat bez zeptání: rozsah nástrojů, jejich oprávnění a místo, kde má poslední slovo zůstat na člověku.
Identita a citlivá data
Cesty, kterými by mohla citlivá data uniknout ven, nebo kterými by si někdo mohl vypůjčit identitu vašeho uživatele či firmy.Kudy by mohla uniknout citlivá data a jak by si někdo mohl vypůjčit identitu uživatele či firmy.
OD ROZSAHU K NÁPRAVĚ
Nejdřív vymezíme systém. Pak ho vystavíme tlaku.Systém vymezíme a vystavíme tlaku.
Ke každému riziku dodáme důkaz, opravu a nové ověření, že oprava drží.
Kontext a hranice
Společně určíme, které systémy, scénáře a přístupy u vašeho nasazení dává smysl testovat.
Testování a důkazy
Testy míříme na scénáře z rozsahu a každý nález podložíme důkazem.
Nálezy a náprava
Předáme nálezy seřazené podle závažnosti, s doporučením, co opravit, a ověříme, že oprava zabrala.
Na co se nás před auditem ptáte.
Co je audit AI systému?
+
Nezávislé prověření AI nebo LLM systému dřív, než dostane citlivá data. Může jít o chatbota, asistenta nad firemními dokumenty nebo AI agenta. Zkoušíme podvržené instrukce, únik dat přes kontext, příliš široká oprávnění a zneužití identity. Každý nález doložíme důkazem.
Pro koho je audit AI určený?
+
Pro firmy a instituce, které AI systém nasazují nebo ho chystají pustit k zákazníkům, citlivým datům či dalším interním systémům. Typicky jde o chatbota na webu, interního asistenta nad dokumenty nebo agenta, který smí sám provádět akce.
Musíme mít audit AI kvůli AI Actu?
+
AI Act neukládá firmám obecnou povinnost nechat si auditovat systémy AI. U vysoce rizikových systémů vyžaduje od poskytovatele posouzení shody podle článku 43, systém řízení kvality podle článku 17 a monitorování po uvedení na trh podle článku 72. Požadavky a povinnosti pro vysoce rizikové systémy se po novele nařízením (EU) 2026/1744 použijí od 2. prosince 2027 u systémů podle přílohy III a od 2. srpna 2028 u systémů podle přílohy I. Bezpečnostní audit je dobrovolný krok, který ukáže, jak systém obstojí proti zneužití. Podrobně to rozebírá odpověď Jak má vypadat audit AI systémů podle AI Actu.
Jak audit AI probíhá?
+
Nejdřív společně vymezíme systémy, scénáře a přístupy, které dává smysl testovat. Testy pak míříme na scénáře z rozsahu a každý nález podložíme důkazem. Nakonec předáme nálezy seřazené podle závažnosti s doporučením opravy a ověříme, že oprava zabrala. Jednotlivé kroky popisuje stránka Průběh auditu.
Jak dlouho audit AI trvá?
+
Délka se odvíjí od počtu systémů, scénářů a hloubky testování. Termín výstupu potvrdíme při vymezení rozsahu, ještě než audit začne.
Potřebujete přístup do našich systémů?
+
Záleží na rozsahu. Testy, které jdou do systémů s AI a k datům, začínají až po písemném pověření a domluvě se správcem. Testujeme jen scénáře z dohodnutého rozsahu.
Co jako výstup dostaneme?
+
Nálezy seřazené podle závažnosti, ke každému důkaz a doporučení, co opravit, a nápravný plán. Po opravě ověříme, že oprava drží.
Je audit AI totéž co penetrační test?
+
Ne. Audit AI ověřuje chování AI systému: jak reaguje na podvržené instrukce, s jakými daty pracuje a co smí udělat bez člověka. CIAD penetrační testy neprovádí a rozdíl popisuje stránka Audit, nebo penetrační test.
Kolik audit AI stojí?
+
Cenu sdělujeme na poptávku. Vychází z počtu systémů, scénářů a hloubky testování, které společně vymezíme. Popište systém ve formuláři a ozveme se s návrhem rozsahu.
Řešíte i právní soulad s AI Actem?
+
Audit je technické prověření systému. Nejde o právní stanovisko ani automatické potvrzení souladu. Právní stránku v CIAD hlídá advokát se specializací na právo IT, výklad vaší konkrétní situace ale patří vašemu advokátovi. Kdy potřebujete advokáta a kdy auditora, popisuje stránka Koho oslovit kvůli AI Actu.
POPTÁVKA
Popište systém, který chcete otestovat.Popište systém k otestování.
Ozveme se s návrhem rozsahu a dalším krokem. Mluvíte přímo s institutem.