V kostce:

  • AIUC získala 40 milionů dolarů v sérii A vedené Ribbit Capital.
  • Testovací služba provádí přibližně 5 000 testů a vytváří 100‑stránkovou zprávu.
  • Celkové financování AIUC dosáhlo 55 milionů dolarů.

Startup Artificial Intelligence Underwriting Company (AIUC) založený bývalým zaměstnancem Anthropic Rune Kvistem a bývalým COO organizace METR Rajivem Dattani získal 40 milionů dolarů v sérii A vedené Ribbit Capital a s podílem First Harmonic. Celkové financování dosáhlo 55 milionů dolarů, včetně předchozího 15 milionového seed kola.

AIUC vyvíjí standard AIUC‑1, inspirovaný známým bezpečnostním rámcem SOC 2, a testovací službu, která provádí přibližně 5 000 testů na AI agenty. Výsledkem je přibližně 100‑stránková zpráva, která detailně popisuje, kde agent funguje bezpečně a kde ne. Výstupy jsou následně ověřeny lidmi.

K vytvoření standardu se připojilo asi 250 lídrů v oblasti bezpečnosti a rizik, kteří představují kupující AI agentů. Cílovou skupinou jsou banky, nemocnice, vlády i armáda. Mezi současné zákazníky patří Cursor, Lovable, Harvey a ElevenLabs.

Dattani, který původně pracoval v METR, kde se zabýval podobnými testy, a Kvist, který byl v Anthropic, zdůrazňují, že AIUC nabízí nezávislé posouzení rizik, které v současné době chybí. Anthropicův CEO Dario Amodei rovněž volá po zpomalení vývoje a otestování agentů externími hodnotiteli, přičemž zmínil METR jako možného partnera.

„AI se stává chytřejší a zároveň se stává těžší kontrolovat,“ uvedl Kvist. „Banky, nemocnice a vlády se nevyhýbají nasazení AI kvůli nedostatečné inteligenci, ale kvůli nedostatku záruk, že systém bude bezpečný.“

Co to znamená: Firmy, které nasazují AI agenty, budou muset zohlednit nezávislé audity a certifikace jako klíčový prvek řízení rizik. Implementace AIUC‑1 umožní auditorům objektivně vyhodnotit bezpečnostní profil agentů a přizpůsobit interní politiky podle konkrétních zjištění.

Zdroje: