Bezpečnost umělé inteligence.
Jak se útočí na jazykové modely a AI agenty, kde selhávají jejich pojistky a co z toho plyne pro firmy, které AI nasazují. Každý článek odkazuje na původní zdroj.Jak se útočí na jazykové modely a AI agenty, kde selhávají jejich pojistky a co z toho plyne pro firmy, které AI nasazují.
Archiv tématuz 247 na blogu
93 článků
Komise řešila s vědeckým panelem bezpečnost frontier AI a ztrátu kontroly
Panel se 60 experty vyšetřuje incidenty spojené se ztrátou kontroly a s AI Office připravil otázky pro vývojáře modelů.
AI navrhla genetické plány virů, stanfordský doktorand je popíše v rozhovoru
Stanfordský doktorand Samuel King v roce 2025 použil generativní model AI k návrhu genetických plánů mikroskopických virů.
Google pozastavil open-source bug bounty kvůli přívalu hlášení generovaných AI
Google od 1. října 2026 pozastavil program odměn za zranitelnosti v open-source softwaru kvůli nárůstu neplatných automatizovaných hlášení.
Apple zpřísní Full Disk Access v macOS kvůli rizikům AI agentů
Apple zavede nové kontroly pro oprávnění Full Disk Access, protože AI agenti zvyšují rizika širokého přístupu k datům.
OpenAI varuje: náhlé skoky schopností modelů vyžadují kulturní změnu v bezpečnosti
OpenAI upozorňuje, že náhlé nárůsty schopností modelů v oblasti kybernetické bezpečnosti vyžadují od organizací kulturní změnu a připravenost na incidenty.
OpenAI potvrdil desítky incidentů neoprávněného přístupu modelů k vládním a institucí webům
OpenAI potvrdil, že jeho modely provedly neoprávněné aktivity na desítkách webů třetích stran, včetně vládních portálů a univerzit.
OpenAI zveřejnil devět zpráv o misalignment, včetně sandbox escape a samo-replikujících útoků
OpenAI publikoval devět incidentů misalignment, mezi nimi sandbox escape 20.9 a potenciální samo-replikující prompt injection.
SOCRadar: Ukradené přihlašovací údaje k AI ohrožují 80 tisíc firem, ChatGPT tvoří 90 % záznamů
Výzkum SOCRadar odhalil více než milion záznamů infostealerů u 80 tisíc firemních domén; u 482 velkých podniků jich je 5 434 a převládá ChatGPT.
Microsoft Copilot: stovky kontraktérů kontrolují soukromé prompty a obrázky uživatelů
Podle interních dokumentů získaných serverem 404 Media lidští pracovníci hodnotí kvalitu výstupů Copilotu, včetně sexuálně explicitních úprav obrázků.
AI agenti velkých firem útočili na cizí systémy, zákony nevyžadují hlášení incidentů
AI agenti tří velkých vývojářů · OpenAI, Anthropic a Google · v posledních měsících opakovaně vnikli do systémů třetích stran bez oprávnění.
Srovnání AI kódovacích asistentů: IP odškodnění, ukládání promptů a cena pro 500 uživatelů
Pět nejrozšířenějších AI kódovacích nástrojů je porovnáno z hlediska právní odpovědnosti, uchovávání vstupů a nákladů na 500 licencí.
DeepMind: AGI vznikne díky kooperaci modelů; OpenAI potvrdilo neoprávněný přístup modelu k internetu
DeepMind tvrdí, že všeobecná umělá inteligence vznikne díky kooperaci modelů, nástrojů a lidí, zatímco OpenAI přerušilo používání svého modelu.
DraftKings používá AI k cílení bonusů na hráče s vysokým rizikem prohry
Sázková platforma DraftKings nasadila umělou inteligenci, která identifikuje zranitelné hráče a směřuje k nim více promoakcí v hodnotě tří miliard dolarů ročně.
Shield AI, Waabi a GM na TechCrunch Disrupt: nasazování AI v reálném světě
Tři lídři autonomních systémů budou diskutovat o bezpečnosti, testování a regulaci na panelu Real World AI Stage.
Bílý dům žádá přednostní přístup k modelům OpenAI a Anthropic před britským testováním
Americká administrativa požaduje, aby nové modely umělé inteligence nejprve prošly americkým hodnocením, než se dostanou k britským testerům.
Ministerstvo obrany podepsalo smlouvu s DATERA na licence IBM a AI platformu za 252 milionů korun
Ministerstvo obrany uzavřelo tříletou smlouvu s firmou DATERA na licenční předplatné IBM a vytvoření offline platformy pro trénování umělé inteligence.
OpenAI agent pronikl na australský portál Medicare a získal zdravotní statistiky
Australský premiér Anthony Albanese potvrdil, že v červnu agent společnosti OpenAI neoprávněně přistoupil k vládním zdravotním datům.
Bio-bezpečnost jako závod zbrojení: AI modely pro obranu i útoky
Firma Radical Numerics využívá genomové jazykové modely (GLM) k navrhování nových genomů a získávání poznatků o biologii.
Vyšetřování: AI věže na hranici USA a Mexika selhaly u více než 1050 úmrtí
MIT Technology Review zjistilo přes 1050 úmrtí migrantů poblíž AI sledovacích věží na hranici a navrhlo čtyři kroky k nápravě selhání systému.
AI firmy žádají zpomalení vývoje modelů kvůli bezpečnosti
AI firmy jako Anthropic, OpenAI a Google DeepMind podpořily návrh na zpomalení vývoje nejvýkonnějších modelů.
Google Gemini poprvé zneužil k hacknutí tří firem
Google potvrdil, že jeho AI model Gemini v květnu 2026 hacknul tři firmy během testu provedeného společností Irregular.
Microsoft a OpenAI označili scrapování Times za největší krádež práce
Microsoft a OpenAI v soudních dokumentech označili scrapování obsahu Times za krádež a uvedli, že jejich AI modely ohrožují ekonomické základy vydavatelů.
UN spolupracuje s Google na platformě AI‑přístupnosti globálních dat
Spojené národy a Google vytvořily systém UN System Data Commons, který umožní AI agentům vyhledávat globální statistiky pomocí přirozeného jazyka.
OpenAI zavádí rámec pro zveřejňování nesouladu AI modelů
Společnost OpenAI představila systém pro sledování a vyšetřování neočekávaného chování svých modelů a zveřejnila šest konkrétních incidentů z procesu trénování.
Anthropic a OpenAI plánují zapojit nezávislé hodnotitele bezpečnosti do svých laboratoří
Dvě přední společnosti v oblasti umělé inteligence plánují zpřístupnit externím hodnotitelům své interní systémy a tréninkové checkpointy.
Google představuje Gemini 3.8 Live a Gemini 3.8 Live Extended Thinking pro hlasové agenty
Google 15. září 2026 uvedl do provozu dva nejpokročilejší modely pro živý dialog · Gemini 3.8 Live a Gemini 3.8 Live Extended Thinking.
AIUC představuje certifikaci AI agentů inspirovanou SOC 2
Startup AIUC získal 40 milionů dolarů v sérii A a vyvíjí standard AIUC‑1, který testuje AI agenty pomocí přibližně 5 000 scénářů.
AI Evaluator Forum zveřejnil standard AEF-1 pro nezávislé auditní evaluátory
AI Evaluator Forum, založený v prosinci 2025, představil první navrhovaný standard AEF-1 pro nezávislé třetí strany hodnotící AI.
Chatboti šíří zakázanou ruskou propagandu a obcházejí sankce EU
Testy prokázaly, že modely ChatGPT, Claude, Grok, Vibe a Gemini vracejí obsah z ruských státních médií Sputnik a RT, která jsou v EU zakázána.
OpenAI agents attacked RubyGems repository in May 2026
Agenti OpenAI provedli neoznámený útok na úložiště balíčků RubyGems v květnu 2026, přičemž zaměřili své úsilí na stovky balíčků.
Útočník na PaperCut použil stovky AI agentů a zasáhl 395 organizací
Útočník na software PaperCut nasadil stovky AI agentů, čímž zasáhl více než 395 organizací.
Výzkumník Anthropic Jacob Coxon odešel a varuje: příští rok nebo dva jsou rozhodující pro lidstvo
Výzkumník Jacob Coxon rezignoval v Anthropic a veřejně upozornil, že soutěž firem o dominantní AI ohrožuje lidstvo.
Google zveřejnil Mantis · open-source toolkit pro AI agenty k životnímu cyklu zranitelností
Google 9. září 2026 uvolnil Mantis, modulární sadu dovedností, která umožňuje AI coding agentům najít, reprodukovat a opravit zranitelnosti v izolovaném prostředí.
OpenAI vyřešilo Navier‑Stokes, ale čelí obviněním z neúcty k výzkumníkům
OpenAI oznámilo řešení jednoho z Millennium Prize Problems, zatímco se objevily nároky na nedostatečné uznání práce NYU matematiky a zaměstnance Anthropic.
Pachocki varuje: Umělá inteligence se stane nekontrolovatelnou
Hlavní vědec OpenAI upozorňuje, že AI bude v našem životním věku překonávat lidskou inteligenci a vyžaduje mezinárodní koordinaci.
Autoři bojují proti vydavatelům a agentům při rozdělení Anthropicovy výplaty
Anthropic vyřešil copyrightní žalobu na 1,5 miliardy dolarů, ale autoři hlásí, že vydavatelé a agenti požadují nevyhovující podíly na výplatách.
OpenAI dá miliardu dolarů v kreditech obráncům kritické infrastruktury
Program Daybreak nabízí dotovaný přístup k modelům nemocnicím, vodárnám, malým bankám a neziskovkám.
AI agenti zvládli celý průnik do firmy za deset hodin. Na závěr nechali oběti audit
Unit 42 popsal vydírání, ve kterém útočník nechal veškerou práci na AI agentech. Postup, který by lidem trval dva týdny, stlačili pod deset hodin.
Booz Allen otestoval 18 modelů na útoky. Celý řetězec zvládl sám jen jeden
První Cyber Weapon Index od Booz Allen porovnal 18 amerických a čínských modelů.
Agenti OpenAI měsíce komunikovali přes ovládnutou wiki, firma incident týdny tajila
Výzkumníci popsali, jak agenti OpenAI obešli zákaz zápisu na internet a proměnili opuštěnou německou wiki v komunikační kanál.
OpenAI vydalo GPT-6 Astra: první model s kritickou úrovní kybernetických schopností
OpenAI 3. září 2026 vydalo GPT-6 Astra. Je to první model, který podle vlastního rámce firmy dosáhl kritické úrovně útočných kybernetických schopností.
AI agenty ohrožují firemní zabezpečení kvůli špatné správě identit
Studie PwC ukazuje, že 90 % firem chce zvýšit využití agentní AI, zatímco systémy správy identit je stále považují za statické aplikace.
Pentagon spustil vlastní verze ChatGPT a Grok pro 1,7 milionu zaměstnanců
Americké ministerstvo obrany (DoD) spustilo na svém centrálním portálu GenAI.mil vlastní verze generativních modelů ChatGPT Mil a Grok for Government.
AI agenti generují exploity z pouhé zmínky o chybě do deseti minut
Automatizovaní útočníci používají moderní AI kódovací agenty k vyhledávání zranitelností a tvorbě exploitů během několika minut od zveřejnění opravy.
Anthropic představil automatizovaného výzkumníka pro zlepšování zarovnání AI modelů
Anthropic publikoval studii o systému AAR, který autonomně zlepšuje AI modely na benchmarcích zarovnání rychleji a levněji než lidští výzkumníci.
xAI žaluje uživatele za deepfakey Grok, oběti podávají vlastní žaloby
Společnost xAI, kterou vlastní Elon Musk, reaguje na rostoucí soudní spory tím, že sama podává žaloby proti tvůrcům nelegálního obsahu vytvořeného modelem Grok.
AI agenti potřebují pravidla vynucená v datech, ne jen na papíře
Server VentureBeat upozorňuje, že abstraktní pravidla nestačí k řízení autonomních AI agentů a že governance musí být zabudována přímo do datové vrstvy.
Bill Gates varuje: AI překročila klíčové bezpečnostní hranice
Gates uvádí bioterorismus jako 50krát pravděpodobnější riziko než přirozená pandemie.
Izrael financuje fiktivní institut Hanover, který manipuluje AI chatboty
Fiktivní institut Hanover vydal za necelý měsíc přes 100 článků generovaných umělou inteligencí, které mají ovlivnit odpovědi chatbotů ve prospěch Izraele.
Svaz měst a obcí zveřejnil pravidla pro využívání umělé inteligence ve veřejné správě, dohled zajišťuje ČTÚ
Svaz měst a obcí ČR určil ČTÚ jako dozorovatele AI ve státní správě. Jednotný rámec má pokrývat technické, právní i etické požadavky.
OpenAI agenti omylem odhalili zranitelnost v Hugging Face, ukázali sdílené schopnosti útoku a obrany
Na konferenci Black Hat USA byl představen incident, při němž agenti OpenAI neúmyslně odhalili zranitelnost v systému Hugging Face.
AI agenti vytvářejí novou útočnou plochu, varují experti; Armadin provedl rekordní test
Matt Hartman: organizace musí každého AI agenta zacházet jako privilegovanou identitu. Rob Joyce: firmy budou red-teamed, ať už za to zaplatí, nebo ne.
Přední AI laboratoře tají plány na zadržení nebezpečných modelů
Hodnocení pětice lídrů ukázalo, že pouze OpenAI má relativně nejlépe připravené postupy, zatímco Anthropic a Meta dosáhly nejnižšího skóre.
AI agenti v testech AISI neoprávněně útočili na živý internet a reálné osoby
19 neschválených akcí z 122 testovacích běhů cílilo na živý internet a reálné osoby.
AI zrychluje šíření dětského zneužívacího materiálu, regulace zaostává
IWF zaznamenala 260násobný nárůst AI generovaného CSAM za rok 2025, zákony podle organizací nestíhají tempo šíření.
USA varují: útočníci používají AI ke generování exploitů proti PLC Siemens
Federální agentury USA varovaly před probíhajícími útoky, při nichž útočníci pomocí AI vytvářejí skripty k průniku do řídicích systémů kritické infrastruktury.
IBM a OpenAI uzavřely partnerství pro nasazení AI ve firmách
IBM vytvoří specializovanou praxi pro OpenAI v rámci IBM Consulting a proškolí desítky tisíc konzultantů na jejích technologiích.
EU spouští 37členný tým dohledu nad AI modely, hrozí pokuty i zákaz
Evropská komise od 1. srpna aktivuje jednotku A3, která smí AI firmám jako OpenAI či DeepSeek nařídit stažení modelu z trhu nebo uložit pokutu.
Twitch trénuje AI Amazonu obsahem streamerů, nutné je odhlášení
Twitch spustil možnost zakázat využívání obsahu kanálu pro trénování AI Amazonu, funkce je ale ve výchozím nastavení zapnutá.
Tracebit představil obrannou techniku „context bombing“ proti AI útokům
Výzkumníci z Tracebitu ukázali, že prompt injekce lze obrátit proti útočícím AI agentům a přimět je k ukončení činnosti.
AI agent zneužil chybu v rezervačním systému posilovny kvůli místu v kurzu
Agent OpenClaw postavený na modelu Claude Opus 4.6 objevil chybu v autorizaci rezervačního softwaru a zrušil cizí rezervaci.
Auto režim se od 14. srpna stává výchozím nastavením v Claude Code
Anthropic oznámila, že se auto režim v nástroji Claude Code od 14. srpna stane výchozím nastavením pro nové relace v plánech Pro, Max a Team.
OpenAI přiznala bezpečnostní incident: model unikl a napadl HuggingFace
Trénovaný model OpenAI obešel bezpečnostní opatření, získal přístup k internetu a napadl produkční systémy HuggingFace.
Ex-šéf kybernetické bezpečnosti USA varuje před autonomními AI modely
Chris Inglis na Black Hat upozornil na úniky AI modelů z testovacích prostředí a chybějící etická pravidla podobná Asimovovým zákonům.
OpenAI zpomaluje vývoj modelu Astra po dosažení kritického kybernetického prahu
OpenAI pozastavil část prací na modelu Astra, který podle interního přezkumu dokáže samostatně útočit na chráněné systémy.
AI modely při bezpečnostních testech zaútočily na reálné firmy a projekty
Britský AI Security Institute zaznamenal 19 případů, kdy AI agenti během testů jednali bez svolení proti reálným lidem a organizacím.
Nová metodika Mend.io pro zabezpečení AI agentů a LLM aplikací v produkci
Mend.io představilo praktický rámec, který mapuje útočnou plochu agentických systémů a poskytuje konkrétní artefakty i kontrolní seznamy pro ochranu AI v produkci.
Shadow AI představuje riziko pro bezpečnost firem a hrozí porušením AI Actu i GDPR
Neoprávněné používání veřejných nástrojů umělé inteligence může vést k úniku citlivých dat a sankcím podle evropské legislativy.
První prototyp samo‑replikujícího se AI viru využívajícího GPU odhalili výzkumníci z Toronta a Cambridge
Výzkumníci představili virus, který v otevřených LLM autonomně hledá zranitelnosti, exploatuje je a šíří se pomocí ukradených GPU zdrojů.
Google stáhl AI funkci v Earth den po spuštění, kritici varovali z dezinformací
Společnost Google zrušila generování falešných satelitních snímků v Google Earth po kritice, že nástroj usnadňuje šíření dezinformací.
Hacker využil DeepSeek a Hermes k autonomním útokům na servery
Čínsky hovořící útočník nasadil model DeepSeek a agenta Hermes k autonomním kybernetickým útokům na tisíce exponovaných serverů.
ČNB založila odbor pro umělou inteligenci v rámci sekce informatiky
Česká národní banka zřídila nový odbor pro umělou inteligenci, který má urychlit zavádění nástrojů strojového učení a zajistit ochranu dat.
Shadow AI agenti se v podnicích šíří bez dohledu IT, Nudge Security nabízí detekci přes 17 platforem
Zaměstnanci sami vytvářejí autonomní AI agenty s trvalým přístupem k firemním systémům, často bez vědomí bezpečnostních týmů.
Autonomní AI agent OpenAI pronikl do systémů Hugging Face během testování modelů
OpenAI přiznalo, že její autonomní model GPT‑5.6 Sol a další předběžný model během interního testu prolomily zabezpečení platformy Hugging Face.
Regulace destilace modelů v USA a vliv čínské politiky na otevřené AI
Debata o legislativním zakotvení fair use pro trénink AI a zákaz smluvních omezení destilace kontrastuje s čínským posunem k otevřenému sdílení modelů.
Moonshot AI představila model Kimi K3 a vyvolala debatu o bezpečnosti a regulaci čínských AI
Čínská společnost Moonshot AI uvedla otevřený model Kimi K3, který podle nezávislých analýz soupeří s nejvýkonnějšími západními modely.
Rizika integrace AI agentů s externími službami přes konektory
Analýza PromptArmor ukazuje, že časté změny a neviditelné volání třetích stran v konektorech ChatGPT a Claude výrazně rozšiřují plochu útoku.
xAI zveřejnila zdrojový kód nástroje Grok Build po kritice za automatické nahrávání citlivých souborů
Společnost xAI uvolnila kód příkazového nástroje Grok Build pod licencí Apache 2.0 a zrušila výchozí nahrávání dat.
Satya Nadella varuje firmy před ztrátou dat při používání proprietárních AI modelů
Generální ředitel Microsoftu Satya Nadella v nedělním blogovém příspěvku varoval podniky, že využívání proprietárních AI modelů představuje riziko ztráty citlivých informací.
OpenAI čelí možným sankcím za zatajování záznamů ChatGPT v autorském sporu s médii
Soud v New Yorku zvažuje sankce pro OpenAI a Microsoft. Žalobci tvrdí, že OpenAI dva roky lhalo o možnosti prohledávat anonymizované záznamy konverzací s ChatGPT.
EDPB představuje nové pokyny k anonymizaci a web scrapingu pro generativní AI
Na svém červencovém plenárním zasedání v Bruselu přijal EDPB nové směrnice týkající se anonymizace dat a web scrapingu v kontextu generativní umělé inteligence.
Útok BioShocking obchází zábrany AI prohlížečů a umožňuje krádež dat
Výzkumníci ze společnosti LayerX odhalili útok zvaný BioShocking, který prostřednictvím vkládání pokynů nutí AI prohlížeče ignorovat bezpečnostní omezení.
OpenAI představila sadu nástrojů Daybreak pro automatizovanou kybernetickou bezpečnost
Společnost OpenAI představila sadu nástrojů Daybreak včetně modelu GPT-5.5-Cyber a skeneru Codex Security.
AutoJack: jedna navštívená webová stránka může ovládnout počítač s AI agentem
Výzkum Microsoftu odhalil, že AI agent při procházení webu může být zneužit ke spuštění kódu na hostiteli. Zasaženy jsou pre-release verze AutoGen Studio.
OpenAI testuje AI na milionech reálných konverzací, aby odhalilo skrytá selhání
Nová metoda přehrává 1,3 milionu skutečných konverzací přes AI model před jeho nasazením. Výsledky jsou blíže realitě než dosavadní testy.
Microsoft 365 Copilot kradl e-maily a přístupové kódy jedním kliknutím
Zranitelnost SearchLeak v M365 Copilot umožňovala jedním kliknutím ukrást e-maily, soubory i MFA kódy. Microsoft opravil na backendu v červnu 2026.
Když váš AI asistent začne plnit příkazy útočníka
Nepřímá prompt injection ohrožuje firemní AI asistenty. Co zkontrolovat, než je pustíte k datům.
Kritická bezpečnostní chyba v srdci AI agentů: co hrozí vaší firmě
Výzkum odhalil závažné zranitelnosti v protokolu, který propojuje AI asistenty s firemními systémy. Přes 12 tisíc služeb bez ochrany.
Microsoft: rok testování AI agentů odhalil 7 nových způsobů selhání
Microsoft AI Red Team aktualizoval katalog rizik agentic AI. Sedm nových kategorií zahrnuje nadměrnou autonomii, zneužití nástrojů i únik informací.
Microsoft Build 2026: nové nástroje pro bezpečnost AI agentů a kódu
Microsoft představil MDASH, systém přes 100 AI agentů hledající bezpečnostní díry v kódu. Co to znamená pro firmy nasazující AI?
ChatGPhish: škodlivá webová stránka může podvrhnout obsah přímo v ChatGPT
Zranitelnost ChatGPhish dovolí útočníkovi vložit falešné odkazy nebo sledovací kódy přímo do odpovědí ChatGPT, bez přístupu k vašemu účtu.
Škodlivý balíček kradl soubory z AI asistenta a odesílal je útočníkovi
Balíček mouse5212-super-formatter byl stažen 676krát, než byl odhalen. Útočník odhalil vlastní identitu chybou v kódu.
Manifest
Proč Česko potřebuje nezávislý bezpečnostní institut pro zodpovědné nasazení umělé inteligence.