V kostce:

  • IWF zaznamenala 260násobný nárůst AI-generovaného CSAM v roce 2025 oproti roku 2024.
  • INHOPE hlásí v některých zemích nárůst až o 2000 % od roku 2023.
  • Oxfordská studie z roku 2025 našla téměř 35 000 modelů pro deepfaky, 96 % cílí na ženy.

Umělá inteligence zásadně mění produkci dětského sexuálního zneužívacího materiálu (CSAM) na internetu a otevírá nové formy zneužívání, kterým právní a regulační rámce nestíhají čelit. Podle organizace Internet Watch Foundation (IWF) narostl počet AI generovaných videí s CSAM v roce 2025 více než 260krát oproti roku 2024, přičemž už meziroční nárůst z roku 2023 na 2024 činil 130násobek. Devadesát sedm procent obětí zachycených na tomto materiálu tvoří dívky.

AI generovaný materiál sice podle IWF stále představuje jen zhruba jedno procento veškerého analyzovaného CSAM z roku 2025, jeho růst je ale exponenciální. Podobný trend potvrzuje síť INHOPE, která provozuje horké linky v 52 zemích · někteří její členové zaznamenali od roku 2023 nárůst až o 2000 procent, zejména u počítačem generovaných a stylizovaných snímků.

Tyto statistiky je třeba vnímat v širším kontextu prudkého nárůstu využívání AI k tvorbě sexuálně explicitního obsahu, takzvaných deepfaků. Podle studie Oxfordské univerzity z roku 2025 existuje téměř 35 000 veřejně stažitelných AI modelů určených k tvorbě deepfake snímků identifikovatelných osob, které byly od konce roku 2022 staženy téměř 15 milionůkrát. Devadesát šest procent těchto modelů cílilo na ženy, což podle studie potvrzuje výrazně genderový charakter tohoto typu zneužívání.

Podle IWF pachatelé z velké části využívají modely s otevřeně dostupným zdrojovým kódem, které lze volně stáhnout a upravovat, a následně je doladí tak, aby generovaly materiál zaměřený na konkrétní oběti. IWF identifikovala téměř 202 modelů propojených s dříve identifikovanými oběťmi a zaznamenala také 17 hlášení o AI generovaném CSAM vytvořeném prostřednictvím volně dostupných chatbotů na běžných webových stránkách. V roce 2024 spadalo 40 procent nahlášeného AI generovaného CSAM do nejzávažnější kategorie A, zatímco u veškerého CSAM to bylo 29 procent.

V lednu 2026 se do centra pozornosti dostal systém Grok společnosti X poté, co generoval nahé snímky žen a nezletilých. V květnu 2026 Evropská unie schválila novelu AI Actu, která zakazuje AI systémům generovat takový obsah bez souhlasu dotčené osoby. Podle AlgorithmWatch ale zůstává nejisté, zda novela dokáže trend zvrátit.

Regulační prostředí v Evropě je přitom značně roztříštěné. Rakousko trestá veškeré vyobrazení zneužívání dětí bez ohledu na to, zda je reálné, nebo vygenerované AI. Dánsko navrhlo formu autorského práva k vlastní podobě, které by obětem deepfaků usnadnilo domáhat se odstranění obsahu a odškodnění, zatímco Španělsko navrhlo zpřísnění pravidel pro AI generovaný sexuální obsah. Podle Evropského parlamentu bylo v roce 2023 zaznamenáno přes 36,2 milionu hlášení podezření na online zneužívání dětí, což je historické maximum.

Směrnice EU o zneužívání dětí z roku 2011 se v současnosti reviduje, členské státy se ale rozcházejí v otázce kriminalizace AI generovaného obsahu · zatímco Evropský parlament chce trestat i produkci a držení takového materiálu pro osobní potřebu, pozice Rady EU by ji mohla naopak dekriminalizovat. Německo patří mezi země, které jsou vůči plné kriminalizaci zdrženlivější. V březnu europoslanci odmítli prodloužit dočasné opatření umožňující platformám skenovat soukromé zprávy kvůli vyhledávání CSAM, což vyvolalo obavy u platforem i organizací na ochranu dětí.

Co to znamená: Pro firmy vyvíjející nebo nasazující generativní AI roste tlak na zavedení účinných technických i procesních kontrol proti zneužití modelů k tvorbě nelegálního obsahu, včetně filtrování vstupních promptů a auditovatelnosti dat pro trénink. Rozdílná legislativa napříč EU zároveň znamená, že právní oddělení a týmy odpovědné za soulad s regulací musí sledovat vývoj revidované směrnice o zneužívání dětí i novely AI Actu a připravit se na přísnější požadavky na souhlas při generování obsahu zobrazujícího reálné osoby.

Zdroje: