Co v souboru je a co z něj nepoznáme
Měření z 3. srpna 2026 zveřejňuje 235 způsobilých pozorování politiky robots.txt. Soubor bez specifického pravidla pro sledované AI roboty byl zaznamenán u 197 z 235 (83,8 %). U 23 z 235 (9,8 %) soubor nebyl zaznamenán. Dalších 15 z 235 (6,4 %) patří do sloučené skupiny explicitních pravidel.
První dvě kategorie dohromady představují 220 z 235 (93,6 %). Jejich společnou vlastností je nepřítomnost rozpoznaného specifického pravidla v tomto testu. Nemají společný doložený záměr vlastníka. Výrok, že tito provozovatelé „nerozhodli", by přidal psychologický nebo organizační závěr, který síťová odpověď neobsahuje.
Kdy má pozorování určitý výsledek
Způsobilost znamená, že odpověď bylo možné vyhodnotit pro otázku politiky robota. Chyba, nevyložitelná odpověď nebo ochranná výzva není automaticky souborem bez pravidel. Takové pozorování nepřevádíme na technické mlčení. Přesné malé doplňkové skupiny se ve veřejné příloze nezveřejňují.
Korpus vznikl příležitostným výběrem při práci CIAD. Není reprezentativním přehledem českých firem ani průzkumem správců webů. Základ 235 platí pro zdejší otázku robots.txt; jiná kontrola spojení nebo HTML může mít jinou způsobilou podmnožinu. Její součet proto nezvětšuje počet odpovědí této studie.
Tři zveřejněné skupiny
| Výsledek klasifikace | Počet z 235 | Podíl |
|---|---|---|
| Soubor bez specifického pravidla pro sledované AI roboty | 197/235 | 83,8 % |
| Soubor nebyl zaznamenán | 23/235 | 9,8 % |
| Sloučená skupina explicitních pravidel | 15/235 | 6,4 % |
Poslední řádek zahrnuje rozdílné technické situace. Veřejná příloha slučuje blokaci, povolení, smíšená pravidla a plošný zákaz, protože jejich podrobné rozdělení by odhalovalo malé skupiny. Číslo se proto nesmí číst jako počet blokujících ani jako počet povolujících webů. Podrobnější počet v článku nenahrazujeme odhadem.
Specifické mlčení není absence všech pravidel
Soubor může obsahovat obecné pravidlo pro všechny roboty a přitom nejmenovat konkrétního AI robota. Může také řídit určité cesty místo celého webu. Nepřítomnost specifické položky tedy není sama popisem přístupu ke každé adrese. Výsledky této klasifikace nezaměňujeme za kompletní matici všech robotů a cest.
Standard robots.txt, RFC 9309, popisuje výběr pravidel podle označení robota a vyhodnocení povolených či zakázaných cest. Je to protokol pravidel pro návštěvu obsahu. Soubor není ověřením identity návštěvníka ani technickou ochranou přístupu, která by sama vynucovala chování každého klienta.
Dvě adresy stejného webu také mohou mít při stejné politice různý výsledek: pravidlo pro určitou cestu nemusí odpovídat pravidlu pro jinou. Souhrnný název skupiny tak neobsahuje úplný popis toho, ke kterému dokumentu smí který klient přistoupit. Takový rozklad by vyžadoval konkrétní označení robota, adresu a odpovídající pravidlo. Zdejší tabulka tuto další otázku nerozhoduje a nemůže ji nahradit všeobecným slovem „povoleno".
Pravidlo navíc může pocházet ze šablony, hostingové služby nebo dřívější konfigurace. Tyto možnosti zde nebyly ověřované. Záznam proto neukazuje, kdo položku zvolil, zda její důsledky znal nebo zda ji ponechal vědomě. K takové otázce by bylo potřeba jiné pozorování, například doložené rozhodnutí, nikoli jen další výpočet stejné odpovědi.
Povolená návštěva není doložené použití obsahu
Ani správně vyložené pravidlo neprokazuje, že robot stránku skutečně navštívil, zařadil do indexu nebo použil v odpovědi. Studie nemá návštěvní logy ani kontrolovaný experiment s citacemi. Přístupová politika, strojově čitelný obsah a jeho použití při vyhledávání tak zůstávají oddělené vrstvy důkazu.
Chybějící soubor také nepotvrzuje, že vlastník nemá žádnou zásadu vůči AI službám. Zásada mohla být sdělená jinak, vztahovat se jen k části obsahu nebo chybět v zachyceném okamžiku. Tento rozbor žádnou z možností nevybírá. Popisuje konkrétní technický výsledek a ponechává neznámý záměr neznámým.
Říjnová revize pracovala s uloženým srpnovým měřením. Neproběhla nová návštěva robots.txt a nynější stav není ověřený. Přehled metody a souvisejících technických signálů obsahuje publikovaná studie politik AI robotů. Nový článek přidává užitečné rozlišení významu kategorií, nikoli průzkum rozhodování provozovatelů nebo žebříček jejich AI viditelnosti.
Data a zdroje
JSON s podkladovou agregací a rovnocenný CSV export jsou veřejné pod licencí CC BY 4.0. Neobsahují domény ani identitu měřených subjektů. Každý zveřejněný poměr má vlastní čitatel, způsobilý jmenovatel a časový základ; potlačená buňka se nepovažuje za nulu.
Archivní kopie dat na Zenodu (CC BY 4.0): DOI 10.5281/zenodo.23627371