Anotátoři a kontrola kvality: co reálně vidí

Odešlete odpovědi palec dolů, protože vám nesedla, nebo si prostě jen běžně chatujete. Málokdo si u toho uvědomí, že konverzace, kterou berete jako soukromý rozhovor se strojem, může skončit na obrazovce cizího člověka, jehož jedinou prací je ji ohodnotit. Anotátor je člověk, kterého si poskytovatel najme přímo nebo přes externí firmu, aby posoudil, jestli je odpověď modelu dobrá, škodlivá nebo v rozporu s pravidly, na vzorku skutečných konverzací z běžného provozu. Podmínky pěti poskytovatelů, které jsme prošli, tuhle praxi otevřeně přiznávají, každý jinými slovy. Anthropic anotátory řadí do stejné věty jako uživatele, jako dva rovnocenné zdroje tréninkových dat:

Data that our users or crowd workers provide, including Inputs and Outputs from our Services (unless users opt out)

Data, která poskytují naši uživatelé nebo externí hodnotitelé, včetně vstupů a výstupů z našich služeb (pokud se uživatelé neodhlásí). Otter jde dál a přímo pojmenovává dodavatele, kteří tuhle práci dělají za peníze: poskytovatele služeb popisování dat, jimž sdílená data slouží k vytvoření trénovacích a hodnoticích souborů.

Co podmínky opravdu říkají

Poskytovatelé zdůrazňují, že většinu zpracování dělají automatické systémy, ale výslovně počítají i s ruční kontrolou „v některých případech”, aniž uvádí klíč výběru (Meta). xAI přiznává, že personál smí obsah kontrolovat i kvůli zlepšování funkcí produktu, tedy běžné kontrole kvality u nerizikového vstupu. Nejdál jde Google: poskytovatelé služeb pomáhají kontrolovat obsah YouTube z hlediska bezpečnosti a Google poslouchá vzorky uloženého zvuku, tam si člověk nahrávku skutečně pustí. Ne každý hodnotitel navíc vidí konverzaci se jménem: Anthropic vstupy a výstupy ze zpětné vazby odosobní od ID, ale jen pro tenhle krok, u bezpečnostních případů si identitu ponechává právo dohledat.

Jak je to závažné

Pro člověka, který si povídá o receptu na oběd, je riziko malé. Jinak to vypadá u tří skupin lidí. Živnostník nebo právník, který do nástroje vloží pasáž ze smlouvy, riskuje, že text uvidí externí hodnotitel, pokud padne do vzorku kontroly kvality, aniž by to předem zjistil. Zaměstnanec, který nahraje přepis porady do nástroje typu Otter, předává informace dodavateli, jehož jméno se v podmínkách neuvádí, a firma o tom typicky neví. A kdokoli, kdo řekne citlivou informaci nahlas hlasovému asistentovi, riskuje, že se stane jedním ze „vzorků” zvuku, které podle Googlu poslechne živý člověk: hlas nese víc než text, emoce, přízvuk i informaci o tom, kdo je s vámi v místnosti.

Bezpečnostní výjimka je navíc formulovaná tak široce, že ji žádné nastavení neobchází: u Anthropicu platí bez ohledu na vypnutí tréninku, u xAI mezi ni patří i zlepšování produktu, u Mety ruční kontrola nemá vypínač.

Jak požádat o vymazání dat

Právo na vymazání dat podle článku 17 nařízení o ochraně osobních údajů platí u všech pěti poskytovatelů. Lhůta na odpověď je podle článku 12 odstavce 3 jeden měsíc s možností prodloužení o další dva.

Konkrétní cesty: Anthropic privacy@anthropic.com nebo dpo@anthropic.com, jednotlivou konverzaci smažete i přímo v účtu (z historie ihned, ze zázemí do 30 dnů). xAI privacy@x.ai, smazání do 30 dnů. Meta nástroj Accounts Center, sekce pro informace a oprávnění. Google přes myaccount.google.com, sekce Data a soukromí. Otter privacy@otter.ai nebo formulář v nastavení účtu.

Co žádost o vymazání dat nevrátí zpět: hodnocení, které anotátor už provedl, a poznatek, který se díky němu dostal do trénovacích dat modelu. Anthropic to přiznává vlastními slovy: práva jsou omezená a postupy pro žádosti k tréninkovému souboru dat jsou složité. Smazaný text zmizí z účtu, ale co z něj model pochytil, se zpětně rozebrat nedá.

Jak se chránit

• Nedávejte palec nahoru ani dolů u odpovědí s citlivým obsahem: u Anthropicu je zpětná vazba jeden z výslovně uvedených způsobů, jak materiál skončí u lidského hodnocení bez ohledu na nastavení tréninku.
• Vypněte trénink na datech v nastavení účtu tam, kde je nabízený. Bezpečnostní výjimku to nezruší, sníží ale počet konverzací vstupujících do zlepšování produktu.
• Citlivé firemní údaje anonymizujte předem: jména nahraďte iniciálami, čísla smluv vynechte, částky zaokrouhlete, a s hlasovým asistentem mluvte o citlivých věcech jen v nutném případě, raději v textu.
• Pro firemní data sáhněte po podnikovém či API účtu, kde ho poskytovatel nabízí: typ smlouvy určuje, kdo obsah smí vidět.

Verdikt

Nejslabším místem je tu jednoznačně přístup lidí k obsahu. Pět poskytovatelů, jedno jádro: člověk se dívá na vaše konverzace mnohem častěji, než napovídá představa „mluvím jen s programem”. Anthropic a Otter to popisují téměř jako samozřejmost, Meta a xAI to zabalují do formulace, která zakrývá víc, než odhaluje. Nejkonkrétnější přiznání patří Googlu: lidé doopravdy poslouchají vzorky vašeho hlasu. Jedinou zárukou napříč poskytovateli je odosobnění dat před tréninkem, a i tu si každý v bezpečnostních případech vyhrazuje právo zrušit.