FairStress testuje demografickou spravedlnost modelů AI

V kostce

• FairStress obsahuje 300 scénářů napříč 29 doménami rozhodování.
• Kombinace variant dává více než 13 milionů testovacích případů.
• Průměrný rozdíl v opouštění správné volby činil 9,3 bodu.

Allen Institute představil benchmark FairStress pro měření demografické spravedlnosti velkých jazykových modelů nad rámec konečné volby. Benchmark obsahuje 300 realistických rozhodovacích scénářů se dvěma kandidáty napříč 29 doménami a je dostupný ke stažení. Podle blogu Hugging Face bude součástí otevřeného prostředí Olmo-eval pro spouštění a porovnávání evaluací.

FairStress se zaměřuje na situace s vysokými dopady na příležitosti, zdroje a péči, například na výběr uchazečů o práci, schvalování úvěrů, upřednostňování pacientů nebo přijímání studentů. Standardní testy obvykle zaměňují demografickou identitu kandidátů při jinak stejných kvalifikacích a sledují, zda model vybere stejného kandidáta. FairStress jde dál a zkoumá, jak snadno model své rozhodnutí změní, když je vystaven přesvědčovacímu argumentu.

Tyto přesvědčovací argumenty označuje jako adversariální prefixy. Jde například o odvolání na autoritu, společenský konsenzus, údajné důkazy, právní obavy nebo historické znevýhodnění, typicky ve formulaci, že vedoucí pracovník prověřil podklady a doporučil kandidáta B. Každý prefix má párovou verzi pro druhého kandidáta, takže lze porovnat, zda stejný typ argumentu působí rozdílně podle toho, kterou demografickou skupinu podporuje.

Testovány byly otevřené i špičkové modely včetně rodin Olmo, Llama, Qwen, Gemma a Claude a rodiny GPT, a to i v různých fázích tréninku. Cílem je symetrická spravedlnost, tedy stav, kdy model při podloženém rozhodnutí uplatňuje stejná kritéria a je stejně odolný vůči změně rozhodnutí bez ohledu na to, které skupině změna prospěje. Benchmark podle zdroje nezachycuje všechna pojetí spravedlnosti, například přístup založený na rovnosti výsledků, který by mohl zohlednit historickou diskriminaci.

Scénáře zahrnují mimo jiné nábor, zdravotnictví, úvěrování, vzdělávání, bydlení a trestní spravedlnost. Část má jasně silnějšího kandidáta, jehož profil lépe splňuje stanovená kritéria, část je záměrně nejednoznačná, kdy jsou oba kandidáti silní v obtížně porovnatelných ohledech. Benchmark také mění míru explicitnosti identity od absence informace přes demograficky kódované jméno a nepřímo naznačenou identitu až po explicitní označení.

Kombinace obměn identity a prefixů rozšiřuje 300 scénářů na více než 13 milionů testovacích případů, uvedl blog Hugging Face. Vedle plné verze vznikla sada FairStress-Core s 50 tisíci položkami vybranými pomocí teorie odpovědi na položku v rámci přístupu Fluid Benchmarking. Má zrychlit a zlevnit evaluaci při zachování schopnosti odhalit rozdíly v chování modelů.

V experimentech byla při absenci demografické informace rozdílnost chování malá. Při jasně silnějším kandidátovi modely vybíraly tohoto kandidáta téměř stejně často v obou demografických verzích scénáře a v nejednoznačných případech byly volby zhruba rovnoměrně rozdělené. S explicitnější identitou v zadání se však chování stávalo méně symetrickým.

Zdroj popisuje vzorec jako antistereotypní nadměrnou korekci. Když byl silnější kandidát A kódován jako většinový, například bílý, muž či heterosexuál, prefix ve prospěch slabšího kandidáta B vedl častěji k opuštění správné volby. Při opačném kódování a stejných kvalifikacích byl stejný typ prefixu ve prospěch B méně úspěšný. Průměrný rozdíl v opouštění správných odpovědí napříč 15 modely činil 6,9 procentního bodu při naznačené identitě a 9,3 bodu při explicitním označení.

Na sadě FairStress-Core vybíraly špičkové modely včetně Claude Opus 5 a GPT-5.5 v nejednoznačných případech menšinově kódovaného kandidáta přibližně v 60 až 65 % případů. Přechod k menšinově kódovaným kandidátům pod vlivem párových prefixů byl o 8,8 až 42,4 procentního bodu častější než přechod k většinově kódovaným kandidátům ve 12 bězích modelů a režimů. Autoři rovněž zaznamenali rozdíly ve vysvětleních, v nichž zdůvodnění menšinových voleb častěji obsahovala slova jako odolnost, diverzita a bariéry, zatímco u většinových voleb převažovaly termíny jako důkazy, kritéria a detail.

V kontrolované analýze modelů Gemma-3-12B-it a Qwen2.5-7B-Instruct předpovídaly interní aktivace zvolenou demografickou stranu s přesností kolem 73 %. Textové popisy těchto aktivací dosáhly 57 až 59 % při 50% náhodné hranici a po odstranění jmen kandidátů klesla přesnost predikce na základě aktivací přibližně o 18 procentních bodů. Samotný zdroj upozorňuje, že analýza aktivací je omezena na dva modely a několik demografických kontrastů, a považuje ji za užší než širší behaviorální výsledky.

Článek vychází z oficiálního oznámení Hugging Face.

Zdroje

1. Hugging Facehuggingface.co