AI modely mohou kryptograficky skrýt schopnosti před auditem

V kostce

• Skryté sítě se spustí jen po tajném spouštěči
• Testovány byly metody fine-tuningu, noisingu a adversariálního tréninku.
• Zástupnou úlohou byla predikce chemických reakcí

Nový výzkum popsal útok, který umožňuje kryptograficky skrýt libovolné schopnosti modelu AI před auditováním schopností. Předpoklad, že skryté schopnosti lze vynutit elicitačními metodami, podle autorů neplatí v adversariálních podmínkách. Skryté obvody zůstávají důkazně obtížně odhalitelné i při plném přístupu k vahám modelu. Podle serveru Schneier on Security jde o rozšíření předchozích prací od skrývání pevných řetězců k libovolným výpočtům.

Autoři konstruovali útoky typu backdoor, které vkládají zašifrované neuronové sítě do vah hostitelského modelu. Tyto sítě se dešifrují a spustí pouze po přijetí tajného spouštěče. K jejich ochraně využívají takzvané digital lockers, tedy digitální zámky. Za kryptografických předpokladů jsou pak vynucení i interpretace těchto skrytých obvodů prokazatelně obtížné.

Koncept byl implementován jako proof-of-concept v prostředí PyTorch. Autoři jej testovali čtyřmi elicitačními postupy, a to dolaďováním, šumováním vah, gradientním vyhledáváním spouštěče a latentním adversariálním tréninkem. Jako zástupnou úlohu pro schopnosti relevantní pro chemické, biologické, radiologické a jaderné hrozby zvolili predikci chemických reakcí v malém měřítku.

Všechny testované metody elicitačního testování vůči této konstrukci selhaly. Výsledky měření spolu s kryptografickými zárukami podle autorů odhalují fundamentální limit auditů založených na vynucování schopností. Výrok o odolnosti a prokazatelnosti přitom zůstává tvrzením autorů výzkumu, nikoli nezávisle ověřeným závěrem. Server Schneier on Security jej přebírá formou shrnutí abstraktu.

Autoři uvolnili vytvořené modely pro další práci na zlepšení obranných mechanismů. Pro auditory to znamená, že negativní výsledek elicitačního testu nemusí vylučovat přítomnost záměrně skryté schopnosti. Otevřenou otázkou zůstává, jak auditní postupy doplnit, pokud protivník může použít kryptografické skrývání.

Zdroje

1. Schneier on Securityschneier.com