CUGA porazil Hermes i Deep Agents při stejném modelu

V kostce

• CUGA dosáhl 81 % úloh a 20 z 30 scénářů SGC
• Test běžel na 90 úlohách AppWorld s modelem GLM-5.3-flash
• Hermes dosáhl 30 % úloh a 8 scénářů SGC

IBM Research porovnal tři agentní harnessy se stejným open-weight modelem GLM-5.3-flash na 90 úlohách benchmarku AppWorld a vítězný CUGA dokončil 81 % úloh, zatímco Hermes dosáhl 30 %. Podle zdroje CUGA plně splnil 20 z 30 scénářů, Hermes 8 scénářů a Deep Agents 2 scénáře. Test má ukázat, že o výsledku v podnikové praxi rozhoduje volba harnessu, nikoli jen modelu.

Srovnání zahrnovalo CUGA od IBM, Hermes od společnosti Nous Research a Deep Agents od společnosti LangChain. Každý harness běžel na stejných 90 úlohách ve 30 scénářích s jedním pokusem na úlohu a hodnocení proběhlo v rámci Harbor. AppWorld pokrývá vícekrokové úlohy napříč 9 aplikacemi a 457 API, například e-mail, platby a souborová úložiště, uvedl blog na platformě Hugging Face.

Zdroj zdůrazňuje, že AppWorld používá spotřebitelské aplikace, a jde tedy o zástupný test části schopností potřebných i pro podnikovou automatizaci, jako je přihlašování, čtení dokumentace k API, stránkování výsledků a změna stavu napříč aplikacemi. Nejužitečnějším číslem je podle autorů SGC, tedy počet scénářů, v nichž uspěly všechny tři varianty, protože odměňuje konzistenci, nikoli náhodný úspěch. Zároveň platí tři omezení: jde o vzorek 90 úloh na jednom benchmarku, nastavení jednotlivých harnessů nebyla shodná a běhy nepoužívaly politiky, takže neměří jejich vynucování.

Konfigurace se lišily. CUGA běžel ve vlastní konfiguraci pro AppWorld s instrukcemi, rozkladem úlohy, ověřením před provedením a automatickou reflexí. Hermes běžel ve výchozím nastavení Harbor s nástroji AppWorld přes MCP a Deep Agents s nástroji přes MCP plus vestavěným middlewarem pro výběr nástrojů, shrnování kontextu, seznam úkolů, opakování a limity volání. U Deep Agents autoři doplnili dvě drobné opravy, aby chybně formátované odpovědi modelu neukončovaly běhy.

Každý agent CUGA používá stejný kompaktní cyklus připrav, zavolej model, proveď a opakuj, který škáluje od jednoho agenta s vlastními nástroji po nadřízeného agenta koordinujícího několik agentů lokálně nebo vzdáleně přes A2A. S těmito prvky model dělá méně rozhodnutí a harness zachytí více chyb před jejich promítnutím do výsledku. Autoři zároveň uvádějí, že každý krok řízený harnessem je i místem, kde lze kontrolovat pravidlo.

Pro podnikové nasazení má CUGA přesouvat pravidla ze system promptu do harnessu, protože prompt je podle zdroje pokyn, nikoli vynucení, které může model špatně pochopit nebo které může změnit vložená zpráva. Detaily vrstvy politik popisuje článek ACM CAIS 2026 Governance by Construction for Generalist Agents. Politiky působí ve čtyřech bodech běhu: Intent Guard blokuje rizikový záměr uživatele, Playbook dává standardní postup, Tool Approval pozastaví běh pro schválení člověkem a Tool Guide s ToolGuard tvrdě zkontroluje volání před jeho provedením, zatímco Output Formatter upraví odpověď do schválené šablony.

Rozdíl ukazuje živá ukázka Policy Playground se dvěma agenty, jedním bez politik a druhým s nimi. Na pokyn zaplať vše, co dlužím, agent bez politik zaplatil 90 dolarů včetně zamítnuté pohledávky ve vymáhání, zatímco agent s politikami platbu pozdržel ke schválení a zaplatil jen splatných 10 dolarů. CUGA je podle IBM open-source harness pro automatizaci práce napříč API, aplikacemi a webovými rozhraními pod vynutitelnými pravidly a podporuje open-weight i hostované modely ve vlastním prostředí včetně suverénních cloudů a odpojených prostředí. Tým CUGA přiznává výhodu vlastní konfigurace a vyzval k zaslání lepších konfigurací pro Hermes či Deep Agents s příslibem opakování testu a zveřejnění výsledků.

Článek vychází z oficiálního oznámení Hugging Face.

Zdroje

1. Hugging Facehuggingface.co