Liquid AI představila šest otevřených modelů LFM3 třídy 2B

V kostce

• Šest modelů třídy 2B vychází ze základu LFM3-1.7B-Base
• Textový model má kontext 256 tisíc tokenů
• LFM3-1.7B má překonat LFM2.5-2.6B s o 35 % menším počtem parametrů

Společnost Liquid AI představila novou generaci otevřených modelů s názvem LFM3, která zahrnuje šest modelů třídy 2B pro text, vidění, zvuk, kombinované vstupy a rozhodování. Všechny modely vycházejí ze sdíleného základu s označením LFM3-1.7B-Base a jsou určeny k doladění na vlastních datech na jedné grafické kartě a k nasazení na telefonech, noteboocích i serverech. Textový model se při 4bitové přesnosti vejde přibližně do 1 GB paměti a nabízí kontextové okno 256 tisíc tokenů.

Rodina podle zdroje společnosti Hugging Face zahrnuje textový model s názvem LFM3-1.7B, model s názvem LFM3-VL-2B pro text, obraz a video, model s názvem LFM3-Audio-2B pro text a zvuk, model s názvem LFM3-Omni-2B pro text, obraz, video a zvuk a dva rozhodovací modely s označením d1-2B a d1-omni-2B. Model s názvem LFM3-VL-2B staví na základu LFM3 a obrazovém enkodéru, zvukové modely přidávají zvukový enkodér a dekodér a rozhodovací modely vycházejí z variant pro vidění a kombinované vstupy a vracejí kalibrované odpovědi. Všechny modely běží v knihovně transformers a dodavatel uvádí také podporu dalších běhových prostředí včetně llama.cpp, MLX, vLLM a Ollama.

Základ s názvem LFM3-1.7B-Base má 24 vrstev a využívá takzvanou tri-hybridní architekturu. Tvoří ji 13 řízených krátkých konvolucí, 5 vrstev posuvné okenní pozornosti s oknem 256 tokenů a 6 vrstev globální pozornosti, přičemž velikost konvolučního jádra vzrostla ze 3 v generaci LFM2 na 7. Dalšími změnami jsou řízení na úrovni jednotlivých hlav pozornosti pomocí sigmoidní funkce, částečné rotační poziční embeddingy v globálních vrstvách a normalizace vstupu i výstupu každého bloku. Podle zdroje společnosti Hugging Face byla architektura hledána automatickým prohledáváním se zapojením hardwaru napříč 14 kombinacemi zařízení od telefonů a počítače Raspberry Pi 5 po notebooky, cloudové procesory, grafické karty a jednotku Qualcomm Hexagon NPU.

Základní model byl předtrénován na 22 bilionech tokenů se slovníkem o velikosti 128 tisíc tokenů, stejnou jako u modelu s označením LFM2.5-8B-A1B. Střední fázi tréninku tvořilo závěrečných 3,5 bilionu tokenů s kurátorovanými daty a vyšším podílem agentních stop a volání nástrojů, která zároveň rozšířila kontextové okno na 256 tisíc tokenů. Při dlouhém kontextu má být model na parametr stejně rychlý jako model s označením LFM2-1.2B na krátkých vstupech a při 8 tisících tokenech v kontextu přibližně o 25 procent rychlejší. Dodavatel dále uvádí, že plný kontext 128 tisíc tokenů vyžaduje 1,6 GB vyrovnávací paměti pro klíče a hodnoty, uvedl server Marktechpost.

Největší změnou proti rodině LFM2 má být vyšší schopnost na parametr. Dodavatel tvrdí, že model s názvem LFM3-1.7B překonává model s označením LFM2.5-2.6B s o 35 procent nižším počtem parametrů, přičemž největší zisky hlásí v agentních úlohách. V testu WebArena-Verified uvádí skóre 38,42 proti 3,02 u předchůdce a zároveň uvádí, že překonává i model s názvem Qwen3.5-9B v dlouhých úlohách v prohlížečích a firemních aplikacích. Server Marktechpost k tomu doplňuje, že v interním hodnocení dodavatele dosáhl model v testu BFCL V4 skóre 71,39 a v testu WebArena-Verified skóre 38,42, zatímco slabšími oblastmi zůstávají znalostní testy a agentní programování.

Model s názvem LFM3-VL-2B je prvním modelem pro vidění v této řadě, který přijímá video, a má 1,9 miliardy parametrů proti 3,1 miliardy u modelu s označením LFM2.5-VL-3B. Průměrný výsledek v 62 testech pro vidění podle dodavatele vzrostl z 57,6 na 71,4, což odpovídá úrovni modelu s názvem Gemma 4 12B, více než šestkrát většího modelu. Nový obrazový enkodér s 164 miliony parametrů má potřebovat třikrát méně výpočtů než enkodér s názvem SigLIP2 a 2,2krát méně operací než obrazový enkodér modelu s názvem Qwen3.5-2B při stejné přesnosti. Pro video vkládá každou dvojici vzorkovaných snímků do jednoho časového řezu, čímž zkracuje časovou sekvenci na polovinu.

Model s názvem LFM3-Audio-2B zpracovává text nebo zvuk a odpovídá textem, řečí nebo obojím, přičemž podporuje překlad a rozpoznávání i syntézu řeči v 18 jazycích. Kvalita syntézy měřená metrikou UTMOSv2 stoupla podle dodavatele z 3,22 na 3,83 a přibyla schopnost porozumění zvuku, obecného uvažování nad zvukem a volání nástrojů. Zvukový enkodér je plně kauzální, takže model může zpracovávat vstup už během promluvy, s dobou do prvního tokenu již od 50 milisekund. Tokenizér s názvem LiquidCodec převádí generované tokeny na řeč přibližně 87krát rychleji než v reálném čase na jednom vlákně procesoru Apple M4 Max a podporuje streamované dekódování.

Model s názvem LFM3-Omni-2B spojuje vidění, zvuk a jazyk v jednom modelu a odpovídá textem nebo řečí. V testu Daily-Omni dosáhl podle serveru Marktechpost skóre 70,1 proti 61,3 u modelu s názvem Qwen2.5-Omni-7B. Rozhodovací model s označením d1-2B nahrazuje model s označením d1-3B s přibližně třetinovým snížením počtu parametrů a v testu Decision Bench si polepšil z 83,6 na 85,2. Server Marktechpost zároveň upozorňuje, že bezplatné komerční užití končí na prahu ročních příjmů 10 milionů dolarů podle licence LFM Open License v1.0.

Zdroje

1. Hugging Facehuggingface.co
2. Marktechpostmarktechpost.com