Ugrás a tartalomra
Neural Daily

ModellekHír

Drex Max v1: nyílt, 27B-s döntési modell, akár Macen is

🇬🇧 Read this article in English →

A Nace.AI nyílt súlyokkal kiadta a Drex Max v1-et, a legerősebb döntési modelljét. A 27 milliárd paraméteres modell nem szöveget generál, hanem egyetlen lépésben valószínűséget ad minden válaszlehetőségre. Kvantált változatban egy 24 GB-os Macen is fut.

Írta: Mikola Máté Patrik · · 2 perc olvasás

Hugging Face model page of nace-ai/drex-max-v1
Kép: Nace.AI · Képernyőkép · Screenshot of the official Hugging Face model page · Forrás

Mi az a döntési modell?

A Drex Max típusos kérdésekre válaszol egy adott kontextus alapján. Megadod az állapotot (szöveg, JSON vagy kép) és a megnevezett kérdéseket, a modell pedig egyetlen forward passban minden opcióra valószínűséget ad, generálás nélkül (Hugging Face). Háromféle kérdés van: választás megnevezett opciók közül, igen/nem, illetve ordinális pontszám. Kérdésenként legfeljebb 255 opció lehet.

Ez agent routingra, ticket-triázsra, illetve guardrail ellenőrzésekre ideális: ahol csak egy döntés kell, egy nagy LLM pedig drága és lassú lenne.

Mi van a motorháztető alatt?

  • Sűrű 27B-s backbone 64 réteggel: 48 Gated DeltaNet lineáris attention réteg, illetve 16 nem kauzális teljes attention réteg.
  • 262 144 tokenes kontextus, alapértelmezetten 16 384.
  • Natív vision tower, a képek minden kérdés számára láthatók.
  • Licenc: Nace.AI Open RAIL-M.

Mennyire jó?

A cég saját Decision Index 0.4 tesztjén 67,52 pontot ért el, az előd Drex v2.0 61,25 pontot. Az Artificial Analysis Decision Indexén 64 ponttal a 18 modell közül a negyedik, egy ponttal a 65 pontos élmezőny mögött, a Claude Haiku 5.5 (Low) 61 pontja előtt.

Artificial Analysis Decision Index chart with Drex Max at 64 points
Nace.AI · Sajtókép · Chart from the official Drex Max v1 model card · Forrás

Forrás: Nace.AI. Az Artificial Analysis Decision Index eredményei a modellkártya szerint.

Hol fut?

NVIDIA GPU-n Pythonnal bf16-ban (kb. 49 GB) vagy 8 biten (kb. 26 GB). Apple Siliconon az affine Q4 változat (14,45 GB) 24 GB memóriától fut Kapitsával vagy MLX-szel, a Q8_0 GGUF 48 GB-ot kér. CPU-n a cég llama.cpp és Ollama forkja viszi, ezek a képeket nem kezelik. A Nace mérése szerint a Q8_0 0,02-n belül egyezik a bf16 valószínűségeivel, a Q4 pedig egyetlen döntést sem fordít meg.

Ha routingot vagy szabályellenőrzést futtatsz felhőben, ez egy jó ok arra, hogy kipróbáld helyben: az adat a gépen marad, a költség pedig fix. A MarkTechPost cikke a Nace szponzorációjával készült, a számok a cégtől származnak.

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek