Mercury 3: 1068 token/s a diffúziós LLM-nél

Mi változott a Mercury 2.5-höz képest?

A Mercury 3 több mint 40-szer nagyobb, mint az első Mercury. Az Inception szerint a intelligencia a standard benchmarkokon a Mercury 1 minihez képest nagyjából háromszorosára nőtt, a sebesség viszont megmaradt. A kontextus 260 ezerről 1 millió tokenre nőtt (Inception).

A listaár millió bemeneti / kimeneti tokenenként 0,20 / 0,70 dollár. Induláskor 50% kedvezménnyel 0,10 / 0,35 dollár. A cache-elt bemenet 90%-kal olcsóbb. Az Inception a GPT-6 Luna és a Claude Haiku 5.5 szintjét vagy fölötte állást állít, 4-8-szoros sebességgel.

Forrás: Inception. A cég saját összehasonlító táblázata a Mercury 3 Medium, a GPT-6 Luna Medium és a Claude Haiku 5.5 Medium között.

Hol használják már?

Korai partnerek hangos és chat ügyfélszolgálatra, valós idejű oktatásra, adatmérnöki feladatokra és webböngésző-agentekre kötötték. A cég saját web-agent harnessében 50 élő Mind2Web navigációs feladaton a Mercury 3 50%-ot teljesített, többet, mint a GPT-6.1 Sol, hasonló lépésszámmal és tokenmennyiséggel.

A TinyFish, a RevisionDojo, az Octen AI és a Lorikeet idézett visszajelzései a késleltetés és a minőség együttes javulását emelik ki. Az Octen Sense API tesztjén a medián generálási idő 0,9 másodperc, a teljes válasz 2,2 másodperc volt.

Mit kell tudni a diffúziós LLM-ről?

A klasszikus nyelvi modellek tokenről tokenre írnak. A diffúziós változat párhuzamosan tölti ki a maszkolt pozíciókat több körben. Ez adja a sebességelőnyt, különösen akkor, ha a reasoning modellek hosszabb válaszokat gondolnak el. A Mercury 3 súlyai nem nyíltak. Az API OpenAI-kompatibilis, 100 millió ingyenes tokennel lehet próbálni.

Praktikus megjegyzés

A számok a gyártótól jönnek. Latency-érzékeny agentnél, hangos alkalmazásnál vagy böngészős automatán érdemes fej-fej melletti A/B-t futtatni a megszokott autoregresszív modellel ugyanazon a harnessen.