Ugrás a tartalomra
Neural Daily

EszközökHír

llama.cpp 1.0: stabil API, szemantikus verziózás

🇬🇧 Read this article in English →

Három és fél év után kiadták a llama.cpp és a ggml 1.0.0-s verzióját. A lényeg nem új funkció, hanem ígéret: mostantól minden API- és ABI-törés major verzióváltással jár, így a ráépülő alkalmazások tervezhetőbben frissíthetnek.

· 2 perc olvasás

A llama.cpp v1.0.0 logója és felirata világos háttéren
Kép: ggml-org / Hugging Face · Sajtókép · Forrás

Mi változott?

A ggml-org csapata (ma a Hugging Face része) kiadta a libllama és a libggml 1.0.0-s verzióját (Hugging Face). Mostantól mindkét projekt szemantikus verziózást követ:

  • MAJOR: törő változás a publikus C API-ban (az include mappában).
  • MINOR: visszafelé kompatibilis funkció, backend-frissítés, új modelltámogatás vagy API-bővítés.
  • PATCH: hibajavítás API-változás nélkül.

Mit tud ma a llama.cpp?

  • Több mint 150 modellarchitektúra-variánst és az összes elterjedt speculative decoding módszert támogatja.
  • A ggml backendjei külön dinamikus könyvtárként fordíthatók és futásidőben tölthetők be.
  • Hivatalos csatornák: előzetes buildek Linuxra, macOS-re, Windowsra, Androidra és iOS-re, illetve Docker, Debian, Homebrew, conda-forge, MacPorts, Winget és XCFramework.
  • A CI-t HF Buckets és HF Jobs skálázza, self-hosted runnereket az NVIDIA, az AMD, a Qualcomm, az Arm, az IBM és az Intel ad.

A csapat azt is leírta, hogy LLM-eket már használ a fejlesztésben, de az architektúra feletti kontroll és a kód megértése marad az elsődleges.

Mit jelent ez a gyakorlatban?

Aki terméket épít a llama.cpp-re, eddig minden frissítésnél kockáztatta, hogy valami csendben eltörik. Az 1.0 után a verziószámból látszik, mikor kell kódot igazítani, így a függőséget nyugodtabban lehet pinelni és frissíteni. A lokális, privát inference egyre több helyen alapkövetelmény, ehhez kellett egy stabil alap.

    Írta Mikola Máté Patrik

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek