EszközökHír
llama.cpp 1.0: stabil API, szemantikus verziózás
🇬🇧 Read this article in English →
Három és fél év után kiadták a llama.cpp és a ggml 1.0.0-s verzióját. A lényeg nem új funkció, hanem ígéret: mostantól minden API- és ABI-törés major verzióváltással jár, így a ráépülő alkalmazások tervezhetőbben frissíthetnek.
· 2 perc olvasás

Mi változott?
A ggml-org csapata (ma a Hugging Face része) kiadta a libllama és a libggml 1.0.0-s verzióját (Hugging Face). Mostantól mindkét projekt szemantikus verziózást követ:
- MAJOR: törő változás a publikus C API-ban (az include mappában).
- MINOR: visszafelé kompatibilis funkció, backend-frissítés, új modelltámogatás vagy API-bővítés.
- PATCH: hibajavítás API-változás nélkül.
Mit tud ma a llama.cpp?
- Több mint 150 modellarchitektúra-variánst és az összes elterjedt speculative decoding módszert támogatja.
- A ggml backendjei külön dinamikus könyvtárként fordíthatók és futásidőben tölthetők be.
- Hivatalos csatornák: előzetes buildek Linuxra, macOS-re, Windowsra, Androidra és iOS-re, illetve Docker, Debian, Homebrew, conda-forge, MacPorts, Winget és XCFramework.
- A CI-t HF Buckets és HF Jobs skálázza, self-hosted runnereket az NVIDIA, az AMD, a Qualcomm, az Arm, az IBM és az Intel ad.
A csapat azt is leírta, hogy LLM-eket már használ a fejlesztésben, de az architektúra feletti kontroll és a kód megértése marad az elsődleges.
Mit jelent ez a gyakorlatban?
Aki terméket épít a llama.cpp-re, eddig minden frissítésnél kockáztatta, hogy valami csendben eltörik. Az 1.0 után a verziószámból látszik, mikor kell kódot igazítani, így a függőséget nyugodtabban lehet pinelni és frissíteni. A lokális, privát inference egyre több helyen alapkövetelmény, ehhez kellett egy stabil alap.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk


