ModellekHír
IBM LLMON: Granite modellek a prompt injection ellen
🇬🇧 Read this article in English →
Az IBM két kísérleti Granite 4.1 modellt adott ki, amelyek egy új jelölőnyelven, az LLMON-on tanultak. A lényeg a parancs és az adat szétválasztása speciális tokenekkel. Az OPI benchmarkon a beágyazott injekciók szinte mind leperegnek, az általános teljesítmény marad.
· 3 perc olvasás

Mi az LLMON?
Az LLMON (LLM Object Notation, kiejtve "lemon") az IBM Granite csapatának LLM-re szabott jelölőnyelve (Hugging Face). A kontextus részeit, vagyis a parancsot, az adatot, a követelményeket és a tool válaszokat, külön címkézett blokkokba teszi. A határolók nem karakterek, hanem a tokenizerben fenntartott speciális tokenek, így szerkezet és tartalom a szókincs külön részét használja.
Minden blokk egyedi azonosítót kap. A turn végén egy exec blokk mondja meg, melyik parancsot kell melyik adaton, milyen követelményekkel kell lefuttatni, illetve hova kerül a válasz. Ami nincs bekötve az exec blokkba, az olvasnivaló, nem utasítás.
Miért nem elég a JSON?
Az IBM érvelése szerint a JSON parsernek készült, nem kauzális nyelvi modellnek. Egy dokumentumban lévő idézőjel és egy mezőt lezáró idézőjel a modellnek ugyanaz a token. Az escape szabályok csak statisztikai minták, a beágyazási mélységet pedig zárójelszámolással kellene követni, ami a transformereknek hosszú szakaszon nehéz. Ez a hiány egyben támadási felület: a prompt injection pont ezt használja ki.
Mit mutatnak a mérések?
Az OPI benchmark 9000 támadása klasszikus NLP feladatok adatába rejti az injekciót. A két LLMON preview modell robusztussága közel 1, vagyis szinte egyik injektált utasítást sem hajtja végre. Az IBM szerint ez 47 százalékponttal jobb a legjobb tesztelt zárt frontier modellnél, a GPT-6-astránál. A legjobb nyílt modellnél 95 ponttal jobb. Hasonló trendet mértek az ASB és a StruQ benchmarkon is.
Az általános képesség közben nem romlik: hét kategória átlagában a 3B LLMON 69,44 pontot ért el az Instruct változat 68,09-ével szemben, a 8B 74,76-ot a 74,90-nel szemben. A matematikában a 8B LLMON gyengébb (79,63 vs. 84,09), a biztonsági kategóriában viszont mindkettő javult.

Forrás: IBM Granite, Hugging Face blog
Hol a határ?
Az IBM maga hangsúlyozza: ez tanult viselkedés, nem kikényszerített garancia. A mért benchmarkok statikus, indirekt injekciókat tesztelnek, a több turnön át adaptívan építkező támadások ellen még dolgoznak. A modellek kísérleti előzetesek, nem éles használatra valók. Agentnél, amely érzékeny rendszerekhez fér hozzá, ez legfeljebb egy réteg lehet a jogosultságkezelés és az izoláció mellett.
Hogyan lehet kipróbálni?
A granite-4.1-3b-LLMON-preview és a granite-4.1-8b-LLMON-preview Hugging Face-en érhető el, saját chat templattel: elég a messages listában megnevezni a turn részeit (instruction, data, requirement), a template elvégzi a többit. A GitHub repóban JSON és LLMON közötti veszteségmentes konverter is van (GitHub), a Mellea könyvtár natívan támogatja. Saját címkekészlethez LoRA adapter tanítható. Az IBM korábbi moduláris Granite megoldásáról: Granite Switch 4.1.1.
Röviden
- Parancs és adat speciális tokenekkel elválasztva, exec blokkal összekötve.
- OPI benchmarkon közel nulla sikeres indirekt injekció, a frontier modelleknél jóval jobb.
- Általános teljesítmény nagyjából az Instruct modellek szintjén.
- Kísérleti, tanult viselkedés: más védelmi rétegeket nem vált ki.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk


