Ugrás a tartalomra
Neural Daily

ModellekHír

IBM LLMON: Granite modellek a prompt injection ellen

🇬🇧 Read this article in English →

Az IBM két kísérleti Granite 4.1 modellt adott ki, amelyek egy új jelölőnyelven, az LLMON-on tanultak. A lényeg a parancs és az adat szétválasztása speciális tokenekkel. Az OPI benchmarkon a beágyazott injekciók szinte mind leperegnek, az általános teljesítmény marad.

· 3 perc olvasás

Oszlopdiagram az OPI benchmarkról: a Granite 4.1 3B és 8B LLMON preview modellek robusztussága közel 1, a többi modellé jóval alacsonyabb
Kép: IBM Granite · Képernyőkép · Forrás

Mi az LLMON?

Az LLMON (LLM Object Notation, kiejtve "lemon") az IBM Granite csapatának LLM-re szabott jelölőnyelve (Hugging Face). A kontextus részeit, vagyis a parancsot, az adatot, a követelményeket és a tool válaszokat, külön címkézett blokkokba teszi. A határolók nem karakterek, hanem a tokenizerben fenntartott speciális tokenek, így szerkezet és tartalom a szókincs külön részét használja.

Minden blokk egyedi azonosítót kap. A turn végén egy exec blokk mondja meg, melyik parancsot kell melyik adaton, milyen követelményekkel kell lefuttatni, illetve hova kerül a válasz. Ami nincs bekötve az exec blokkba, az olvasnivaló, nem utasítás.

Miért nem elég a JSON?

Az IBM érvelése szerint a JSON parsernek készült, nem kauzális nyelvi modellnek. Egy dokumentumban lévő idézőjel és egy mezőt lezáró idézőjel a modellnek ugyanaz a token. Az escape szabályok csak statisztikai minták, a beágyazási mélységet pedig zárójelszámolással kellene követni, ami a transformereknek hosszú szakaszon nehéz. Ez a hiány egyben támadási felület: a prompt injection pont ezt használja ki.

Mit mutatnak a mérések?

Az OPI benchmark 9000 támadása klasszikus NLP feladatok adatába rejti az injekciót. A két LLMON preview modell robusztussága közel 1, vagyis szinte egyik injektált utasítást sem hajtja végre. Az IBM szerint ez 47 százalékponttal jobb a legjobb tesztelt zárt frontier modellnél, a GPT-6-astránál. A legjobb nyílt modellnél 95 ponttal jobb. Hasonló trendet mértek az ASB és a StruQ benchmarkon is.

Az általános képesség közben nem romlik: hét kategória átlagában a 3B LLMON 69,44 pontot ért el az Instruct változat 68,09-ével szemben, a 8B 74,76-ot a 74,90-nel szemben. A matematikában a 8B LLMON gyengébb (79,63 vs. 84,09), a biztonsági kategóriában viszont mindkettő javult.

Táblázat: Granite 4.1 Instruct és LLMON preview benchmark eredmények hét kategóriában, 3B és 8B méretben
IBM Granite · Képernyőkép · Forrás

Forrás: IBM Granite, Hugging Face blog

Hol a határ?

Az IBM maga hangsúlyozza: ez tanult viselkedés, nem kikényszerített garancia. A mért benchmarkok statikus, indirekt injekciókat tesztelnek, a több turnön át adaptívan építkező támadások ellen még dolgoznak. A modellek kísérleti előzetesek, nem éles használatra valók. Agentnél, amely érzékeny rendszerekhez fér hozzá, ez legfeljebb egy réteg lehet a jogosultságkezelés és az izoláció mellett.

Hogyan lehet kipróbálni?

A granite-4.1-3b-LLMON-preview és a granite-4.1-8b-LLMON-preview Hugging Face-en érhető el, saját chat templattel: elég a messages listában megnevezni a turn részeit (instruction, data, requirement), a template elvégzi a többit. A GitHub repóban JSON és LLMON közötti veszteségmentes konverter is van (GitHub), a Mellea könyvtár natívan támogatja. Saját címkekészlethez LoRA adapter tanítható. Az IBM korábbi moduláris Granite megoldásáról: Granite Switch 4.1.1.

Röviden

  • Parancs és adat speciális tokenekkel elválasztva, exec blokkal összekötve.
  • OPI benchmarkon közel nulla sikeres indirekt injekció, a frontier modelleknél jóval jobb.
  • Általános teljesítmény nagyjából az Instruct modellek szintjén.
  • Kísérleti, tanult viselkedés: más védelmi rétegeket nem vált ki.

    Írta Mikola Máté Patrik

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek