Ai2: az LLM-ek nem jó bírái a kutatási ötleteknek

Mi történt?

Az Allen Institute for AI (Ai2) kiadta az Old Ideas, Novel Problems tanulmányt arról, mennyire megbízhatóan ítélik meg az LLM-ek egy kutatási ötlet újszerűségét (Hugging Face / Ai2). A paper mellé benchmark, adatkészlet és kód is jár, illetve egy automatikus pipeline, amellyel új tesztkészletek építhetők.

A háttér: az automatizált tudományos felfedezésben egyre több rendszer generál kutatási ötleteket. Hogy ezek tényleg újak-e, azt jellemzően egy másik LLM dönti el. Az Ai2 ezt nevezi novelty judge-nak, vagyis újszerűség-bírának. Ezeket a bírákat eddig főleg emberi cikkeken validálták, nem azokon az AI-generált ötleteken, amelyeket valójában értékelniük kell.

Hogyan épül fel a benchmark?

• Az alap az ICLR 2026 szakmai bírálatai. Nem az elfogadást vették az újszerűség jelének, hanem kibányászták azokat a részeket, ahol a bírálók kifejezetten az eredetiségről írtak.
• A magas újszerűségű készlet 154 ötlet: elfogadott cikkek a saját terület legjobb 10 százalékából, ahol a bírálók dicsérték az újszerűséget és senki nem vitatta.
• Az alacsony újszerűségű készlet 145 ötlet: elutasított cikkek az alsó 10 százalékból, ahol a bírálók eredetiségi aggályt jeleztek.
• A Human+Generated változatban a 154 emberi ötlet mellé 154, egy egyszerű LLM-generátorral írt ötlet került, keresés és visszacsatolás nélkül.
• Ellenőrzésként egy annotátor 50 esetből 47-ben egyetértett a kinyert bírálói jelzéssel, egy szakértő pedig 30 vizsgált párból mind a 30-ban az emberi ötletet választotta.

Mit találtak?

Hat bírát teszteltek: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 és Claude Opus 4.6. Egyszerre mindig csak egy tényezőt változtattak, például a promptot, a reasoning budgetet, a kapcsolódó cikkek elérését vagy az ötletek formázását.

• A legnagyobb hatása a promptnak volt. A GPT-5.4 a Human+Generated párokon 93,5 százalékos pontosságról 40,9 százalékra esett, vagyis a véletlen szint alá, amikor a prompt nem mondta meg, hogy minden párban pontosan egy újszerű ötlet van. A párok több mint felén megváltoztatta a döntését.
• Csak emberi ötleteken ugyanez a promptváltás nagyjából 7 százalékpontot mozdított, de a Claude Opus 4.6-nál így is 21 pontot.
• Nincs mindenhol jobb prompt: egy instrukció elhagyása egyes bíráknál javított, másoknál rontott.
• Két AI-generátor összevetésekor a promptváltások átlagosan a döntések negyedét vagy harmadát fordították meg.

Forrás: Ai2. 154 pár, mindegyikben egy ICLR-bírálók által újszerűnek dicsért emberi ötlet és egy Claude Sonnet 4.5 által generált ötlet, két különböző prompttal.

Segít több keresés vagy reasoning?

Nem feltétlenül. A GPT-5.6 Sol extra magas reasoning budgettel és élő arXiv-kereséssel 0,78 macro-F1-et ért el, 11 ponttal kevesebbet, mint a Claude Opus 4.6 (0,89), miközben döntésenként nagyjából tízszer annyiba került.

A célzott rendszerek sem lettek jobbak. Egy egyszerű Claude Opus 4.6 prompt alacsony reasoninggel és három hívás többségi szavazásával 0,854 macro-F1-et ért el, összesen 2,59 dollárért. Az Idea Novelty Checker 0,642-t hozott 30,66 dollárért, a Sakana AI Scientist újszerűség-értékelője pedig 0,772-t 82,05 dollárért.

Mit jelent ez a fejlesztőknek?

Aki LLM-as-a-judge megoldással értékel generált tartalmat, annak ez kellemetlen, de hasznos figyelmeztetés: egy bíra, amely emberi szövegen stabilnak tűnik, AI-generált bemeneten egészen máshogy viselkedhet. Az Ai2 javaslata, hogy a bírát azon a fajta bemeneten teszteljük, amit élesben kap, illetve mérjük az érzékenységét több prompton és modellen.

A gyakorlati tanulság egyszerű: drágább pipeline és több compute nem garantál jobb ítéletet. A nyílt adatkészlet és a pipeline alkalmas arra, hogy a saját bíráinkat lefuttassuk rajta, mielőtt döntést bízunk rájuk.