BioBasicsBench: GPT-6 Astra a nedveslabor-elemzésben

Mit mér a BioBasicsBench?

Az OpenAI 2026. november 6-án mutatta be a BioBasicsBench-et, amelyet a Ligo enzimtervezésre fókuszáló biotech céggel közösen fejlesztett. A benchmark azt méri, mennyire tudnak az AI-agentek nyers kísérleti adatot értelmezni a mindennapi wet-lab munkában: mikor hibás a kontroll, mikor nem támasztja alá a bizonyíték a következtetést.

A labor szerint a meglévő értékelések gyakran a publikációkhoz válogatott ábrákra épülnek. Épp azt a kétértelműséget hagyják ki, amivel a kutató a padnál találkozik. A 100 feladat öt területet fed le: fehérjemódszerek, imaging és citometria, kvantifikáció és assay-k, nukleinsav-módszerek, illetve molekuláris klónozás.

A feladatokat kutatók a saját kísérleteik adataiból írták, szakértői pontozási szempontokkal. Minden tétel átment egy belső Ligo-ellenőrzésen (olyan kutatóval, aki nem írta a feladatot), egy külső, PhD-szintű wet-lab kutató review-ján, majd egy záró belső ellenőrzésen. Az agent strukturált választ ad, a pontokat pedig szempontok szerint osztják, így egy helyes következtetés elválik a részben helyes elemzéstől.

Milyen adatot kap az agent?

A bemenetek megtartják a laborban szokásos formákat. Egy feladat többfélét is tartalmazhat. A kategóriák átfednek, a referenciaanyag (például létraábra vagy plazmidtérkép) kiegészítő.

• Gélek és blotok: 31 feladat (agaróz DNS-gél, SDS-PAGE, Western blot).
• Protokollok, jegyzetek és specifikációk: 27.
• Táblázatok és műszeres exportok: 20, köztük CSV, Excel és nyers flow citometriás FCS fájlok.
• Pad, eszköz és reagens fotók: 18.
• Mikroszkópia: 14, nyers brightfield és fluoreszcens képek, z-stackek, time-lapse.
• Műszerképernyők és grafikonok: 13.
• Szekvenálási fájlok: 12 (FASTQ, FASTA, GenBank térképek).
• Protokollvideók: 7, agarlemezek és telepek: 7, referencialapok: 21.

Hogyan teljesítettek a modellek?

Hét modellt értékeltek: GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol, GPT-6.1 Sol, GPT-6 Luna és GPT-6 Astra. Összesen 37 modell- és reasoning-beállítás készült, feladatonként öt próbával, 18 500 eredménnyel. A jelentett mutató a mean reward: a feladatpontok átlaga, az elérhető kredit százalékában.

Az xhigh fokozaton, amelyet mind a hét modellnél közöltek, a GPT-6 Astra 66,7%-ot ért el (95%-os konfidenciaintervallum 60,3–73,1%), feladatonként átlag 4704 kimeneti tokennel. A GPT-6.1 Sol 62,0%-on állt (55,6–68,4%), a GPT-5.6 Sol 43,8%-on (37,6–50,0%) 9099 tokennel. A GPT-6 Luna 38,3%, a GPT-5.5 35,4%, a GPT-5.4 33,2%, a GPT-5.2 31,2% volt, utóbbi feladatonként 27 620 tokennel.

Az OpenAI szerint az Astra még alacsony reasoning-fokozaton is lényegesen jobb, mint a GPT-5.6 Sol. Ezt részben az erősebb natív multimodális képességeknek tulajdonítják.

Az Astra tudományos értékeléseiről korábban a TheoPhysEval kapcsán írtunk, ahol elméleti fizikai feladatokon nézték: TheoPhysEval: Astra 50-ből 49 fizikai feladatot old meg.

Hol javult az Astra, hol téved még?

Egy példában a GPT-5.6 Sol elhaltnak minősített sejteket egy festék jele alapján. A detektor azonban egy második festék fényét is foghatta, mert az ablakok 525–540 nm között átfedtek, így a fényerő önmagában nem indokolta a következtetést. Az Astra észlelte a kétértelműséget. Jobb kontrollokat kért a jelek szétválasztásához.

Egy DNS-klónozási feladatban a GPT-5.6 Sol azt látta, hogy a negatív kontroll lemezen nincs telep. Erre alapozta a következtetését. Az Astra észrevette, hogy a lemez peremén „LB Kan50” áll, vagyis kanamicin, miközben a kísérlet ampicillint használt. A kontrollt emiatt elvetette.

Egy mikroszkópos sorozaton a sejtek megjelentek és eltűntek. A GPT-5.6 Sol biológiai magyarázatot keresett. Az Astra felismerte, hogy z-stacket lát: ugyanarról a területről, különböző mélységben készült felvételeket.

A magasabb pontszám ettől még nem jelent megbízható laborítéletet. Egy colony PCR leolvasásánál az Astra helyesen két csoportba rendezte a sávokat, de azt feltételezte, hogy a nagyobb PCR-termék a sikeres klónozást jelzi. A 4., 6., 7. és 8. pályát javasolta. A referencia a kontrollok alapján az 5., 9. és 10. pályát választotta.

Egy másik feladatnál azt a szabályt vonta le, hogy a vakuólumok általában sötétebbek a környező sejtél, noha ugyanazon a képen világosabb példák is látszottak. A fókuszváltás megfordíthatja a kontrasztot, ezért a sötétebb példák nem alapoznak meg általános szabályt. Egy telepszámlálásnál kb. 12%-kal feletté értékelt: össze nem választott szomszédos telepeket, kihagyott látható telepeket. Üres agart is telepként jelölt.

Mit jelent ez a gyakorlatban?

A mindennapi wet-lab elemzés (nyers kép, kontroll, „ezt a következtetést nem támasztja alá az adat”) most mérhető cél, nem csak anekdota. Az OpenAI szerint a haladás itt később kevesebb troubleshootingot és több érdemi kísérlettervezést jelenthet. Ugyanezeket a képességeket biosafety és biosecurity szempontból is követni akarják.

Ha ilyen agentet tennél a pad mellé, a benchmark üzenete egyszerű: a modell javul a részleteken, de egy ismerős feltevés vagy egy rosszul olvasott címke még mindig felülírhatja a kontrollt. A 66,7% progresszió, nem engedély a felügyelet nélküli laborítéletre.