OpenAI: erősebb kódolás COBOL-on és Fortranokon

Mi a low-resource nyelv?

A cég olyan nyelveket ért ez alatt, amelyekből kevés kód és dokumentáció áll a modellek rendelkezésére. Ide sorolja a COBOL-t, a Fortant és a Visual Basicet. Ezek a rendszerek mégis kritikus infrastruktúrát futtatnak: a COBOL a banki online rendszerek több mint 40%-át, a személyes bankkártyás fizetések 80%-át és az ATM-tranzakciók 95%-át támogatja, a Fortran pedig időjárás-előrejelzésben és reaktorbiztonsági elemzésben jelenik meg (OpenAI).

MultiLangBench: SQLite 20 nyelven

A MultiLangBench feladata: a modell építsen SQLite-kompatibilis adatbázismotort a megadott nyelven. A közös interfész adatbázisfájl. A jelölt program kap egy kiinduló adatbázist és egy SQL-lekérdezést, majd módosított adatbázist ad vissza. Az ellenőrzés a referencia SQLite-tal történik. A tesztek a SQLite saját suite-jából származnak.

Maximális reasoning effort mellett a GPT-6 Astra átlagosan 87,4%-os tesztsikert ér el a 20 nyelven. A GPT-5.6 Sol ugyanezen a beállításon 26,8%-ot ért el. A COBOL 10,9%-ról 72,1%-ra, az OCaml 25,6%-ról 85,8%-ra, a Fortran 21,4%-ról 83,5%-ra, a Visual Basic 27,5%-ról 89,4%-ra nőtt. Az Astra 19 nyelven 83% felett áll, a COBOL a legnehezebb 72%-kal.

A GPT-6 Luna olcsóbb alternatíva: átlagosan 40,3%, minden nyelven a GPT-5.6 Sol felett, körülbelül 78%-kal alacsonyabb becsült API-költséggel (0,77 dollár minta helyett 3,48). Az értékelés és a tesztsuite a GitHubon jelenik meg (MultiLangBench).

COBOL-migráció byte-pontossággal

A második értékelés COBOL-programokat migrál C++, Java, Kotlin, Python vagy Rust nyelvre. A sikerhez rejtett teszteken byte-pontos kimeneti egyezés kell. A COBOL fixpontos aritmetikája például csak kérésre kerekít. Egy átírás, amely másképp kerekít, hibátlanul futhat, de más pénzügyi eredményt ad.

Alacsony reasoning effort mellett a GPT-6.1 Sol 86,6%-os pontosságot ér el, a GPT-5.6 Sol ugyanitt 5,4%-ot, körülbelül 39%-kal alacsonyabb költségen. Magasabb reasoning effort mellett a pontosság 97,9%-ra nő. Az OpenAI hangsúlyozza: éles migrációnál továbbra is kell szakértői ellenőrzés és üzleti szabályok szerinti teszt.

Mit jelent ez a gyakorlatban?

A ritka nyelvi kódbázisok karbantartása és modernizálása gyakran hiányzó dokumentációval és elment üzleti szabályokkal jár. A modellek itt léptek előre, miközben a költségek is csökkentek. Érdemes a saját COBOL- vagy Fortran-mintaanyagokon kimérni a passzarányt, mielőtt migrációs pipeline-ba kerül a modell.