OPAL: agent írja át az optimizert tanítás közben

Mi változott?

Egy neurális háló optimalizálási receptje ma jellemzően a tanítás előtt eldől, aztán a futás végéig nem változik. A Reactive Optimizers projekt (Xingjian Bai és társai) ezt fordítja meg: egy agent, alapból Claude Code, időnként elolvassa a tanítás riportjait. Ha kell, átírja az optimizer programot, amely a gradiensekből az update-et számolja, illetve egy elemző programot, amely azt méri, amire az agentnek szüksége van.

Eredmények

• LightningDiT-XL/1 ImageNeten: FID-50K 1,83 a hivatalos recept 2,18-ával szemben (guidance-szel).
• Amhara nyelvű Goldfish modell: 81,11 bit/mondat a hivatalos recept 83,48-ával szemben. A learning rate sweep legjobb statikus receptjét (80,89) is megverte, amikor abból indult (80,73).
• A modded-nanogpt beállítás kínai, thai és kirgiz adaton, illetve negyed batch-csel futtatott változataiban hozta vagy verte az öt kiválasztott ranglistás receptet.

A szerzők szerint az agent magától talált ki összetett ütemezéseket, loss spike elleni védelmet és rétegenkénti update-eket. A LightningDiT futásnál kb. 100 döntés 6,42 dollárba került Claude Opus 5.5 listaáron, nagyjából 74 H100-óra tanítás mellett. Ha a tanítás nem várja meg az agentet, a futásidő csak 1,01–1,14-szeresére nő.

Kipróbálható

Az OPAL PyTorch wrapperként érhető el (GitHub): egy sorral becsomagolod a meglévő optimizert, költségplafont adsz meg. Amíg az agent nem nyúl hozzá, a futás bitre azonos a sima futással. Sharded tanítást és optimizer-fordítást a jelenlegi verzió még nem támogat. Ott hasznos, ahol nincs kész recept: új architektúránál, új nyelvnél vagy adathalmaznál, egyetlen GPU-napnyi kerettel.