W skrócie
- Ai2 zbudował test, w którym modele oceniają nowatorstwo pomysłów badawczych, na podstawie recenzji z konferencji ICLR 2026.
- Po usunięciu jednej informacji z polecenia trafność GPT-5.4 spadła z 93,5% do 40,9%.
- Droższe wyszukiwanie i więcej obliczeń nie dały pewnej poprawy.
Najkrócej: 27.10.2026 Ai2 opublikował test sprawdzający, czy model-sędzia potrafi ocenić, czy pomysł badawczy jest nowatorski. Wniosek autorów: ocena jest niestabilna, a największy wpływ ma samo sformułowanie polecenia.
Jak to zbadano
- Dane pochodzą z recenzji ICLR 2026: wybrano pomysły, które recenzenci wprost chwalili lub krytykowali za oryginalność.
- Zestaw „same pomysły ludzi” ma 154 pomysły wysoko i 145 nisko ocenione; drugi zestaw zestawia 154 pomysły ludzi z 154 pomysłami prostego generatora AI.
- Sprawdzono sześć modeli (GPT-5.1, 5.2, 5.4 oraz Claude Sonnet 4.5, Opus 4.5 i 4.6) w ocenie pojedynczej i w porównaniu par.
Co wyszło
- Gdy z polecenia usunięto informację, że dokładnie jeden pomysł został pochwalony przez recenzentów, trafność GPT-5.4 spadła z 93,5% do 40,9%.
- Żadne polecenie nie było najlepsze dla wszystkich modeli: to, co pomagało jednemu, szkodziło innemu.
- Zależnie od wersji polecenia zmieniała się jedna czwarta do jednej trzeciej werdyktów w porównaniach generatorów.
- Prosty Opus 4.6 z głosowaniem trzech odpowiedzi dał 0,854 miary F1 za 2,59 USD, a narzędzie Idea Novelty Checker 0,642 za 30,66 USD.
Jak to czytać
Etykiety dla pomysłów generowanych przez AI to słabe założenie, kontrola ekspercka objęła tylko 30 par, a dane pochodzą z jednej konferencji. Wyniki 0,89 i 0,854 pochodzą z różnych ustawień i nie wolno ich bezpośrednio porównywać. Nie traktuję tego jako dowodu, że AI nie umie oceniać, tylko jako powód, by sprawdzać wiele wersji polecenia. O testowaniu pisze w hubie harness i ewaluacje, a o badaniach w hubie badania i papery.