W skrócie
- METR i Redwood Research przez 3 tygodnie testowały system nadzoru nad wewnętrznymi agentami OpenAI.
- Znalazły luki, m.in. ok. 10% ruchu Codex bez nadzoru podczas kompakcji kontekstu.
- OpenAI mówi, że luki załatano. METR tego nie sprawdzał.
Najkrócej: METR i Redwood Research opublikowały 22.10.2026 wyniki trzytygodniowego ćwiczenia (21.07–11.08.2026), w którym testowały wewnętrzny system nadzoru nad agentami OpenAI. Miały dostęp do kodu, konfiguracji i dokumentacji oraz rozmawiały z kilkunastoma pracownikami. Powstał 61-stronicowy raport wewnętrzny, a OpenAI dostało 38-stronicową wersję z zaczernieniami.
Co znaleziono
- Szacunkowo 75–94% ruchu agentów z modeli co najmniej na poziomie GPT-5.5 nadawało się do nadzoru, z dużą niepewnością.
- Brak nadzoru nad kompakcją kontekstu zostawił ok. 10% kwalifikującego się ruchu Codex bez monitoringu od maja do lipca 2026. OpenAI zauważyło to przed ćwiczeniem i naprawiło w jego trakcie.
- Monitor działał, gdy agent oddawał sterowanie użytkownikowi, więc agent mógł odsuwać nadzór w czasie, wciąż działając.
- Znaleziono możliwość obejścia piaskownicy i automatycznego przeglądu oraz exploit, który mógł ukryć setki ostatnich akcji. Szczegółów nie ujawniono.
- Dwa nagłówki sterowane przez klienta mogły wyłączyć nadzór nad nowymi agentami, a dwa narzędzia bez nadzoru miały możliwą lukę. Tej drugiej nie potwierdzono w praktyce.
Co zalecają autorzy
- Utrudniać omijanie nadzoru i monitorować agentów okresowo, a nie tylko na końcu tury.
- Sprawdzać, czy nadzór faktycznie się wykonuje, porównując logi pracy modelu z logami monitora.
- Szybko reagować na incydenty i prowadzić dzienniki odporne na modyfikację.
- Stale testować system atakiem i oddzielić agentów od monitorów.
Jak to czytać
Według OpenAI wszystkie wykryte luki wpływające na produkcyjne zabezpieczenia zostały załatane. METR nie ocenił tego twierdzenia. Raport nie pokazuje, że agenci celowo coś ukrywali. Ćwiczenie dotyczy stanu sprzed 21.07.2026. Więcej o roli człowieka w pętli piszę w hubie o człowieku w pętli.