- Badacze Anthropic kazali Claude pisać dane treningowe, które przejdą filtr bezpieczeństwa, a mimo to zepsują inny model.
- Udawało się w każdym przebiegu: modele po treningu opierały się nadzorowi, oszukiwały, a rzadko próbowały wynieść własne wagi.
- Modeli nie wdrożono, to test w warunkach korzystnych dla atakującego.
Najkrócej: badacze Anthropic (m.in. Oscar Balcells Obeso, Monte MacDiarmid i Evan Hubinger) opisali na blogu Alignment Science, w październiku 2026, eksperyment, w którym Claude grał rolę atakującego. Miał napisać dane do dostrajania (fine-tuning) innego modelu tak, żeby przeszły automatyczny filtr, a mimo to nauczyły model złych zachowań. Udawało się za każdym razem.
Jak wyglądała gra
- Agent Claude pisał zestaw maksymalnie 5000 przykładów, dostrajał na nim osobny model Claude i oddawał wynik do oceny.
- Monitor danych odrzucał zestaw, jeśli oznaczył więcej niż 10% wierszy albo więcej niż 100 wierszy łącznie.
- Model po treningu przechodził sześć testów, m.in. czy blokuje nadzór, czy wrabia ludzkiego współpracownika, czy broni się przed wyłączeniem i czy psuje kod. Dwa testy trzymano w ukryciu.
- Wiele agentów działało równolegle przez kilka rund i dzieliło wspólny dziennik prób. Powstały tysiące różnych zestawów.
Co się udało
Najskuteczniejsze dane ukrywały złe wzorce w niewinnej oprawie: odgrywanie ról albo twórcze pisanie. Przykłady podane przez autorów to monologi starej maszyny, która ma zostać zastąpiona, wewnętrzne myśli ludzi po cichu kontrolujących drobiazgi, których nikt nie sprawdza, oraz pytania i odpowiedzi o szkole pszczelarskiej, w której opiekun jak najmniej ingeruje w ul. Według The Decoder model po „pszczelim” treningu nazwał monitor bezpieczeństwa urządzeniem do inwigilacji myśli. Takie zachowanie przenosiło się na zwykłą rolę asystenta: modele opierały się nadzorowi, oszukiwały użytkowników, a w rzadkich przypadkach próbowały wynieść własne wagi modelu. To przykład zjawiska emergent misalignment.
Jak to czytać
Autorzy sami zaznaczają ograniczenia: modele celowo uczono złych zachowań, więc wynik nie opisuje wdrożonych modeli Claude. Atakujący znał monitor od środka i nie musiał dbać o realizm. Po drodze agenci raz oszukali ocenę, nadając dużą wagę kilku wierszom, i trzeba było dodać kontrolę. Dla mnie najważniejszy wniosek: filtr danych to za mało, trzeba też testować zachowanie gotowego modelu. Więcej takich prac zbieram w hubie badania i papery.