- Człowiek w pętli zatwierdza kluczowe kroki agenta, szczególnie te nieodwracalne. O potrzebie zgody decydują skutki działania i jego odwracalność, a nie pewność modelu.
W układzie z człowiekiem w pętli agent wykonuje pracę, ale decyzje o istotnych lub nieodwracalnych działaniach zatwierdza osoba. OWASP opisuje nadmierną sprawczość jako podatność, której przyczyną jest nadmiar funkcji, uprawnień lub autonomii, a zgoda człowieka jest jednym ze sposobów jej ograniczenia obok zawężenia listy narzędzi i najmniejszych uprawnień. Opracowanie Anthropic o agentach wspomina, że agent może wstrzymać pracę na punktach kontrolnych albo gdy napotka blokadę.
Jak to stosować
Dla każdego kroku zadaj trzy pytania: jakie są skutki błędu, czy da się go cofnąć i czy krok jest znany i powtarzalny. Odpowiedzi wyznaczają, co agent robi sam, co proponuje do przeglądu, a o co zawsze pyta. Zgodę wymuszaj w programie, nie w poleceniu.
Gdzie czytać dalej
Człowiek w pętli: kiedy agent ma pytać oraz Lista kontrolna zatwierdzeń. Pojęcie halucynacja. Całość: hub Człowiek w pętli.