- Halucynacja to odpowiedź, która brzmi pewnie, a jest nieprawdziwa. Model nie pobiera faktów, tylko przewiduje prawdopodobny ciąg słów, więc ważne dane sprawdzaj w źródle.
Dokumentacja Google o treściach generowanych wyjaśnia przyczynę: modele generatywne nie pobierają faktów, tylko przewidują prawdopodobny ciąg słów na podstawie danych treningowych, więc ich wyniki mogą zawierać nieścisłości. Dlatego przed publikacją trzeba ręcznie sprawdzić treść, także tytuł, opis, dane strukturalne i teksty alternatywne obrazów. Lista OWASP wymienia dezinformację wśród ryzyk aplikacji z modelami.
Jak ograniczać skutki
Nie da się wyeliminować halucynacji całkowicie, więc projektuje się tak, by ich skutki były ograniczone. Wymagaj cytowania źródła i sprawdzaj je. Dla ważnych decyzji zostaw człowieka w pętli, jak w artykule Człowiek w pętli: kiedy agent ma pytać. Nie traktuj pewnego tonu jako dowodu poprawności: model brzmi pewnie także wtedy, gdy się myli.
Gdzie czytać dalej
Pojęcie człowiek w pętli i RAG. Całość: hub Człowiek w pętli.