W skrócie
- RAG (generowanie wspomagane wyszukiwaniem) to wzorzec, w którym model najpierw wyszukuje fragmenty twoich dokumentów, a dopiero potem odpowiada na ich podstawie.
Pomysł opisała praca z 2020 roku: model łączy pamięć zapisaną w parametrach z zewnętrzną pamięcią w postaci indeksu dokumentów. W praktycznej wersji dzielisz dokumenty na fragmenty, zamieniasz je na embeddingi, zapisujesz w bazie wektorowej, a w czasie pytania wyszukujesz najbardziej podobne fragmenty i dokładasz do prompta. Dobrze jest połączyć wyszukiwanie semantyczne z wyszukiwaniem słów kluczowych.
Kiedy RAG nie jest potrzebny
Anthropic przypomina, że jeśli baza wiedzy ma mniej niż około 200 tysięcy tokenów, czyli około 500 stron, możesz wstawić całość do prompta bez RAG. Dopiero przy większych zbiorach potrzebujesz skalowalnego rozwiązania.
Gdzie czytać dalej
RAG krok po kroku i Pamięć agenta. Pojęcie embedding. Całość: hub Pamięć agentów.