- Metoda VocabX przebudowuje słownik modelu pod jedną dziedzinę; autorzy podają 77% niższy koszt w jednym przypadku.
- Wyniki są od twórców, artykuł czeka na recenzję.
Najkrócej: zespół Dharma-AI pokazuje, że model AI obsługujący jedno wąskie zadanie może działać wyraźnie taniej, jeśli dopasuje się jego słownik do tego zadania. Liczby są od autorów.
Co się zmieniło
- Metoda VocabX buduje słownik pod konkretną dziedzinę, nie zmieniając modelu bazowego, danych ani sposobu uczenia.
- W jednym teście, ocenie wypracowań po portugalsku na modelu Qwen3-4B, koszt spadł o 77,0%.
- Średnia odpowiedź skróciła się z 350 do 101 kawałków, a wynik testu wzrósł z 0,703 do 0,810.
- Słownik zmalał z 151 669 do 64 767 pozycji.
Warunki testu
Siedem wersji uczono tak samo, różniły się tylko słownikiem. Każda obsłużyła 500 zapytań na karcie RTX 5090. W pięciu publicznych dziedzinach i trzech rodzinach modeli (Qwen3, Llama-3.1, Gemma-3) metoda była lepsza od trzech metod odniesienia pod względem kompresji we wszystkich 15 przypadkach.
Jak to czytać
Artykuł wciąż czeka na recenzję, a liczby mogą się zmienić. Opublikowała go firma, która zbudowała system. Autorzy zaznaczają, że metoda nie czyni modelu mądrzejszym, a stosunek kosztu generowania do czytania (7,4 razy) pochodzi z jednego przypadku i zależy od sprzętu. Więcej o uruchamianiu modeli u siebie w hubie o lokalnym AI.