- Model lokalny daje prywatność i brak opłat za token, ale kosztuje sprzęt, uwagę i czas na aktualizacje.
- Usługa w chmurze daje najsilniejsze modele bez utrzymania, kosztem wysyłania danych poza komputer.
- Pisz kod tak, by dało się zmienić dostawcę, i decyduj na własnych przykładach.
Spór „lokalnie czy w chmurze” ma zwykle ton ideologiczny. Jedni mówią o prywatności i niezależności, drudzy o jakości i wygodzie. Ten esej proponuje inną perspektywę: to pytanie o rachunek konkretnego zadania, a odpowiedź może zmienić się w ciągu roku. Dlatego najważniejsza jest umiejętność zmiany decyzji.
Co daje model lokalny
Przede wszystkim dane zostają na twoim komputerze. README narzędzia Ollama opisuje uruchamianie otwartych modeli na własnej maszynie z pełną prywatnością lokalnie. Drugi plus to brak opłaty za token: po zakupie sprzętu każde zapytanie kosztuje tylko prąd. Trzeci to przewidywalność, bo wybrana wersja modelu nie zmieni się bez twojej wiedzy. Do tego dochodzą ograniczenia: rozmiar modelu wynika z pamięci twojego sprzętu, a szybkość spada, gdy model nie mieści się na karcie graficznej. Jak to oszacować, pokazuję w artykule Co zmieści się na własnym komputerze.
Co daje chmura
Dostęp do najsilniejszych modeli bez kupowania sprzętu i bez zajmowania się aktualizacjami. Płacisz za użycie, więc przy małym wolumenie rachunek bywa niższy niż koszt komputera, który stoi bezczynnie. Ceną jest wysyłanie danych poza twoją maszynę, co wymaga sprawdzenia umowy i zasad dostawcy. Porównanie kosztów w tokenach opisuję w tekście Koszt zadania w tokenach.
Trzecia droga, o której mówi się za mało
Hugging Face w opisie AnyLanguageModel 1.0 ujmuje to rzeczowo: lokalna i hostowana inferencja mają swoje mocne strony, a oba podejścia mają rolę w aplikacjach nowej generacji. Wspólne API ułatwia wybór modelu do zadania. Wyciągam z tego prostą zasadę: zadania z danymi wrażliwymi lub o dużym wolumenie, w których mały model wystarcza, rozważ lokalnie; zadania wymagające najlepszych możliwości i bez danych wrażliwych oddaj chmurze. Nie musisz wybierać jednego dla wszystkiego.
Jak się nie zamknąć
Najgorszą decyzją jest zapisanie nazwy modelu w trzydziestu miejscach kodu. Trzymaj identyfikator modelu i adres dostawcy w jednym miejscu konfiguracji. Zachowaj zestaw dwudziestu własnych przykładów, który przepuścisz przez każdy kandydat, zanim cokolwiek zmienisz. Korzystaj z narzędzi, które mówią tym samym interfejsem do różnych modeli, a narzędzia lokalne porównaj w tekście Ollama, LM Studio i llama.cpp.
Dlaczego uważam to za sprawę czasu
Moja zasada brzmi: technologia ma oddawać czas. Jeśli model lokalny pochłania weekendy na konfigurację, a usługa w chmurze załatwia sprawę za kilka złotych, wybór jest prosty. Jeśli rachunek za chmurę rośnie, a mały model lokalny radzi sobie z zadaniem, wracasz do niego. Wygrywa ten, kto potrafi policzyć i zmienić zdanie.