Do czego służy
README opisuje projekt jako wnioskowanie LLM w C/C++. To narzędzie blisko sprzętu, co daje dużą kontrolę kosztem większej złożoności. Quick start pokazuje instalację skryptem, pobranie gotowych plików wykonywalnych, Dockera lub budowę ze źródeł, a następnie dwa polecenia: uruchomienie czatu z modelem pobranym z Hugging Face i start serwera z API zgodnym z OpenAI.
Jak zacząć
Zainstaluj skryptem lub pobierz gotowe pliki z wydań, a potem uruchom polecenie llama cli z opcją -hf i nazwą repozytorium modelu w formacie GGUF. Do udostępnienia API użyj polecenia llama serve. Przed wyborem modelu oszacuj pamięć: parametry razy bajty na parametr plus pamięć na kontekst, jak w artykule Co zmieści się na własnym komputerze.
curl -LsSf https://llama.app/install.sh | sh
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFNa co uważać
To narzędzie dla osób, które chcą rozumieć, co się dzieje, albo osadzać silnik we własnych programach. Na start prostsze będą Ollama lub LM Studio. Modele pobierane z internetu mają własne licencje, a serwer API w sieci wymaga zabezpieczenia. Zwracaj uwagę na format plików modelu i źródło, z którego je pobierasz.
Dalsza lektura
Więcej w artykule Ollama, LM Studio i llama.cpp i w hubie Lokalne AI. Pozostałe repozytoria znajdziesz na liście repozytoriów. Dane o gwiazdkach i wydaniach to zawsze najświeższe dane z GitHuba, a opis z README z 20 października 2026.