Konfiguracje inferencji dla lokalnych LLM
Gotowe ustawienia do uruchomienia modelu na własnej maszynie: Modelfile Ollama, polecenie vLLM, llama.cpp.
Nikt jeszcze nic tu nie opublikował. Może Ty?
Czym jest konfiguracja inferencji?
Konfiguracja inferencji to zestaw ustawień potrzebnych do uruchomienia modelu na własnym komputerze: silnik (Ollama, vLLM, llama.cpp), kwantyzacja, rozmiar kontekstu i polecenie uruchomienia.
Przewodnik: Konfiguracje inferencji →