Inferenskonfigurationer för lokala LLM
Färdiga inställningar för att köra en modell på din egen maskin: Ollama-Modelfile, vLLM-kommando, llama.cpp.
Ingen har publicerat här ännu. Varför inte du?
Vad är en inferenskonfiguration?
En inferenskonfiguration är de inställningar som behövs för att köra en modell på din egen dator: motorn (Ollama, vLLM, llama.cpp), kvantiseringen, kontextens storlek och startkommandot.
Guide: Inferenskonfigurationer →