Inferentieconfiguraties voor lokale LLM's
Instellingen om een model op je eigen computer te draaien: Ollama-Modelfile, vLLM-opdracht, llama.cpp.
Hier heeft nog niemand iets gepubliceerd. Waarom jij niet?
Wat is een inferentieconfiguratie?
Een inferentieconfiguratie is de set instellingen die nodig is om een model op je eigen computer te draaien: de runtime (Ollama, vLLM, llama.cpp), de kwantisatie, de contextgrootte en de startopdracht.
Gids: Inferentieconfiguraties →