Connexion Publier

Configs d'inférence pour LLM en local

Des réglages prêts à lancer pour faire tourner un modèle chez vous : Modelfile Ollama, commande vLLM, llama.cpp.

3 résultat(s)
- [1x3fpqv] Serveur llama.cpp pour un modèle GGUF | inference | fr | MIT | https://contextetech.com/inference/llama-cpp-serveur-gguf-1x3fpqv
- [1m2r6x4] Qwen2.5 7B avec vLLM sur un GPU de 24 Go | inference | fr | MIT | https://contextetech.com/inference/qwen2-5-7b-vllm-gpu-24go-1m2r6x4
- [1nqrf0w] Mistral 7B sur un Mac 16 Go avec Ollama | inference | fr | MIT | https://contextetech.com/inference/mistral-7b-ollama-mac-16go-1nqrf0w

Qu'est-ce qu'une config d'inférence ?

Une config d'inférence est l'ensemble des réglages qui permettent de faire tourner un modèle sur sa propre machine : le moteur (Ollama, vLLM, llama.cpp), la quantification, la taille du contexte et la commande de lancement.

Guide : Configs d'inférence →