Configs d'inférence pour LLM en local
Des réglages prêts à lancer pour faire tourner un modèle chez vous : Modelfile Ollama, commande vLLM, llama.cpp.
- [1x3fpqv] Serveur llama.cpp pour un modèle GGUF | inference | fr | MIT | https://contextetech.com/inference/llama-cpp-serveur-gguf-1x3fpqv - [1m2r6x4] Qwen2.5 7B avec vLLM sur un GPU de 24 Go | inference | fr | MIT | https://contextetech.com/inference/qwen2-5-7b-vllm-gpu-24go-1m2r6x4 - [1nqrf0w] Mistral 7B sur un Mac 16 Go avec Ollama | inference | fr | MIT | https://contextetech.com/inference/mistral-7b-ollama-mac-16go-1nqrf0w
Serveur llama.cpp pour un modèle GGUF
Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.
Qwen2.5 7B avec vLLM sur un GPU de 24 Go
Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.
Mistral 7B sur un Mac 16 Go avec Ollama
Modelfile Ollama pour faire tourner Mistral 7B Instruct en local sur un Mac 16 Go : quantification Q4, contexte 8k, réponses en français.
Qu'est-ce qu'une config d'inférence ?
Une config d'inférence est l'ensemble des réglages qui permettent de faire tourner un modèle sur sa propre machine : le moteur (Ollama, vLLM, llama.cpp), la quantification, la taille du contexte et la commande de lancement.
Guide : Configs d'inférence →