Infrastructure : configs d'inférence et stacks IA
Faire tourner un modèle chez soi.
- [1v6b7a4] Chat IA privé minimal : Ollama et Open WebUI | stack | fr | MIT | https://contextetech.com/stacks/chatgpt-prive-ollama-open-webui-1v6b7a4 - [1x3fpqv] Serveur llama.cpp pour un modèle GGUF | inference | fr | MIT | https://contextetech.com/inference/llama-cpp-serveur-gguf-1x3fpqv - [15a5imm] Automatisations locales : n8n et Ollama | stack | fr | MIT | https://contextetech.com/stacks/n8n-ollama-automatisations-locales-15a5imm - [1m2r6x4] Qwen2.5 7B avec vLLM sur un GPU de 24 Go | inference | fr | MIT | https://contextetech.com/inference/qwen2-5-7b-vllm-gpu-24go-1m2r6x4 - [8o0iz7] Chat privé sur vos documents : Ollama, Qdrant, Open WebUI | stack | fr | MIT | https://contextetech.com/stacks/chat-prive-documents-ollama-qdrant-8o0iz7 - [1nqrf0w] Mistral 7B sur un Mac 16 Go avec Ollama | inference | fr | MIT | https://contextetech.com/inference/mistral-7b-ollama-mac-16go-1nqrf0w
Chat IA privé minimal : Ollama et Open WebUI
La stack la plus simple pour un chat IA privé : Ollama et Open WebUI en docker-compose, interface sur le port 3000.
Serveur llama.cpp pour un modèle GGUF
Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.
Automatisations locales : n8n et Ollama
Stack docker-compose pour automatiser avec une IA locale : n8n (workflows) et Ollama (modèle), sans envoyer de données à une API externe.
Qwen2.5 7B avec vLLM sur un GPU de 24 Go
Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.
Chat privé sur vos documents : Ollama, Qdrant, Open WebUI
Stack docker-compose pour un chat privé sur vos documents : Ollama (modèle), Qdrant (base vectorielle) et Open WebUI (interface).
Mistral 7B sur un Mac 16 Go avec Ollama
Modelfile Ollama pour faire tourner Mistral 7B Instruct en local sur un Mac 16 Go : quantification Q4, contexte 8k, réponses en français.
Qu’est-ce que le déploiement d’un modèle IA ?
Le déploiement consiste à installer et configurer un modèle pour le rendre utilisable dans une application, sur un serveur ou sur une machine locale. Cette famille rassemble les ressources nécessaires pour exécuter le modèle, recevoir des requêtes et produire des réponses avec le matériel disponible.