Connexion Publier

Déployer un modèle IA chez soi

Des LLM, des configs d'inférence et des stacks pour déployer l'IA sur vos propres machines, sans envoyer vos données ailleurs.

7 résultat(s)
- [1v6b7a4] Chat IA privé minimal : Ollama et Open WebUI | stack | fr | MIT | https://contextetech.com/stacks/chatgpt-prive-ollama-open-webui-1v6b7a4
- [1x3fpqv] Serveur llama.cpp pour un modèle GGUF | inference | fr | MIT | https://contextetech.com/inference/llama-cpp-serveur-gguf-1x3fpqv
- [15a5imm] Automatisations locales : n8n et Ollama | stack | fr | MIT | https://contextetech.com/stacks/n8n-ollama-automatisations-locales-15a5imm
- [1m2r6x4] Qwen2.5 7B avec vLLM sur un GPU de 24 Go | inference | fr | MIT | https://contextetech.com/inference/qwen2-5-7b-vllm-gpu-24go-1m2r6x4
- [8o0iz7] Chat privé sur vos documents : Ollama, Qdrant, Open WebUI | stack | fr | MIT | https://contextetech.com/stacks/chat-prive-documents-ollama-qdrant-8o0iz7
- [1nqrf0w] Mistral 7B sur un Mac 16 Go avec Ollama | inference | fr | MIT | https://contextetech.com/inference/mistral-7b-ollama-mac-16go-1nqrf0w
- [q5bhyq] Mistral 7B Instruct v0.3 | model | multi | Apache-2.0 | https://contextetech.com/llm/mistral-7b-instruct-v0.3-q5bhyq
contextetech

Chat IA privé minimal : Ollama et Open WebUI

La stack la plus simple pour un chat IA privé : Ollama et Open WebUI en docker-compose, interface sur le port 3000.

Configuration2 service(s) 3 j
contextetech

Serveur llama.cpp pour un modèle GGUF

Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.

Configurationllama.cppQ4_K_M 3 j
contextetech

Automatisations locales : n8n et Ollama

Stack docker-compose pour automatiser avec une IA locale : n8n (workflows) et Ollama (modèle), sans envoyer de données à une API externe.

Configuration2 service(s) 3 j
contextetech

Qwen2.5 7B avec vLLM sur un GPU de 24 Go

Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.

ConfigurationvLLMbf16 3 j
contextetech

Chat privé sur vos documents : Ollama, Qdrant, Open WebUI

Stack docker-compose pour un chat privé sur vos documents : Ollama (modèle), Qdrant (base vectorielle) et Open WebUI (interface).

Configuration3 service(s) 3 j
contextetech

Mistral 7B sur un Mac 16 Go avec Ollama

Modelfile Ollama pour faire tourner Mistral 7B Instruct en local sur un Mac 16 Go : quantification Q4, contexte 8k, réponses en français.

ConfigurationOllamaQ4_K_M 3 j
contextetech

Mistral 7B Instruct v0.3

Fiche de référence du modèle Mistral 7B Instruct v0.3 publié par Mistral AI : 7 milliards de paramètres, licence Apache 2.0, appel de fonctions.

ModèleFine-tune7BSAFETENSORS 9 j

Que veut dire déployer un modèle IA ?

Déployer, c'est faire tourner un modèle sur vos propres machines ou serveurs plutôt que d'appeler une API externe : vos données restent chez vous. On choisit un modèle (LLM, embeddings), un moteur (Ollama, vLLM, llama.cpp) et, si besoin, une stack complète en docker-compose.