Ein KI-Modell selbst bereitstellen
LLMs, Inferenz-Konfigurationen und Stacks, um KI auf eigenen Rechnern zu hosten.
- [yf2bm9] Lokale Automatisierung: n8n und Ollama | stack | de | MIT | https://contextetech.com/de/stacks/lokale-automatisierung-n8n-ollama-yf2bm9 - [f64r3l] Mistral 7B auf einem Mac mit 16 GB und Ollama | inference | de | MIT | https://contextetech.com/de/inferenz/mistral-7b-ollama-mac-16gb-de-f64r3l - [1newgs9] Privater Chat mit Dokumenten: Ollama, Qdrant, Open WebUI | stack | de | MIT | https://contextetech.com/de/stacks/privater-chat-mit-dokumenten-1newgs9
Lokale Automatisierung: n8n und Ollama
docker-compose-Stack für Automatisierung mit lokaler KI: n8n (Workflows) und Ollama (Modell), ohne Daten an eine externe API zu senden.
Mistral 7B auf einem Mac mit 16 GB und Ollama
Ollama-Modelfile, um Mistral 7B Instruct lokal auf einem Mac mit 16 GB zu betreiben: Q4-Quantisierung, 8k Kontext, Antworten auf Deutsch.
Privater Chat mit Dokumenten: Ollama, Qdrant, Open WebUI
docker-compose-Stack für einen privaten Chat mit Ihren Dokumenten: Ollama (Modell), Qdrant (Vektordatenbank) und Open WebUI (Oberfläche).
Was heißt ein KI-Modell bereitstellen?
Bereitstellen heißt, ein Modell auf eigenen Rechnern zu betreiben statt eine externe API zu nutzen: Die Daten bleiben bei dir. Man wählt ein Modell, eine Laufzeit (Ollama, vLLM, llama.cpp) und bei Bedarf einen kompletten Stack.