Infrastruktur: Inferenz und KI-Stacks
Ein Modell selbst betreiben.
- [yf2bm9] Lokale Automatisierung: n8n und Ollama | stack | de | MIT | https://contextetech.com/de/stacks/lokale-automatisierung-n8n-ollama-yf2bm9 - [f64r3l] Mistral 7B auf einem Mac mit 16 GB und Ollama | inference | de | MIT | https://contextetech.com/de/inferenz/mistral-7b-ollama-mac-16gb-de-f64r3l - [1newgs9] Privater Chat mit Dokumenten: Ollama, Qdrant, Open WebUI | stack | de | MIT | https://contextetech.com/de/stacks/privater-chat-mit-dokumenten-1newgs9
Lokale Automatisierung: n8n und Ollama
docker-compose-Stack für Automatisierung mit lokaler KI: n8n (Workflows) und Ollama (Modell), ohne Daten an eine externe API zu senden.
Mistral 7B auf einem Mac mit 16 GB und Ollama
Ollama-Modelfile, um Mistral 7B Instruct lokal auf einem Mac mit 16 GB zu betreiben: Q4-Quantisierung, 8k Kontext, Antworten auf Deutsch.
Privater Chat mit Dokumenten: Ollama, Qdrant, Open WebUI
docker-compose-Stack für einen privaten Chat mit Ihren Dokumenten: Ollama (Modell), Qdrant (Vektordatenbank) und Open WebUI (Oberfläche).
Was ist die Bereitstellung eines KI-Modells?
Bereitstellung bedeutet, ein Modell für den Einsatz in einer Anwendung, auf einem Server oder auf einem lokalen Rechner zu installieren und zu konfigurieren. Diese Familie umfasst Ressourcen, um das Modell auszuführen, Anfragen zu empfangen und mit der verfügbaren Hardware Antworten zu erzeugen.