KI-Konfigurationen: Inferenz, Stacks, Embeddings und Einstellungen
Technische Einstellungen, um ein Modell zu betreiben oder anzupassen: Inferenz, Stacks, Embeddings, LoRA, RAG…
Lokale Automatisierung: n8n und Ollama
docker-compose-Stack für Automatisierung mit lokaler KI: n8n (Workflows) und Ollama (Modell), ohne Daten an eine externe API zu senden.
Mistral 7B auf einem Mac mit 16 GB und Ollama
Ollama-Modelfile, um Mistral 7B Instruct lokal auf einem Mac mit 16 GB zu betreiben: Q4-Quantisierung, 8k Kontext, Antworten auf Deutsch.
Embeddings multilingual-e5-large für ein deutsches RAG
multilingual-e5-large für ein RAG auf Deutsch: 1024 Dimensionen, 512 Tokens, Präfixe query:/passage: erforderlich, Kosinus-Distanz. MIT-Lizenz.
Privater Chat mit Dokumenten: Ollama, Qdrant, Open WebUI
docker-compose-Stack für einen privaten Chat mit Ihren Dokumenten: Ollama (Modell), Qdrant (Vektordatenbank) und Open WebUI (Oberfläche).
Was ist eine Konfiguration für KI?
Eine Konfiguration bündelt die technischen Einstellungen, mit denen ein Modell läuft oder angepasst wird: LoRA-Trainingsparameter, RAG-Pipeline, Embedding-Modell, lokale Inferenz, ein Stack von Diensten, eine Belohnungsfunktion oder ein Rezept für synthetische Daten. Man kopiert sie und startet sie erneut, um dasselbe Ergebnis zu erhalten.