Anmelden Veröffentlichen

KI-Konfigurationen: Inferenz, Stacks, Embeddings und Einstellungen

Technische Einstellungen, um ein Modell zu betreiben oder anzupassen: Inferenz, Stacks, Embeddings, LoRA, RAG…

contextetech

Lokale Automatisierung: n8n und Ollama

docker-compose-Stack für Automatisierung mit lokaler KI: n8n (Workflows) und Ollama (Modell), ohne Daten an eine externe API zu senden.

Konfiguration2 Dienst(e) 2 Tg.
contextetech

Mistral 7B auf einem Mac mit 16 GB und Ollama

Ollama-Modelfile, um Mistral 7B Instruct lokal auf einem Mac mit 16 GB zu betreiben: Q4-Quantisierung, 8k Kontext, Antworten auf Deutsch.

KonfigurationOllamaQ4_K_M 2 Tg.
contextetech

Embeddings multilingual-e5-large für ein deutsches RAG

multilingual-e5-large für ein RAG auf Deutsch: 1024 Dimensionen, 512 Tokens, Präfixe query:/passage: erforderlich, Kosinus-Distanz. MIT-Lizenz.

Konfiguration1024 dim. 2 Tg.
contextetech

Privater Chat mit Dokumenten: Ollama, Qdrant, Open WebUI

docker-compose-Stack für einen privaten Chat mit Ihren Dokumenten: Ollama (Modell), Qdrant (Vektordatenbank) und Open WebUI (Oberfläche).

Konfiguration3 Dienst(e) 2 Tg.

Was ist eine Konfiguration für KI?

Eine Konfiguration bündelt die technischen Einstellungen, mit denen ein Modell läuft oder angepasst wird: LoRA-Trainingsparameter, RAG-Pipeline, Embedding-Modell, lokale Inferenz, ein Stack von Diensten, eine Belohnungsfunktion oder ein Rezept für synthetische Daten. Man kopiert sie und startet sie erneut, um dasselbe Ergebnis zu erhalten.