Ein KI-Modell selbst bereitstellen

LLMs, Inferenz-Konfigurationen und Stacks, um KI auf eigenen Rechnern zu hosten.

contextetech

Mistral 7B on a 16 GB Mac with Ollama

Ollama Modelfile to run Mistral 7B Instruct locally on a 16 GB Mac: Q4…

OllamaQ4_K_M 003 Std.

contextetech

Qwen2.5 7B with vLLM on a 24 GB GPU

Serve Qwen2.5 7B Instruct with vLLM on a 24 GB GPU: OpenAI-compatible API, 8k…

vLLMbf16 003 Std.

contextetech

llama.cpp server for a GGUF model

Run any GGUF model with the llama.cpp server: OpenAI-compatible API on port…

llama.cppQ4_K_M 003 Std.

Was heißt ein KI-Modell bereitstellen?

Bereitstellen heißt, ein Modell auf eigenen Rechnern zu betreiben statt eine externe API zu nutzen: Die Daten bleiben bei dir. Man wählt ein Modell, eine Laufzeit (Ollama, vLLM, llama.cpp) und bei Bedarf einen kompletten Stack.