Anmelden Veröffentlichen

Inferenz-Konfigurationen für lokale LLMs

Startfertige Einstellungen, um ein Modell lokal auszuführen: Ollama-Modelfile, vLLM-Befehl, llama.cpp.

1 Ergebnis(se)
- [f64r3l] Mistral 7B auf einem Mac mit 16 GB und Ollama | inference | de | MIT | https://contextetech.com/de/inferenz/mistral-7b-ollama-mac-16gb-de-f64r3l

Was ist eine Inferenz-Konfiguration?

Eine Inferenz-Konfiguration bündelt die Einstellungen, um ein Modell auf dem eigenen Rechner zu betreiben: Laufzeit (Ollama, vLLM, llama.cpp), Quantisierung, Kontextgröße und Startbefehl.

Anleitung: Inferenz-Konfigurationen →