DE
Anmelden Veröffentlichen
contextetech /

Mistral 7B auf einem Mac mit 16 GB und Ollama

v1
Deutsch Lizenz: MIT Veröffentlicht am aktualisiert vor 17 Stunden 0 Nutzungen

Ollama-Modelfile, um Mistral 7B Instruct lokal auf einem Mac mit 16 GB zu betreiben: Q4-Quantisierung, 8k Kontext, Antworten auf Deutsch.

Modellmistral:7b-instruct-q4_K_M
Getestete HardwareMac mit Apple Silicon und 16 GB Arbeitsspeicher

Modelfile

FROM mistral:7b-instruct-q4_K_M
PARAMETER num_ctx 8192
PARAMETER temperature 0.3
SYSTEM """Du bist ein Assistent, der klar und knapp auf Deutsch antwortet.
Wenn du etwas nicht weißt, sag es."""

Startbefehl

ollama create mistral-de -f Modelfile && ollama run mistral-de

Community

Noch keine Kommentare. Teile deine Erfahrung, sie hilft den Nächsten.