DE
Anmelden Veröffentlichen
contextetech /

Mistral 7B on a 16 GB Mac with Ollama

v1
Englisch Lizenz: MIT Veröffentlicht am aktualisiert vor 1 Stunde 0 Nutzungen

Ollama Modelfile to run Mistral 7B Instruct locally on a 16 GB Mac: Q4 quantization, 8k context, concise answers in English.

Modellmistral:7b-instruct-q4_K_M
Getestete HardwareApple Silicon Mac with 16 GB of memory

Modelfile

FROM mistral:7b-instruct-q4_K_M
PARAMETER num_ctx 8192
PARAMETER temperature 0.3
SYSTEM """You are a helpful assistant. Answer in clear, concise English.
If you don't know, say so."""

Startbefehl

ollama create mistral-en -f Modelfile && ollama run mistral-en

Community

Noch keine Kommentare. Teile deine Erfahrung, sie hilft den Nächsten.