IT
Accedi Pubblica
contextetech /

Mistral 7B on a 16 GB Mac with Ollama

v1
Inglese Licenza: MIT Pubblicato il aggiornato 1 ora fa 0 utilizzi

Ollama Modelfile to run Mistral 7B Instruct locally on a 16 GB Mac: Q4 quantization, 8k context, concise answers in English.

Modellomistral:7b-instruct-q4_K_M
Hardware testatoApple Silicon Mac with 16 GB of memory

Modelfile

FROM mistral:7b-instruct-q4_K_M
PARAMETER num_ctx 8192
PARAMETER temperature 0.3
SYSTEM """You are a helpful assistant. Answer in clear, concise English.
If you don't know, say so."""

Comando di avvio

ollama create mistral-en -f Modelfile && ollama run mistral-en

Community

Ancora nessun commento. Condividi la tua esperienza, aiuterà chi viene dopo.