Configurazioni di inferenza per LLM locali
Impostazioni pronte per eseguire un modello sul tuo computer: Modelfile Ollama, comando vLLM, llama.cpp.
- [ebwhir] Mistral 7B su un Mac da 16 GB con Ollama | inference | it | MIT | https://contextetech.com/it/inferenza/mistral-7b-ollama-mac-16gb-it-ebwhir
Cos'è una configurazione di inferenza?
Una configurazione di inferenza raccoglie le impostazioni per eseguire un modello sul proprio computer: il motore (Ollama, vLLM, llama.cpp), la quantizzazione, la dimensione del contesto e il comando di avvio.
Guida: Config. di inferenza →