Accedi Pubblica

Configurazioni di inferenza per LLM locali

Impostazioni pronte per eseguire un modello sul tuo computer: Modelfile Ollama, comando vLLM, llama.cpp.

1 risultato/i
- [ebwhir] Mistral 7B su un Mac da 16 GB con Ollama | inference | it | MIT | https://contextetech.com/it/inferenza/mistral-7b-ollama-mac-16gb-it-ebwhir

Cos'è una configurazione di inferenza?

Una configurazione di inferenza raccoglie le impostazioni per eseguire un modello sul proprio computer: il motore (Ollama, vLLM, llama.cpp), la quantizzazione, la dimensione del contesto e il comando di avvio.

Guida: Config. di inferenza →