Configurazioni di inferenza per LLM locali
Impostazioni pronte per eseguire un modello sul tuo computer: Modelfile Ollama, comando vLLM, llama.cpp.
Nessuno ha ancora pubblicato qui. E se fossi tu?
Cos'è una configurazione di inferenza?
Una configurazione di inferenza raccoglie le impostazioni per eseguire un modello sul proprio computer: il motore (Ollama, vLLM, llama.cpp), la quantizzazione, la dimensione del contesto e il comando di avvio.
Guida: Config. di inferenza →