Configuraciones de inferencia para LLM locales
Ajustes listos para ejecutar un modelo en tu equipo: Modelfile de Ollama, comando vLLM, llama.cpp.
- [diaafq] Mistral 7B en un Mac de 16 GB con Ollama | inference | es | MIT | https://contextetech.com/es/inferencia/mistral-7b-ollama-mac-16gb-es-diaafq
¿Qué es una configuración de inferencia?
Una configuración de inferencia reúne los ajustes para ejecutar un modelo en tu propio equipo: el motor (Ollama, vLLM, llama.cpp), la cuantización, el tamaño del contexto y el comando de lanzamiento.
Guía: Configs. de inferencia →