Iniciar sesión Publicar

Configuraciones de inferencia para LLM locales

Ajustes listos para ejecutar un modelo en tu equipo: Modelfile de Ollama, comando vLLM, llama.cpp.

1 resultado(s)
- [diaafq] Mistral 7B en un Mac de 16 GB con Ollama | inference | es | MIT | https://contextetech.com/es/inferencia/mistral-7b-ollama-mac-16gb-es-diaafq

¿Qué es una configuración de inferencia?

Una configuración de inferencia reúne los ajustes para ejecutar un modelo en tu propio equipo: el motor (Ollama, vLLM, llama.cpp), la cuantización, el tamaño del contexto y el comando de lanzamiento.

Guía: Configs. de inferencia →