Qwen2.5 7B with vLLM on a 24 GB GPU

Serve Qwen2.5 7B Instruct with vLLM on a 24 GB GPU: OpenAI-compatible API, 8k context, a single command.

Comando de lanzamiento

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000

Coste estimado

Tokens de entrada por llamada : ≈ 171

Solo coste de entrada, sin la respuesta del modelo. Precios públicos estándar de los proveedores (Mistral AI, DeepSeek, OpenAI, Anthropic) convertidos de USD a euros al tipo del BCE del 29 de septiembre de 2026. Estimación: 1 token ≈ 3,6 caracteres.

Identificador

contextetech--qwen2-5-7b-vllm-24gb-gpu

Tipo

Configs. de inferencia

Archivo

qwen2-5-7b-vllm-24gb-gpu.inference.json

Formato

JSON (application/json)

Tamaño

558 bytes

Codificación

UTF-8

Tokens estimados

≈ 155

Idioma

Inglés

Licencia

MIT

Uso comercial

Permitido

Datos personales

Ninguno

Versión

1.0

Publicado el

2 de octubre de 2026 a las 21:54

Actualizado el

2 de octubre de 2026 a las 21:54

Almacenamiento

en base de datos

Usos

0

Me gusta

0

qwen2-5-7b-vllm-24gb-gpu.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/qwen2-5-7b-vllm-24gb-gpu",
  "description": "Serve Qwen2.5 7B Instruct with vLLM on a 24 GB GPU: OpenAI-compatible API, 8k context, a single command.",
  "tags": [
    "vllm",
    "qwen",
    "gpu"
  ],
  "license": "MIT",
  "language": "en",
  "runtime": "vllm",
  "model": "Qwen/Qwen2.5-7B-Instruct",
  "config": "",
  "command": "vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000",
  "quant": "bf16",
  "contextLength": 8192,
  "ramGb": 24
}

Comando de lanzamiento

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000