Qwen2.5 7B with vLLM on a 24 GB GPU

Serve Qwen2.5 7B Instruct with vLLM on a 24 GB GPU: OpenAI-compatible API, 8k context, a single command.

Comando di avvio

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000

Costo stimato

Token di input per chiamata : ≈ 171

Solo costo di input, esclusa la risposta del modello. Prezzi pubblici standard dei fornitori (Mistral AI, DeepSeek, OpenAI, Anthropic) convertiti da USD in euro al cambio BCE del 29 settembre 2026. Stima: 1 token ≈ 3,6 caratteri.

Identificativo

contextetech--qwen2-5-7b-vllm-24gb-gpu

Tipo

Config. di inferenza

File

qwen2-5-7b-vllm-24gb-gpu.inference.json

Formato

JSON (application/json)

Dimensione

558 byte

Codifica

UTF-8

Token stimati

≈ 155

Lingua

Inglese

Licenza

MIT

Uso commerciale

Consentito

Dati personali

Nessuno

Versione

1.0

Pubblicato il

2 ottobre 2026 alle ore 21:54

Aggiornato il

2 ottobre 2026 alle ore 21:54

Archiviazione

nel database

Utilizzi

0

Mi piace

0

qwen2-5-7b-vllm-24gb-gpu.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/qwen2-5-7b-vllm-24gb-gpu",
  "description": "Serve Qwen2.5 7B Instruct with vLLM on a 24 GB GPU: OpenAI-compatible API, 8k context, a single command.",
  "tags": [
    "vllm",
    "qwen",
    "gpu"
  ],
  "license": "MIT",
  "language": "en",
  "runtime": "vllm",
  "model": "Qwen/Qwen2.5-7B-Instruct",
  "config": "",
  "command": "vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000",
  "quant": "bf16",
  "contextLength": 8192,
  "ramGb": 24
}

Comando di avvio

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000