Qwen2.5 7B with vLLM on a 24 GB GPU

Serve Qwen2.5 7B Instruct with vLLM on a 24 GB GPU: OpenAI-compatible API, 8k context, a single command.

Commande de lancement

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000

Coût estimé

Tokens d'entrée par appel : ≈ 171

Coût d'entrée seulement, sans la réponse du modèle. Prix publics des fournisseurs (Mistral AI, DeepSeek, OpenAI, Anthropic), tarif standard en dollars converti en euros au taux BCE du 29 septembre 2026. Estimation : 1 token ≈ 3,6 caractères.

Identifiant

contextetech--qwen2-5-7b-vllm-24gb-gpu

Type

Configs d'inférence

Fichier

qwen2-5-7b-vllm-24gb-gpu.inference.json

Format

JSON (application/json)

Taille

558 octets

Encodage

UTF-8

Tokens estimés

≈ 155

Langue

Anglais

Licence

MIT

Usage commercial

Autorisé

Données personnelles

Aucune

Version

1.0

Publié le

2 octobre 2026 à 21:54

Mis à jour le

2 octobre 2026 à 21:54

Stockage

en base

Utilisations

0

J'aime

0

qwen2-5-7b-vllm-24gb-gpu.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/qwen2-5-7b-vllm-24gb-gpu",
  "description": "Serve Qwen2.5 7B Instruct with vLLM on a 24 GB GPU: OpenAI-compatible API, 8k context, a single command.",
  "tags": [
    "vllm",
    "qwen",
    "gpu"
  ],
  "license": "MIT",
  "language": "en",
  "runtime": "vllm",
  "model": "Qwen/Qwen2.5-7B-Instruct",
  "config": "",
  "command": "vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000",
  "quant": "bf16",
  "contextLength": 8192,
  "ramGb": 24
}

Commande de lancement

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000