Qwen2.5 7B avec vLLM sur un GPU de 24 Go

Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.

Commande de lancement

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000

Coût estimé

Tokens d'entrée par appel : ≈ 167

Coût d'entrée seulement, sans la réponse du modèle. Prix publics des fournisseurs (Mistral AI, DeepSeek, OpenAI, Anthropic), tarif standard en dollars converti en euros au taux BCE du 29 septembre 2026. Estimation : 1 token ≈ 3,6 caractères.

Identifiant

contextetech--qwen2-5-7b-vllm-gpu-24go

Type

Configs d'inférence

Fichier

qwen2-5-7b-vllm-gpu-24go.inference.json

Format

JSON (application/json)

Taille

581 octets

Encodage

UTF-8

Tokens estimés

≈ 161

Langue

Français

Licence

MIT

Usage commercial

Autorisé

Données personnelles

Aucune

Version

1.0

Publié le

1 octobre 2026 à 18:55

Mis à jour le

1 octobre 2026 à 18:55

Stockage

en base

Utilisations

0

J'aime

0

qwen2-5-7b-vllm-gpu-24go.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/qwen2-5-7b-vllm-gpu-24go",
  "description": "Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.",
  "tags": [
    "vllm",
    "qwen",
    "gpu"
  ],
  "license": "MIT",
  "language": "fr",
  "runtime": "vllm",
  "model": "Qwen/Qwen2.5-7B-Instruct",
  "config": "",
  "command": "vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000",
  "quant": "bf16",
  "contextLength": 8192,
  "ramGb": 24
}

Commande de lancement

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000