Qwen2.5 7B avec vLLM sur un GPU de 24 Go

Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.

Startbefehl

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000

Geschätzte Kosten

Eingabe-Tokens pro Aufruf : ≈ 167

Nur Eingabekosten, ohne die Antwort des Modells. Öffentliche Standardpreise der Anbieter (Mistral AI, DeepSeek, OpenAI, Anthropic) von USD in Euro umgerechnet zum EZB-Kurs vom 29. September 2026. Schätzung: 1 Token ≈ 3,6 Zeichen.

Kennung

contextetech--qwen2-5-7b-vllm-gpu-24go

Typ

Inferenz-Konfigurationen

Datei

qwen2-5-7b-vllm-gpu-24go.inference.json

Format

JSON (application/json)

Größe

581 Bytes

Kodierung

UTF-8

Geschätzte Tokens

≈ 161

Sprache

Französisch

Lizenz

MIT

Kommerzielle Nutzung

Erlaubt

Personenbezogene Daten

Keine

Version

1.0

Veröffentlicht am

1. Oktober 2026 um 18:55

Aktualisiert am

1. Oktober 2026 um 18:55

Speicherung

in der Datenbank

Nutzungen

0

Gefällt mir

0

qwen2-5-7b-vllm-gpu-24go.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/qwen2-5-7b-vllm-gpu-24go",
  "description": "Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.",
  "tags": [
    "vllm",
    "qwen",
    "gpu"
  ],
  "license": "MIT",
  "language": "fr",
  "runtime": "vllm",
  "model": "Qwen/Qwen2.5-7B-Instruct",
  "config": "",
  "command": "vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000",
  "quant": "bf16",
  "contextLength": 8192,
  "ramGb": 24
}

Startbefehl

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000