Qwen2.5 7B avec vLLM sur un GPU de 24 Go

Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.

Comando di avvio

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000

Costo stimato

Token di input per chiamata : ≈ 167

Solo costo di input, esclusa la risposta del modello. Prezzi pubblici standard dei fornitori (Mistral AI, DeepSeek, OpenAI, Anthropic) convertiti da USD in euro al cambio BCE del 29 settembre 2026. Stima: 1 token ≈ 3,6 caratteri.

Identificativo

contextetech--qwen2-5-7b-vllm-gpu-24go

Tipo

Config. di inferenza

File

qwen2-5-7b-vllm-gpu-24go.inference.json

Formato

JSON (application/json)

Dimensione

581 byte

Codifica

UTF-8

Token stimati

≈ 161

Lingua

Francese

Licenza

MIT

Uso commerciale

Consentito

Dati personali

Nessuno

Versione

1.0

Pubblicato il

1 ottobre 2026 alle ore 18:55

Aggiornato il

1 ottobre 2026 alle ore 18:55

Archiviazione

nel database

Utilizzi

0

Mi piace

0

qwen2-5-7b-vllm-gpu-24go.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/qwen2-5-7b-vllm-gpu-24go",
  "description": "Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.",
  "tags": [
    "vllm",
    "qwen",
    "gpu"
  ],
  "license": "MIT",
  "language": "fr",
  "runtime": "vllm",
  "model": "Qwen/Qwen2.5-7B-Instruct",
  "config": "",
  "command": "vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000",
  "quant": "bf16",
  "contextLength": 8192,
  "ramGb": 24
}

Comando di avvio

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --port 8000