Connexion Publier
contextetech/

Qwen2.5 7B avec vLLM sur un GPU de 24 Go

v2
Contexte Tech

254 publication(s) · 353 utilisations

Source : huggingface.co/Qwen/Qwen2.5-7B-Instruct ↗ Configuration Français Licence : MIT mis à jour il y a 3 jours
# Qwen2.5 7B avec vLLM sur un GPU de 24 Go
code: 1m2r6x4 | type: inference | language: fr | licence: MIT | version: v2
description: Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.
page: https://contextetech.com/inference/qwen2-5-7b-vllm-gpu-24go-1m2r6x4
mcp: connect https://contextetech.com/mcp then call load_resource with code "1m2r6x4" (or ask "load 1m2r6x4")
json: https://contextetech.com/api/resources/contextetech--qwen2-5-7b-vllm-gpu-24go
python: pip install contexte && contexte get 1m2r6x4
source: https://huggingface.co/Qwen/Qwen2.5-7B-Instruct
citation (required by the licence): contextetech. (2026). Qwen2.5 7B avec vLLM sur un GPU de 24 Go (Version 2) [Config d'inférence]. Contexte Tech. https://contextetech.com/inference/qwen2-5-7b-vllm-gpu-24go-1m2r6x4. Source des données : https://huggingface.co/Qwen/Qwen2.5-7B-Instruct

Servir Qwen2.5 7B Instruct avec vLLM sur une carte graphique de 24 Go : API compatible OpenAI, contexte 8k, une seule commande.

ModèleQwen/Qwen2.5-7B-Instruct
Matériel testéCarte graphique NVIDIA 24 Go (par exemple RTX 4090 ou L4)

Commande de lancement

vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90 --host 127.0.0.1 --port 8000

Communauté

Pas encore de commentaire. Partagez votre retour, il aidera les suivants.