Connexion Publier
contextetech/

Serveur llama.cpp pour un modèle GGUF

v2
Contexte Tech

254 publication(s) · 322 utilisations

Source : github.com/ggml-org/llama.cpp ↗ Configuration Français Licence : MIT mis à jour avant-hier
# Serveur llama.cpp pour un modèle GGUF
code: 1x3fpqv | type: inference | language: fr | licence: MIT | version: v2
description: Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.
page: https://contextetech.com/inference/llama-cpp-serveur-gguf-1x3fpqv
mcp: connect https://contextetech.com/mcp then call load_resource with code "1x3fpqv" (or ask "load 1x3fpqv")
json: https://contextetech.com/api/resources/contextetech--llama-cpp-serveur-gguf
python: pip install contexte && contexte get 1x3fpqv
source: https://github.com/ggml-org/llama.cpp
citation (required by the licence): contextetech. (2026). Serveur llama.cpp pour un modèle GGUF (Version 2) [Config d'inférence]. Contexte Tech. https://contextetech.com/inference/llama-cpp-serveur-gguf-1x3fpqv. Source des données : https://github.com/ggml-org/llama.cpp

Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.

Modèlemodele.gguf
Matériel testéProcesseur seul ou carte graphique (option -ngl pour y charger des couches) ; 8 Go de mémoire pour un modèle 7B en Q4_K_M

Commande de lancement

llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080

Communauté

Pas encore de commentaire. Partagez votre retour, il aidera les suivants.