Serveur llama.cpp pour un modèle GGUF

Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.

Commande de lancement

llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080

Coût estimé

Tokens d'entrée par appel : ≈ 138

Coût d'entrée seulement, sans la réponse du modèle. Prix publics des fournisseurs (Mistral AI, DeepSeek, OpenAI, Anthropic), tarif standard en dollars converti en euros au taux BCE du 29 septembre 2026. Estimation : 1 token ≈ 3,6 caractères.

Identifiant

contextetech--llama-cpp-serveur-gguf

Type

Configs d'inférence

Fichier

llama-cpp-serveur-gguf.inference.json

Format

JSON (application/json)

Taille

562 octets

Encodage

UTF-8

Tokens estimés

≈ 156

Langue

Français

Licence

MIT

Usage commercial

Autorisé

Données personnelles

Aucune

Version

1.0

Publié le

1 octobre 2026 à 18:55

Mis à jour le

1 octobre 2026 à 18:55

Stockage

en base

Utilisations

0

J'aime

0

llama-cpp-serveur-gguf.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/llama-cpp-serveur-gguf",
  "description": "Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.",
  "tags": [
    "llama-cpp",
    "gguf",
    "cpu"
  ],
  "license": "MIT",
  "language": "fr",
  "runtime": "llamacpp",
  "model": "modele.gguf",
  "config": "",
  "command": "llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080",
  "quant": "Q4_K_M",
  "contextLength": 8192,
  "ramGb": null
}

Commande de lancement

llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080