llama.cpp server for a GGUF model

Run any GGUF model with the llama.cpp server: OpenAI-compatible API on port 8080, works without a GPU too.

Commande de lancement

llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080

Coût estimé

Tokens d'entrée par appel : ≈ 135

Coût d'entrée seulement, sans la réponse du modèle. Prix publics des fournisseurs (Mistral AI, DeepSeek, OpenAI, Anthropic), tarif standard en dollars converti en euros au taux BCE du 29 septembre 2026. Estimation : 1 token ≈ 3,6 caractères.

Identifiant

contextetech--llama-cpp-server-gguf

Type

Configs d'inférence

Fichier

llama-cpp-server-gguf.inference.json

Format

JSON (application/json)

Taille

521 octets

Encodage

UTF-8

Tokens estimés

≈ 145

Langue

Anglais

Licence

MIT

Usage commercial

Autorisé

Données personnelles

Aucune

Version

1.0

Publié le

2 octobre 2026 à 21:54

Mis à jour le

2 octobre 2026 à 21:54

Stockage

en base

Utilisations

0

J'aime

0

llama-cpp-server-gguf.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/llama-cpp-server-gguf",
  "description": "Run any GGUF model with the llama.cpp server: OpenAI-compatible API on port 8080, works without a GPU too.",
  "tags": [
    "llama-cpp",
    "gguf",
    "cpu"
  ],
  "license": "MIT",
  "language": "en",
  "runtime": "llamacpp",
  "model": "model.gguf",
  "config": "",
  "command": "llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080",
  "quant": "Q4_K_M",
  "contextLength": 8192,
  "ramGb": null
}

Commande de lancement

llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080