Serveur llama.cpp pour un modèle GGUF

Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.

Startbefehl

llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080

Geschätzte Kosten

Eingabe-Tokens pro Aufruf : ≈ 138

Nur Eingabekosten, ohne die Antwort des Modells. Öffentliche Standardpreise der Anbieter (Mistral AI, DeepSeek, OpenAI, Anthropic) von USD in Euro umgerechnet zum EZB-Kurs vom 29. September 2026. Schätzung: 1 Token ≈ 3,6 Zeichen.

Kennung

contextetech--llama-cpp-serveur-gguf

Typ

Inferenz-Konfigurationen

Datei

llama-cpp-serveur-gguf.inference.json

Format

JSON (application/json)

Größe

562 Bytes

Kodierung

UTF-8

Geschätzte Tokens

≈ 156

Sprache

Französisch

Lizenz

MIT

Kommerzielle Nutzung

Erlaubt

Personenbezogene Daten

Keine

Version

1.0

Veröffentlicht am

1. Oktober 2026 um 18:55

Aktualisiert am

1. Oktober 2026 um 18:55

Speicherung

in der Datenbank

Nutzungen

0

Gefällt mir

0

llama-cpp-serveur-gguf.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/llama-cpp-serveur-gguf",
  "description": "Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.",
  "tags": [
    "llama-cpp",
    "gguf",
    "cpu"
  ],
  "license": "MIT",
  "language": "fr",
  "runtime": "llamacpp",
  "model": "modele.gguf",
  "config": "",
  "command": "llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080",
  "quant": "Q4_K_M",
  "contextLength": 8192,
  "ramGb": null
}

Startbefehl

llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080