Serveur llama.cpp pour un modèle GGUF

Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.

Comando di avvio

llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080

Costo stimato

Token di input per chiamata : ≈ 138

Solo costo di input, esclusa la risposta del modello. Prezzi pubblici standard dei fornitori (Mistral AI, DeepSeek, OpenAI, Anthropic) convertiti da USD in euro al cambio BCE del 29 settembre 2026. Stima: 1 token ≈ 3,6 caratteri.

Identificativo

contextetech--llama-cpp-serveur-gguf

Tipo

Config. di inferenza

File

llama-cpp-serveur-gguf.inference.json

Formato

JSON (application/json)

Dimensione

562 byte

Codifica

UTF-8

Token stimati

≈ 156

Lingua

Francese

Licenza

MIT

Uso commerciale

Consentito

Dati personali

Nessuno

Versione

1.0

Pubblicato il

1 ottobre 2026 alle ore 18:55

Aggiornato il

1 ottobre 2026 alle ore 18:55

Archiviazione

nel database

Utilizzi

0

Mi piace

0

llama-cpp-serveur-gguf.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/llama-cpp-serveur-gguf",
  "description": "Lancer n'importe quel modèle GGUF avec le serveur de llama.cpp : API compatible OpenAI sur le port 8080, fonctionne aussi sans carte graphique.",
  "tags": [
    "llama-cpp",
    "gguf",
    "cpu"
  ],
  "license": "MIT",
  "language": "fr",
  "runtime": "llamacpp",
  "model": "modele.gguf",
  "config": "",
  "command": "llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080",
  "quant": "Q4_K_M",
  "contextLength": 8192,
  "ramGb": null
}

Comando di avvio

llama-server -m modele.gguf -c 8192 --host 127.0.0.1 --port 8080