llama.cpp server for a GGUF model

Run any GGUF model with the llama.cpp server: OpenAI-compatible API on port 8080, works without a GPU too.

Comando di avvio

llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080

Costo stimato

Token di input per chiamata : ≈ 135

Solo costo di input, esclusa la risposta del modello. Prezzi pubblici standard dei fornitori (Mistral AI, DeepSeek, OpenAI, Anthropic) convertiti da USD in euro al cambio BCE del 29 settembre 2026. Stima: 1 token ≈ 3,6 caratteri.

Identificativo

contextetech--llama-cpp-server-gguf

Tipo

Config. di inferenza

File

llama-cpp-server-gguf.inference.json

Formato

JSON (application/json)

Dimensione

521 byte

Codifica

UTF-8

Token stimati

≈ 145

Lingua

Inglese

Licenza

MIT

Uso commerciale

Consentito

Dati personali

Nessuno

Versione

1.0

Pubblicato il

2 ottobre 2026 alle ore 21:54

Aggiornato il

2 ottobre 2026 alle ore 21:54

Archiviazione

nel database

Utilizzi

0

Mi piace

0

llama-cpp-server-gguf.inference.json

{
  "format": "contextetech/inference/v1",
  "id": "contextetech/llama-cpp-server-gguf",
  "description": "Run any GGUF model with the llama.cpp server: OpenAI-compatible API on port 8080, works without a GPU too.",
  "tags": [
    "llama-cpp",
    "gguf",
    "cpu"
  ],
  "license": "MIT",
  "language": "en",
  "runtime": "llamacpp",
  "model": "model.gguf",
  "config": "",
  "command": "llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080",
  "quant": "Q4_K_M",
  "contextLength": 8192,
  "ramGb": null
}

Comando di avvio

llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080