llama.cpp server for a GGUF model
Run any GGUF model with the llama.cpp server: OpenAI-compatible API on port 8080, works without a GPU too.
| Modelo | model.gguf |
|---|---|
| Hardware probado | CPU only, or a GPU (use -ngl to offload layers) |
Comando de lanzamiento
llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080
Coste estimado
Tokens de entrada por llamada : ≈ 135
| Modelo | Por llamada | Por 1.000 llamadas |
|---|---|---|
| Mistral Large · Mistral AI | 0,00006 € | 0,06 € |
| DeepSeek Flash · DeepSeek | 0,00004 € | 0,04 € |
| DeepSeek V4 Pro · DeepSeek | 0,00016 € | 0,16 € |
| GPT-6 Luna · OpenAI | 0,00001 € | 0,01 € |
| GPT-6 Sol · OpenAI | 0,00024 € | 0,24 € |
| Claude Sonnet 5.5 · Anthropic | 0,00024 € | 0,24 € |
| Claude Opus 5.5 · Anthropic | 0,00048 € | 0,48 € |
| Modelo de código abierto autoalojado (Ollama, vLLM) | 0 € de API (solo el coste del servidor) | |
Solo coste de entrada, sin la respuesta del modelo. Precios públicos estándar de los proveedores (Mistral AI, DeepSeek, OpenAI, Anthropic) convertidos de USD a euros al tipo del BCE del 29 de septiembre de 2026. Estimación: 1 token ≈ 3,6 caracteres.
Common to all 3 regions
Created by the author, no outside source.
Commercial use allowed · credit the author · changes allowed.
Text or data only: no access to files, network or commands.
Hosted in France (Scaleway, Paris). No transfer outside the EU.
European Union · 5/5
No personal data.
No training data: no summary required.
United States · 5/5
No personal data.
No training data: no documentation to publish.
China · 5/5
No personal data.
No training data; AI-generated content published in China must be labelled (2025).
Indicative summary as of 30/09/2026, not a legal certification. Method and sources →
Estadísticas
Me gusta : 0 · Comentarios : 0
Haz clic en un contador para mostrarlo u ocultarlo; pasa el ratón por el gráfico para ver el detalle. Una visita por visitante y día, sin robots; recuento iniciado el 30 de septiembre de 2026.
- Identificador
- contextetech--llama-cpp-server-gguf
- Tipo
- Configs. de inferencia
- Archivo
- llama-cpp-server-gguf.inference.json
- Formato
- JSON (application/json)
- Tamaño
- 521 bytes
- Codificación
- UTF-8
- Tokens estimados
- ≈ 145
- Idioma
- Inglés
- Licencia
- MIT
- Uso comercial
- Permitido
- Datos personales
- Ninguno
- Versión
- 1.0
- Publicado el
- 2 de octubre de 2026 a las 21:54
- Actualizado el
- 2 de octubre de 2026 a las 21:54
- Almacenamiento
- en base de datos
- Usos
- 0
- Me gusta
- 0
llama-cpp-server-gguf.inference.json
{
"format": "contextetech/inference/v1",
"id": "contextetech/llama-cpp-server-gguf",
"description": "Run any GGUF model with the llama.cpp server: OpenAI-compatible API on port 8080, works without a GPU too.",
"tags": [
"llama-cpp",
"gguf",
"cpu"
],
"license": "MIT",
"language": "en",
"runtime": "llamacpp",
"model": "model.gguf",
"config": "",
"command": "llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080",
"quant": "Q4_K_M",
"contextLength": 8192,
"ramGb": null
}Comando de lanzamiento
llama-server -m model.gguf -c 8192 --host 127.0.0.1 --port 8080
Comunidad
Aún no hay comentarios. Comparte tu opinión, ayudará a los siguientes.