Infrastruttura: inferenza e stack IA
Eseguire un modello in proprio.
- [de6n4u] Automazioni locali: n8n e Ollama | stack | it | MIT | https://contextetech.com/it/stacks/automazioni-locali-n8n-ollama-de6n4u - [j2wdns] Chat privata sui documenti: Ollama, Qdrant, Open WebUI | stack | it | MIT | https://contextetech.com/it/stacks/chat-privata-documenti-j2wdns - [ebwhir] Mistral 7B su un Mac da 16 GB con Ollama | inference | it | MIT | https://contextetech.com/it/inferenza/mistral-7b-ollama-mac-16gb-it-ebwhir
Automazioni locali: n8n e Ollama
Stack docker-compose per automatizzare con un'IA locale: n8n (workflow) e Ollama (modello), senza inviare dati a un'API esterna.
Chat privata sui documenti: Ollama, Qdrant, Open WebUI
Stack docker-compose per una chat privata sui tuoi documenti: Ollama (modello), Qdrant (database vettoriale) e Open WebUI (interfaccia).
Mistral 7B su un Mac da 16 GB con Ollama
Modelfile Ollama per eseguire Mistral 7B Instruct in locale su un Mac da 16 GB: quantizzazione Q4, contesto 8k, risposte in italiano.
Che cos’è la distribuzione di un modello IA?
La distribuzione consiste nell’installare e configurare un modello per utilizzarlo in un’applicazione, su un server o su un computer locale. Questa famiglia raccoglie risorse per eseguire il modello, ricevere richieste e generare risposte con l’hardware disponibile.