Escolha o seu servidor GPU para inteligência artificial local
O seu modelo, o seu volume: a memória necessária e o hardware suficiente para executar uma IA internamente.
- Tamanho
- ativos
- Índice de capacidade
A sua utilização
| Hardware | Memória | Unidades | Débito máximo teórico |
|---|
Cálculo: pesos do modelo (parâmetros × bytes por parâmetro) + 20% para o contexto e o motor. Débito: largura de banda da memória ÷ pesos lidos por token; é um máximo, conte com 50 a 70% na prática.
Fontes : NVIDIA · Apple · fichas oficiais dos modelos dos editores (tamanho)
Esta informação foi útil?