Välj din GPU-server för lokal artificiell intelligens

Din modell, din volym: minnet som behövs och hårdvaran som räcker för att köra en AI i egen regi.

Öppen modell Viktprecision

Storlek
aktiva
Kapacitetsindex

Din användning

Förfrågningar per månad Skrivna ord per förfrågan

Hårdvara	Minne	Enheter	Teoretisk maximal genomströmning

Beräkning: modellens vikter (parametrar × byte per parameter) + 20 % för kontext och motor. Genomströmning: minnesbandbredd ÷ vikter som läses per token; det är ett maxvärde, räkna med 50 till 70 % i praktiken.

Källor : NVIDIA · Apple · modellutgivarnas officiella modellkort (storlek)

Var den här informationen användbar?