Kies je GPU-server voor lokale kunstmatige intelligentie

Jouw model, jouw volume: het benodigde geheugen en de hardware die volstaat om een AI zelf te draaien.

Open model Precisie van de gewichten

Grootte
actief
Capaciteitsindex

Jouw gebruik

Verzoeken per maand Geschreven woorden per verzoek

Hardware	Geheugen	Eenheden	Theoretische maximale doorvoer

Berekening: gewichten van het model (parameters × bytes per parameter) + 20% voor context en runtime. Doorvoer: geheugenbandbreedte ÷ per token gelezen gewichten; dit is een maximum, reken in de praktijk op 50 tot 70%.

Bronnen : NVIDIA · Apple · officiële modelkaarten van de uitgevers van de modellen (grootte)

Was deze informatie nuttig?