Wybierz serwer GPU do lokalnej sztucznej inteligencji

Twój model, Twoja skala: potrzebna pamięć i sprzęt, który wystarczy, aby uruchomić AI u siebie.

Otwarty model Precyzja wag

Rozmiar
aktywnych
Indeks możliwości

Twoje użycie

Zapytania miesięcznie Słowa pisane na zapytanie

Sprzęt	Pamięć	Liczba	Teoretyczna maksymalna przepustowość

Obliczenie: wagi modelu (parametry × bajty na parametr) + 20% na kontekst i środowisko uruchomieniowe. Przepustowość: przepustowość pamięci ÷ wagi czytane na token; to maksimum, w praktyce licz na 50 do 70%.

Źródła : NVIDIA · Apple · oficjalne karty modeli od ich wydawców (rozmiar)

Czy ta informacja była przydatna?