Compatibilidad de modelos
Qué GPU corre qué modelo
Cuánta memoria de video necesita un modelo y el chip más barato que lo soporta a los precios de hoy.
10
32.768
Pesos más caché de atención, con un 15% extra para activaciones y la sobrecarga del asignador de memoria. Todo aquí es aritmética: no medimos velocidad, así que no ordenamos los chips por ella. Las cifras de memoria vienen del listado de cada proveedor. Informamos lo que publican y no lo corregimos.
Llama 3.1 8B
22
RTX 2080 Ti0,07 US$/h
11
RTX 3060 laptop0,03 US$/h
5.4
RTX 3060 laptop0,03 US$/h
Llama 3.1 70B
161
MI300X2,39 US$/h
81
GB100,24 US$/h
40
GB100,24 US$/h
Llama 3.1 405B
886
GB10 × 81,92 US$/h
443
GB10 × 40,96 US$/h
221
MI350X5,49 US$/h
Qwen 2.5 7B
18
RTX 2080 Ti0,07 US$/h
9.1
RTX 3060 laptop0,03 US$/h
4.6
RTX 3060 laptop0,03 US$/h
Qwen 2.5 32B
79
GB100,24 US$/h
39
GB100,24 US$/h
20
RTX 2080 Ti0,07 US$/h
Qwen 2.5 72B
167
MI300X2,39 US$/h
84
GB100,24 US$/h
42
GB100,24 US$/h
Mistral 7B
20
RTX 2080 Ti0,07 US$/h
10
RTX 3060 laptop0,03 US$/h
5.0
RTX 3060 laptop0,03 US$/h
Gemma 2 9B
32
GB100,24 US$/h
16
Tesla P1000,04 US$/h
7.9
RTX 3060 laptop0,03 US$/h
Gemma 2 27B
71
GB100,24 US$/h
36
GB100,24 US$/h
18
RTX 2080 Ti0,07 US$/h
Mixtral 8x7B
MoE105
GB100,24 US$/h
52
GB100,24 US$/h
26
GB100,24 US$/h
Mixture of experts: solo una parte de los pesos se ejecuta por token, pero todos tienen que estar en memoria.
Cuantizar reduce los pesos a la mitad en cada paso. También cambia la calidad de la salida, que esta página no mide.
Ver todos los precios de GPU