Como funciona o preço de aluguel de GPU, e como o medimos

Há duas coisas diferentes a que as pessoas chamam preço de aluguel de GPU, e elas se comportam de maneira diferente. O RunPod publica um catálogo: uma tarifa fixa por hora para cada tipo de placa, em dois níveis, nuvem segura e nuvem comunitária. O número não se move de um dia para o outro a menos que o RunPod decida mudá-lo. O Vast.ai é um marketplace: hosts independentes listam as próprias máquinas aos próprios preços, e o que você vê é o que está disponível naquele momento.

Coletamos os dois uma vez por dia. Do RunPod guardamos o preço de catálogo de cada nível. Do Vast.ai guardamos, para cada placa, a oferta mais barata e a mediana de todas as ofertas, junto com quantas ofertas sustentavam essa mediana. Esse último número importa mais do que parece.

O mínimo de um marketplace é uma máquina, de um host, num dia. Pode ser uma placa numa garagem com uplink lento, ou uma oferta que some em uma hora. Citar isso como o preço daquela GPU seria enganoso, então os números da capa e dos relatórios diários usam a mediana, e só quando há ofertas suficientes por trás dela. Quando uma placa tem uma única oferta, dizemos isso em vez de vesti-la de mercado.

A mesma lógica vale para as variações. Uma placa que vai de três centavos a trinta centavos numa semana num marketplace normalmente não ficou dez vezes mais cara; uma máquina barata saiu e a seguinte mais barata custava mais. Isso é rotatividade de estoque, não movimento de preço, e os nossos relatórios têm instrução de deixar isso de fora.

O Vast.ai lista máquinas, e uma máquina pode ter oito placas. O preço por hora é da caixa inteira. Dividimos pelo número de placas para que todo número do site seja o custo de uma GPU por uma hora, em qualquer provedor. Sem esse passo, um nó de oito H100 pareceria oito vezes mais caro do que uma oferta de uma placa do mesmo chip.

Ordenar GPUs por preço põe uma GTX 1050 Ti no topo. Ninguém aluga uma placa por ser barata; aluga a mais barata em que o modelo cabe. Por isso a escada da capa responde a outra pergunta: para cada quantidade de memória de vídeo, qual é a placa mais barata que tem pelo menos aquilo? Um degrau de 24 GB, um de 32 GB, até 141 GB. Escolha o degrau de que o seu modelo precisa e leia o preço.

Se um modelo cabe é aritmética que sabemos fazer: parâmetros vezes bytes por parâmetro, mais o cache de atenção para o contexto que você pretende rodar, mais uma margem de segurança. Se ele roda rápido naquela placa é uma medição que não fizemos, e você não vai encontrar nenhuma afirmação sobre isso neste site.

Não dizem a disponibilidade no minuto em que você clica, só o que estava listado quando coletamos. Não comparam uma instância de nuvem segura do RunPod com um host do Vast.ai como se fossem o mesmo produto; uma vem com datacenter e SLA, a outra com o que o host prometeu. E não dizem o throughput. Quando vir um preço aqui, leia-o como o bilhete de entrada, não como o custo total do trabalho.