API ou sua própria GPU: o ponto de equilíbrio, explicado

Para um modelo de pesos abertos há duas formas de rodá-lo. Pagar uma API por milhão de tokens e não pagar nada enquanto está ocioso, ou alugar uma GPU por hora e pagar o mesmo esteja ocupada ou não. Abaixo de certo volume a API é mais barata; acima dele, a placa. A página chamada API ou sua própria GPU calcula esse cruzamento para todo modelo de pesos abertos que acompanhamos, com os preços que coletamos no mesmo dia.

Três entradas, todas medidas. Primeira, o preço de API do modelo no OpenRouter, em dólares por milhão de tokens, misturando os preços de entrada e de saída na proporção de três tokens de entrada para cada token de saída, que é típica de chat. Segunda, a menor GPU em que o modelo cabe em precisão de 16 bits com contexto de 32.000 tokens, pela mesma aritmética de memória que as páginas de GPU usam: parâmetros vezes dois bytes, mais o cache de atenção, mais 15 por cento de margem. Terceira, o preço por hora mais barato dessa placa nos provedores que acompanhamos naquele dia.

O ponto de equilíbrio é o preço por hora da placa dividido pelo preço misturado da API. O resultado sai em milhões de tokens por hora: o throughput em que a placa alugada custa exatamente o que a API cobraria pelos mesmos tokens. Passe mais tokens do que isso por hora e alugar ganha; menos, e a API ganha.

Não diz se a sua instalação atinge esse throughput. Tokens por hora numa placa dependem de quantização, tamanho do lote, tamanho do contexto e da pilha de serving, e nada disso é algo que tenhamos medido. Um ponto de equilíbrio de 10 milhões de tokens por hora é aritmética; se o seu servidor produz 10 milhões de tokens por hora é benchmark, e a página diz isso na ressalva acima da tabela.

Também assume uma placa. Quando um modelo não cabe em nenhuma GPU isolada que acompanhamos, a página mostra quantas unidades da placa mais barata em que ele cabe seriam necessárias, e o custo por hora multiplica de acordo. Instalações com várias placas têm custos próprios que a aritmética ignora.

Os dois lados se movem. Os preços de API no OpenRouter mudam quando os provedores reprecificam ou quando um modelo ganha ou perde um nível gratuito; os preços de GPU se movem com a oferta do marketplace. Como recalculamos a partir dos snapshots do dia, o mesmo modelo pode passar de API-ganha para alugar-ganha numa semana sem que nada mude na sua carga de trabalho. Os relatórios diários apontam esses movimentos quando acontecem.