Preços de API de LLM, explicados: por milhão de tokens, janelas de contexto e níveis gratuitos

Os preços de API de modelos de linguagem são cotados por milhão de tokens, e todo modelo tem dois: um para os tokens que você envia (entrada, ou prompt) e outro para os tokens que o modelo escreve de volta (saída, ou completion). A saída é quase sempre mais cara, muitas vezes de três a cinco vezes, porque gerar um token custa mais computação do que ler um. Um preço de $0,25 de entrada e $1,00 de saída significa que um pedido com 3.000 tokens de contexto e 500 tokens de resposta custa cerca de $0,0013.

Coletamos esses preços todos os dias para todos os modelos do OpenRouter, um roteador que expõe centenas de modelos de muitos provedores atrás de uma única API. A tabela da página de preços de modelos é esse snapshot, e o relatório diário de preços de API é escrito a partir da diferença entre um dia e o seguinte.

Um token é um pedaço de texto, normalmente uma palavra ou parte de uma palavra. Em inglês, mil tokens são cerca de 750 palavras; código e outras línguas tokenizam com menos eficiência, então o mesmo texto pode custar mais. Preços por milhão de tokens só são comparáveis entre modelos se você lembrar que tokenizadores diferentes dividem o mesmo texto em contagens diferentes. O site não converte entre tokenizadores; os preços são como o provedor os cota.

A janela de contexto é o número máximo de tokens que um modelo consegue segurar de uma vez, prompt e resposta juntos. Uma janela de 1.000.000 de tokens não é de graça para usar: todo token na janela é cobrado como entrada a cada pedido, então conversas longas ficam caras linearmente. A coluna de contexto existe para você saber se um modelo aceita os seus documentos, não como medida de qualidade.

Alguns modelos no OpenRouter aparecem a $0 tanto na entrada quanto na saída. Marcamos como gratuito só quando os dois preços são exatamente zero; um modelo sem preço publicado é desconhecido, não gratuito, e aparece assim. Níveis gratuitos vêm com condições que o preço não mostra: limites de pedidos por minuto e por dia, prioridade menor quando o provedor está ocupado e, em alguns casos, o direito do provedor de usar os seus prompts para treino. A página de modelos gratuitos acompanha quais modelos são gratuitos num dado dia e a página de mudanças mostra o que entrou e saiu do nível gratuito, porque essas listas mudam toda semana.

Um modelo marcado como pesos abertos tem os pesos publicados no Hugging Face, o que significa que você pode rodá-lo por conta própria em vez de pagar a API. É o único caso em que a comparação API ou GPU se aplica. Modelos fechados têm um preço, o da API, e nenhuma alternativa com que compará-lo.