Como o overfeed.news coleta e publica os seus dados

O lado de feed do site acompanha catorze fontes curadas: blogs oficiais de empresas, duas redações de tecnologia, o arXiv, os lançamentos de modelos do Hugging Face e as discussões de IA do Hacker News. Um coletor consulta cada fonte mais ou menos a cada quinze minutos, o dia inteiro. A curadoria acontece no nível da fonte, nunca por matéria: se uma fonte acompanhada publica, aparece aqui, na secção a que a fonte pertence.

Todo item é deduplicado pela URL canónica e por um hash do conteúdo, então uma matéria distribuída em dois feeds aparece uma vez. O payload original de cada busca é guardado sem alteração, e é isso que permite reconferir um item contra o que a fonte de fato enviou.

Nunca republicamos texto integral. Para fontes de imprensa guardamos o título, o link e até 25 palavras; para blogs oficiais de empresas até 60 palavras; para papers o abstract, que é o que os índices sempre mostraram; para o Hacker News e model cards o título e o link. Imagens só aparecem onde a classe da fonte permite. É uma linha legal tanto quanto editorial: o texto pertence a quem o escreveu, e toda entrada aponta de volta para eles. Editores que queiram uma entrada removida podem usar a página de remoção.

Os preços são coletados uma vez por dia, não continuamente. Os preços de aluguel de GPU vêm do catálogo do RunPod e do marketplace do Vast.ai, guardados por placa, por provedor e por nível, com o número de ofertas por trás de cada mediana de marketplace. Os preços de API de LLM vêm da lista pública de modelos do OpenRouter, guardados por modelo com preço de entrada, preço de saída, janela de contexto e se os pesos são abertos. Um snapshot é escrito uma vez por dia e nunca editado, então o histórico é o que era verdade em cada data.

Como nenhum provedor oferece histórico, as nossas séries começam no dia em que começamos a coletar. Uma placa ou modelo que aparece nas nossas páginas pela primeira vez tem um histórico de um ponto até o dia seguinte.

Todos os dias o site publica um relatório curto escrito a partir dos snapshots do dia: o mercado de GPU, os preços de API ou, às segundas, a forma da semana. O relatório é redigido por um modelo de linguagem que recebe apenas um pacote estruturado com os números e nomes do dia, e nada mais; ele não navega e não recebe o texto das notícias. Antes da publicação o rascunho é verificado automaticamente: todo número nele tem de existir no pacote, não pode afirmar desempenho ou benchmarks, não pode conter links e não pode reescrever texto de terceiros. Um rascunho que falha em qualquer verificação é descartado e o modelo seguinte é tentado; se nenhum passa, aquele dia fica sem relatório. O pacote de que cada relatório saiu fica guardado com ele, e cada página de relatório nomeia o modelo que o redigiu.

Se um número do site está errado, queremos saber. Escreva para o endereço de contacto da página Sobre com a página e o número, e vamos conferi-lo contra o snapshot guardado e corrigir ou remover a página.