Anuncio

Privum

Construimos, protegemos y operamos tu infraestructura digital.

Software, sistemas de IA, pruebas de penetración y nube segura para empresas.

Hablar con Privum

RecursiveSI/flint

22d

Antigüedad

125

Me gusta

Recolectado

New text-generation model. Tags: flint, text-generation, conversational, license:apache-2.0

Lo que cuesta correr esto

39.8B params · 32,768 Contexto

PrecisiónNecesitaEl más barato que lo soporta
16 bits89GBGB10$0.24/h
8 bits44GBGB10$0.24/h
4 bits22GBRTX 3090$0.10/h

Pesos más caché de atención, con un 15% extra para activaciones y la sobrecarga del asignador de memoria. Todo aquí es aritmética: no medimos velocidad, así que no ordenamos los chips por ella. Ver todos los precios de GPU

Lee el artículo completo en huggingface.co

overfeed.news indexa y enlaza. Publicamos un extracto breve; el artículo completo sigue en Hugging Face New Models.

Inicia sesión para seguir esta fuente
RecursiveSI/flint — overfeed.news