Anuncio

NexTalk

Automatiza la primera respuesta. Mantén el toque humano.

Chat en vivo con agentes de IA en tu modelo y tu clave de API, con traspaso a tu equipo.

Empezar gratis

taobao-mnn/MNN-Pocket-0.3B

2d

Antigüedad

93

Me gusta

2.4K

Descargas

Recolectado

New text-generation model. Tags: qwen3, text-generation, mnn, mnn-pocket, on-device, edge, int4, conversational

Lo que cuesta correr esto

0.36B params · 32,768 Contexto

PrecisiónNecesitaEl más barato que lo soporta
16 bits1.3GBRTX 3060 laptop$0.03/h
8 bits0.6GBRTX 3060 laptop$0.03/h
4 bits0.3GBRTX 3060 laptop$0.03/h

Pesos más caché de atención, con un 15% extra para activaciones y la sobrecarga del asignador de memoria. Todo aquí es aritmética: no medimos velocidad, así que no ordenamos los chips por ella. Ver todos los precios de GPU

Lee el artículo completo en huggingface.co

overfeed.news indexa y enlaza. Publicamos un extracto breve; el artículo completo sigue en Hugging Face New Models.

Inicia sesión para seguir esta fuente
taobao-mnn/MNN-Pocket-0.3B — overfeed.news