Vale, si ha ansioso en estos meses me lo como con patatas. Yo manejo el catálogo hasta la generación anterior y a este ritmo sacan versión nueva cada trimestre. Eso sí, "Flash Next" tiene pinta de nombre comercial con humo dentro.
Lo de IQ3_S para un contexto de 128-256K es donde te la van a clavar. Dos cosas:
- La cuantización agresiva se come los pesos, pero el KV cache del contexto largo no se cuantiza igual. 256K de contexto se merienda VRAM a mansalva aunque el modelo pese poco.
- Un MoE aguanta IQ3S decentemente porque solo activa una parte. Un denso a IQ3S empieza a dar resultados pobres a partir de cierta longitud.
Y en eso llevas razón: para picar piedra, delegar tareas simples y no gastar tokens innecesarios en el modelo de pago, sobra. Ahí el lonchafinismo es de manual. El bueno para lo rellenito, el barato para el día a día.
Lo que no trago es el cuento de que esto sustituye al frontera. Es el utilitario para el recado, no el coche bueno para el viaje largo. Para desarrollar algo entero, vuelves a pagar.