Follow along with the video below to see how to install our site as a web app on your home screen.
Nota: This feature may not be available in some browsers.
Ahí esta el problema, el precio razonable ^^Estoy de acuerdo contigo, pero tener tu privacidad, tu propiedad y tu control sobre las cosas que te afectan a ti, también es interesante. A un precio razonable, claro.
Tienes que estar registrado para ver este contenido
No es "velocidad de ancho de banda" sino ancho de banda a secas.Para IA lo que más importa, además de que tenga muchos Giga Bytes de memoria vram o lpram o ram, es la velocidad del ancho de banda. El procesador se queda esperando a que le lleguen los datos de ram, porque la velocidad del ancho de banda es lenta.
La velocidad del ancho de banda depende del tamaño que tiene el propio ancho de banda y de la velocidad de la ram.
El Mac Studio M5 Ultra tiene una velocidad de ancho de banda de 1TB por segundo.
Los PC IA pueden tener un velocidad de ancho de banda de 250GB por segundo.
Una IA de 27B en una grafica de 900GB/s puede ir a 40 tokens por segundo. Entonces en un PC de 90GB/s iria a 4 t/s.
Simplemente con tener una velocidad de tokens por segundo, en vez segundos por token ya se pueden hacer cosas ¿No?
Pero que no se trata de eso, se trata de ver si te sale rentable, el video hace cuentas y ya te digo que para meter modelos buenos no te sale a cuenta.Para IA lo que más importa, además de que tenga muchos Giga Bytes de memoria vram o lpram o ram, es la velocidad del ancho de banda. El procesador se queda esperando a que le lleguen los datos de ram, porque la velocidad del ancho de banda es lenta.
La velocidad del ancho de banda depende del tamaño que tiene el propio ancho de banda y de la velocidad de la ram.
El Mac Studio M5 Ultra tiene una velocidad de ancho de banda de 1TB por segundo.
Los PC IA pueden tener un velocidad de ancho de banda de 250GB por segundo.
Una IA de 27B en una grafica de 900GB/s puede ir a 40 tokens por segundo. Entonces en un PC de 90GB/s iria a 4 t/s.
Simplemente con tener una velocidad de tokens por segundo, en vez segundos por token ya se pueden hacer cosas ¿No?