Opciones para montar un IA workstation y valoaciones.

IA workstation local con tarjeta gráfica de gama alta y memoria rápida para inferencia de modelos de lenguaje
RESUMEN DEL DEBATE · elaborado con IA

Montar una estación de trabajo para inteligencia artificial local tiene un precio de entrada que quita las ganas. Según las cifras que se manejan en el debate, el Mac Studio M5 Ultra ronda los 7.000 euros y ofrece un ancho de banda de 1 TB por segundo. Un equipo PC de los que se anuncian como «IA workstation» baja a unos 3.000 euros, pero su memoria mueve datos a 250 GB/s.

Leer el resumen completo →

vallamete

¿De dónde a dónde según cuanto?
Desde
27 Jun 2025
Mensajes
270
Fruta
40
¿Qué opciones hay para montar un IA workstation? ¿Qué valoraciones merecen?
 
Creo que lo mejor es el Mac Studio M5 Ultra. Es de lo más rápido porque tiene mucho ancho de banda y también tiene mucha vram. Pero 7000€ es demasiado.

El mundo PC ha hecho la solución de aumentar la velocidad de la ram y el ancho de banda, aunque la velocidad no es de lo mejor, es usable según si se va a usar más en modo chat o se tiene tiempo para esperar más a que acabe de hacer las tareas la IA en modo agente. Se pueden comprar equipos de esos por 3000€

He visto RTX 5090 a 6000€

¿Se pueden montar equipos más baratos que valgan la pena?
 
Estoy de acuerdo contigo, pero tener tu privacidad, tu propiedad y tu control sobre las cosas que te afectan a ti, también es interesante. A un precio razonable, claro.
Tienes que estar registrado para ver este contenido
 
vallamete dijo:
Estoy de acuerdo contigo, pero tener tu privacidad, tu propiedad y tu control sobre las cosas que te afectan a ti, también es interesante. A un precio razonable, claro.



Tienes que estar registrado para ver este contenido
Hacer clic para expandir...
Ahí esta el problema, el precio razonable ^^


En este vídeo te lo dejan claro
 
Para IA lo que más importa, además de que tenga muchos Giga Bytes de memoria vram o lpram o ram, es la velocidad del ancho de banda. El procesador se queda esperando a que le lleguen los datos de ram, porque la velocidad del ancho de banda es lenta.




La velocidad del ancho de banda depende del tamaño que tiene el propio ancho de banda y de la velocidad de la ram.

El Mac Studio M5 Ultra tiene una velocidad de ancho de banda de 1TB por segundo.

Los PC IA pueden tener un velocidad de ancho de banda de 250GB por segundo.

Una IA de 27B en una grafica de 900GB/s puede ir a 40 tokens por segundo. Entonces en un PC de 90GB/s iria a 4 t/s.

Simplemente con tener una velocidad de tokens por segundo, en vez segundos por token ya se pueden hacer cosas ¿No?
 
vallamete dijo:
Para IA lo que más importa, además de que tenga muchos Giga Bytes de memoria vram o lpram o ram, es la velocidad del ancho de banda. El procesador se queda esperando a que le lleguen los datos de ram, porque la velocidad del ancho de banda es lenta.




La velocidad del ancho de banda depende del tamaño que tiene el propio ancho de banda y de la velocidad de la ram.

El Mac Studio M5 Ultra tiene una velocidad de ancho de banda de 1TB por segundo.

Los PC IA pueden tener un velocidad de ancho de banda de 250GB por segundo.

Una IA de 27B en una grafica de 900GB/s puede ir a 40 tokens por segundo. Entonces en un PC de 90GB/s iria a 4 t/s.

Simplemente con tener una velocidad de tokens por segundo, en vez segundos por token ya se pueden hacer cosas ¿No?
Hacer clic para expandir...
No es "velocidad de ancho de banda" sino ancho de banda a secas.
 
​














vallamete dijo:
Para IA lo que más importa, además de que tenga muchos Giga Bytes de memoria vram o lpram o ram, es la velocidad del ancho de banda. El procesador se queda esperando a que le lleguen los datos de ram, porque la velocidad del ancho de banda es lenta.




La velocidad del ancho de banda depende del tamaño que tiene el propio ancho de banda y de la velocidad de la ram.

El Mac Studio M5 Ultra tiene una velocidad de ancho de banda de 1TB por segundo.

Los PC IA pueden tener un velocidad de ancho de banda de 250GB por segundo.

Una IA de 27B en una grafica de 900GB/s puede ir a 40 tokens por segundo. Entonces en un PC de 90GB/s iria a 4 t/s.

Simplemente con tener una velocidad de tokens por segundo, en vez segundos por token ya se pueden hacer cosas ¿No?
Hacer clic para expandir...
Pero que no se trata de eso, se trata de ver si te sale rentable, el video hace cuentas y ya te digo que para meter modelos buenos no te sale a cuenta.
 
Tienes que estar registrado para ver este contenido
 
Última edición por un moderador:
Para IA local seria la gente se están pillando los DGX Spark de Nvidia, pero como te dicen arriba, no lo vas a rentabilizar en la vida si las suscripciones de Claude/ChatGPT mantienen precios.

Para privacidad yo estoy usando byteshape/Qwen3.8-27B-GGUF IQ3_S, que para caber en 16 GB de VRAM va sorprendentemente bien, pero nada que ver con Opus/Sol, aunque más o menos tienes en local una IA que el año pasado era tope de gama.
 
A mi hay un tema que me echa para atrás y es que te puedes gastar una pasta en un servidor de IA local y que en unos meses los chinos corten el grifo de los modelos abiertos, con lo que te quedarías con modelos atrasados.

Desgraciadamente el entrenamiento requiere mucho cómputo y es algo que no podemos hacer colaborativamente entre los entusiastas, tienen que hacerlo empresas con miles de GPUs.

De momento para trastear tiro con un mac mini que me pillé antes de la subida y hace cosas decentes.
 
Los modelos de IA de los que podemos disponer (modelos abiertos) hasta ahora son muy buenos en plan memorístico. Para eso no hacen falta modelos de muy grandes de muchos B. Hace falta que puedan trabajar con mucho volumen de información. Ahora te puedes descargar modelos que pueden trabajar con 200K (Que sería como un libro pequeño de 200.000 páginas ¿No?) Pero ahora se empieza a ver el potencial del razonamiento y rerazonamiento que pueden hacer y la forma de trabajar de auto revisar sus respuestas. Con eso, modelos de IA pequeños, podrían llegar a resolver problemas muy complicados. También da buenos resultados entrenarles no solo con palabras sino también con imágenes y voz, sin tantos filtros intermedios.

Se empieza a ver el potencial de los modelos pequeños. Entrenándolos más realistamente y poniéndolos a trabajar más en auto ir rehaciendo y repensando más, para acertar más.
 
Open Ai no tiene servidores propios. Los servidores los alquila. Una empresa en su propio local lleno de Gráficas RTX que le costarían 100 mil euros, podría tener modelos de frontera, pero irían muy lentos. La única solución es alquilar servidores. En España se va a construir un centro de datos, están buscando financiación privada, el estado va a poner 700 millones de euros, en centro de datos costará 4 mil millones. Puede que esté construido en 2028. Eso podría ser una oportunidad para las empresas españolas en las que tener los datos privados es la única opción.
 
a ver, si te esperas mas tendras mejor tecnologia mas barata. Depende de la prisa q tengas
La segarro unificada tipo mac mini o Spark se va a extender a toda la industria de portatiles en los proximos dos años, no sera raro ver un portatil con 128 gb de vram para correr modelos. Y a su vez los modelos cada vez son mas eficientes tbien
 
Iniciar sesión o registrarte para responder aquí.

Estadísticas del foro

Temas
2.053.579
Mensajes
58.259.068
Miembros
190.939
Último miembro
blumarin

El blog de burbuja.info

Volver