mindugi
Madmaxista
- Desde
- 10 Ago 2015
- Mensajes
- 15.341
- Reputación
- 47.490
Para eso mejor alquilo una GPU online y corro los modelos de Stable Diffusion que me salga de los narices, en Paperspace o similar
Hay que esperar un par de años a que salgan a mercado las nuevas generaciones de tarjetas gráficas para correrlo todo en local (LLM, STT, generación de imágenes...)
Eso, o palmar 600-800 pavers en una nvidia de por lo menos 12 GB de VRAM, y capar los modelos con cuantización porque si no van petados o directamente no caben.
Lo dicho, mejor esperar a que Intel, AMD... saquen saquen sus gráficas u otros dispositivos de computación paralela, que aumenten la capacidad de cómputo, bajen los precios y los modelos se optimicen. Ahora mismo los modelos guapos son mastodontes de decenas de gigas. Está en pañales esta tecnología
Insisto, lo interesante del futuro de la IA está en el procesamiento local, con el usuario afinando sus propios modelos, nada de nubes con censura pogre, minado de datos y cuotas premium. EN LOCAL TODO SIEMPRE QUE SEA POSIBLE
PD.Ojo, con una gráfica de 4GB de VRAM ya puedes correr cosas interesantes: modelos pequeños pero entrenados para usos específicos que ofrecen incluso mejores resultados que los modelos generalistas de la "nube"
Hay que esperar un par de años a que salgan a mercado las nuevas generaciones de tarjetas gráficas para correrlo todo en local (LLM, STT, generación de imágenes...)
Eso, o palmar 600-800 pavers en una nvidia de por lo menos 12 GB de VRAM, y capar los modelos con cuantización porque si no van petados o directamente no caben.
Lo dicho, mejor esperar a que Intel, AMD... saquen saquen sus gráficas u otros dispositivos de computación paralela, que aumenten la capacidad de cómputo, bajen los precios y los modelos se optimicen. Ahora mismo los modelos guapos son mastodontes de decenas de gigas. Está en pañales esta tecnología
Insisto, lo interesante del futuro de la IA está en el procesamiento local, con el usuario afinando sus propios modelos, nada de nubes con censura pogre, minado de datos y cuotas premium. EN LOCAL TODO SIEMPRE QUE SEA POSIBLE
PD.Ojo, con una gráfica de 4GB de VRAM ya puedes correr cosas interesantes: modelos pequeños pero entrenados para usos específicos que ofrecen incluso mejores resultados que los modelos generalistas de la "nube"
Última edición:
