El comentario del forero era sobre LLMs en local, y el dudaba si podían correr los modelos tochos así. Le has respondido con las especificaciones de esa máquina que como máximo puede contener 96GB de VRAM (2x RTX 48GB VRAM Ada son al menos unos 14k€). Por eso he comentado que algunas personas, aunque a menor velocidad por limitación del bus de datos, usa PCs con memoria unificada (los de la manzana), lo que les permite tener hasta 256GB de VRAM (menos al ser compartida, digamos 200GB de VRAM por exagerar el uso de RAM para CPU).
Cuando uno echa un ojo a los modelos disponibles, de 4bits para arriba, es dificil encontrar modelos recientes que ocupen menos de 200GB, unsloth (Unsloth AI)
Hace tiempo leí de refilón que algunos están usando trucos como usar los discos SSD como si fuera una VRAM con CPU para cargar los modelos, a coste de desgastar el disco SSD, aunque ni idea de la velocidad. Ahora que lo comentas, de ser efectivo ese método, ahí si creo que tendrían sentido los 512GB DDR (y los discos en RAID para solventar el tema del desgaste SSD y por redundancia cuando falle un disco). Pero no lo he investigado.
La gente está virando hacia LLMs en local, y el hardware está virando a ello, aunque Nvidia, al usar caramelos (servir librerías que solo usan GPU, lo cual es entendible, y al limitar la VRAM que llevan sus GPUs vilmente) está ralentizando el proceso.