¿Las IAs están en un disco duro como cualquier programa?

[oberwald]

¿Están en discos duros?

¿Discos duros normales como para Windows?

¿Un único disco duro o muchos conectados?

Por ejemplo Gemini o ChatGPT ¿cuántos Gigas o Teras ocupan?

¿Se pueden desconectar y llevar en un bolsillo?

 

[TradingMetales]

Si, y pueden ocupar de pocos gigas a más de un tera. Pero no las puedes usar salvo teniendo mucha RAM y/o memoria de vídeo (tarjeta gráfica).

 

[Josar]

¿Están en discos duros?

¿Discos duros normales como para Windows?

¿Un único disco duro o muchos conectados?

Por ejemplo Gemini o ChatGPT ¿cuántos Gigas o Teras ocupan?

¿Se pueden desconectar y llevar en un bolsillo?

Puedes hacerla funcionar en un disco duro

Cuantos más datos tenga y potencia, más lista será

La superintenligencia artificial estará conectada a internet y absorvera toda la energía posible del planeta

Tu podrás tener si quieres una desconectada de internet en tu pc y darle los datos de la wikipedia que hayas descargado en ese disco duro, pero obviamente no será igual de lista

 

[oberwald]

Si, y pueden ocupar de pocos gigas a más de un tera. Pero no las puedes usar salvo teniendo mucha RAM y/o memoria de vídeo (tarjeta gráfica).

Y entonces por ejemplo Gemini está en un disco duro de algún lugar de EEUU y se puede apagar y transportar en el bolsillo?

¿No hay miles de copias en miles de discos, es solo un programa único?

No es fácil de entender.

Yo supongo que Gemini está en muchos discos duros repartidos por data centers refrigerados enormes conectados entre sí pero no lo sé por eso pregunto.

 

[TradingMetales]

Y entonces por ejemplo Gemini está en un disco duro de algún lugar de EEUU y se puede apagar y transportar en el bolsillo?

¿No hay miles de copias en miles de discos, es solo un programa único?

No es fácil de entender.

Yo supongo que Gemini está en muchos discos duros repartidos por data centers refrigerados enormes conectados entre sí pero no lo sé por eso pregunto.

Gémini estará replicado en varios discos duros de servidores. Habrá miles de Gémini por todo el mundo, cada uno pesando una barbaridad y con diferentes versiones.

Ese disco duro individual, por cada copia, será corrido en máquinas de mucha memoria que sirven a los usuarios que hacen las consultas.

Así que en principio descarto que sea un único gemini por versión usando un único disco duro.

 

[TradingMetales]

Sí, las Inteligencias Artificiales están guardadas en discos duros, pero la respuesta cambia radicalmente si hablamos de una IA pequeña que usas en tu casa o de gigantes como ChatGPT o Gemini.
Para resolver tus dudas de forma sencilla, la realidad se divide en dos mundos: el de los superordenadores y el de consumo personal.
------------------------------
## 1. ¿Cómo se guardan ChatGPT o Gemini? (Grandes Modelos)
Tu intuición en el mensaje #5 es la correcta. Las IAs comerciales no son un único archivo en un ordenador de Estados Unidos.

* ¿Están en discos duros normales? Físicamente sí, pero de categoría empresarial (SSD NVMe para servidores). Son como los de un PC moderno, pero mucho más rápidos, duraderos y conectados a placas base industriales.
* ¿Están en un solo disco? No. Ocupan tanto y requieren tanta velocidad que los archivos se dividen y se estructuran a lo largo de miles de discos duros trabajando en paralelo dentro de centros de datos (Data Centers) masivos.
* ¿Cuántos Gigas o Teras ocupan? Los modelos comerciales más grandes (como GPT-4) no se mide solo el programa, sino sus "pesos" (las conexiones neuronales). Se estima que pueden ocupar desde varios Terabytes hasta Petabytes (1 Petabyte = 1.000 Terabytes) si sumamos el modelo, el código de infraestructura y las bases de datos de entrenamiento.
* ¿Se pueden llevar en un bolsillo? No. Aunque pudieras meter los archivos de GPT-4 en un disco duro portátil muy grande, no podrías ejecutarlo. Para arrancar esa IA necesitas miles de tarjetas gráficas (GPUs como las Nvidia H100) e ingentes cantidades de memoria RAM especial (VRAM) que consumen la electricidad de un barrio entero.
* ¿Hay copias? Sí, miles de copias idénticas (réplicas) repartidas por todo el mundo para que, cuando tú preguntes desde España, te responda un servidor cercano y no tarde minutos en contestar.

------------------------------
## 2. El caso de las IAs locales (Las que sí caben en un bolsillo)
Como decía el usuario TradingMetales en el foro, hoy en día sí puedes tener una IA completamente desconectada de internet en tu casa. Existen modelos de código abierto (como Llama de Meta o Phi de Microsoft).

* ¿Cuánto ocupan? Hay modelos excelentes que ocupan entre 4 GB y 50 GB.
* ¿Caben en el bolsillo? Sí. Puedes meter una IA entera en un pendrive o en un disco duro portátil, llevártela a un búnker sin internet, conectarla a un ordenador potente y funcionará perfectamente.
* El verdadero límite: El problema no es el almacenamiento (el disco duro), sino la memoria RAM y la tarjeta gráfica (VRAM). Para que esa IA del bolsillo "piense" rápido, tu ordenador necesita una tarjeta gráfica potente (por ejemplo, una Nvidia RTX 4060 o superior). Si no tienes esa potencia, la IA leerá el disco duro tan despacio que tardará 5 minutos en escribir una sola palabra.

------------------------------
## Resumen de diferencias

| Característica | IA de Bolsillo (Local como Llama 3) | IA Gigante (ChatGPT / Gemini) |
|---|---|---|
| Almacenamiento | 1 solo disco duro común (SSD) | Miles de discos SSD industriales en red |
| Tamaño aproximado | De 4 GB a 50 GB | De varios Terabytes a Petabytes |
| ¿Cabe en el bolsillo? | Sí, en un pendrive | No, requiere un Data Center entero |
| Dependencia de Internet | Cero. Funciona offline | Total. Si se cae el servidor, no funciona |

 

[chameleon]

¿Están en discos duros?

¿Discos duros normales como para Windows?

¿Un único disco duro o muchos conectados?

Por ejemplo Gemini o ChatGPT ¿cuántos Gigas o Teras ocupan?

¿Se pueden desconectar y llevar en un bolsillo?

si, estan en discos duros. las IA propietarias no se sabe cuanto ocupan porque no te las puedes bajar.

las IA open source las tienes desde unos pocos gigas hasta igual 50. depende del grado de "definicion" que quieras.

si, las puedes hacer funcionar en tu casa, pero necesitas para que vaya rapido gpus grandes, con eso entre 25 y 50 gb de vram. puedes hacerlas funcionar solo con cpu mas memoria ram normal, pero iran a 3 o 4 palabras por segundo

apple, nvidia o dell tienen mini ordenadores con capacidad para meter estas ia . no creo que puedas meterla en el bolsillo. pero puedes instalartela en casa y llamarlas /usarlas desde tu movil a coste cero por consulta

 

[oberwald]

Sí, las Inteligencias Artificiales están guardadas en discos duros, pero la respuesta cambia radicalmente si hablamos de una IA pequeña que usas en tu casa o de gigantes como ChatGPT o Gemini.
Para resolver tus dudas de forma sencilla, la realidad se divide en dos mundos: el de los superordenadores y el de consumo personal.
------------------------------
## 1. ¿Cómo se guardan ChatGPT o Gemini? (Grandes Modelos)
Tu intuición en el mensaje #5 es la correcta. Las IAs comerciales no son un único archivo en un ordenador de Estados Unidos.

* ¿Están en discos duros normales? Físicamente sí, pero de categoría empresarial (SSD NVMe para servidores). Son como los de un PC moderno, pero mucho más rápidos, duraderos y conectados a placas base industriales.
* ¿Están en un solo disco? No. Ocupan tanto y requieren tanta velocidad que los archivos se dividen y se estructuran a lo largo de miles de discos duros trabajando en paralelo dentro de centros de datos (Data Centers) masivos.
* ¿Cuántos Gigas o Teras ocupan? Los modelos comerciales más grandes (como GPT-4) no se mide solo el programa, sino sus "pesos" (las conexiones neuronales). Se estima que pueden ocupar desde varios Terabytes hasta Petabytes (1 Petabyte = 1.000 Terabytes) si sumamos el modelo, el código de infraestructura y las bases de datos de entrenamiento.
* ¿Se pueden llevar en un bolsillo? No. Aunque pudieras meter los archivos de GPT-4 en un disco duro portátil muy grande, no podrías ejecutarlo. Para arrancar esa IA necesitas miles de tarjetas gráficas (GPUs como las Nvidia H100) e ingentes cantidades de memoria RAM especial (VRAM) que consumen la electricidad de un barrio entero.
* ¿Hay copias? Sí, miles de copias idénticas (réplicas) repartidas por todo el mundo para que, cuando tú preguntes desde España, te responda un servidor cercano y no tarde minutos en contestar.

------------------------------
## 2. El caso de las IAs locales (Las que sí caben en un bolsillo)
Como decía el usuario TradingMetales en el foro, hoy en día sí puedes tener una IA completamente desconectada de internet en tu casa. Existen modelos de código abierto (como Llama de Meta o Phi de Microsoft).

* ¿Cuánto ocupan? Hay modelos excelentes que ocupan entre 4 GB y 50 GB.
* ¿Caben en el bolsillo? Sí. Puedes meter una IA entera en un pendrive o en un disco duro portátil, llevártela a un búnker sin internet, conectarla a un ordenador potente y funcionará perfectamente.
* El verdadero límite: El problema no es el almacenamiento (el disco duro), sino la memoria RAM y la tarjeta gráfica (VRAM). Para que esa IA del bolsillo "piense" rápido, tu ordenador necesita una tarjeta gráfica potente (por ejemplo, una Nvidia RTX 4060 o superior). Si no tienes esa potencia, la IA leerá el disco duro tan despacio que tardará 5 minutos en escribir una sola palabra.

------------------------------
## Resumen de diferencias

| Característica | IA de Bolsillo (Local como Llama 3) | IA Gigante (ChatGPT / Gemini) |
|---|---|---|
| Almacenamiento | 1 solo disco duro común (SSD) | Miles de discos SSD industriales en red |
| Tamaño aproximado | De 4 GB a 50 GB | De varios Terabytes a Petabytes |
| ¿Cabe en el bolsillo? | Sí, en un pendrive | No, requiere un Data Center entero |
| Dependencia de Internet | Cero. Funciona offline | Total. Si se cae el servidor, no funciona |

Muchas gracias, ¿a qué IA le has preguntado?

¿Por qué necesitan tantas tarjetas gráficas tan potentes si no producen imágenes como los videojuegos?

 

[TradingMetales]

Muchas gracias, ¿a qué IA le has preguntado?

¿Por qué necesitan tantas tarjetas gráficas tan potentes si no producen imágenes como los videojuegos?

Le he preguntado a Gemini.

Necesita tarjeta gráfica porque mueve muchísimos datos, y en las tarjetas tienen mayor ancho de banda de datos.

La IA ha exagerado un poco, no necesitas miles de ellas. Pero para dar servicio a la gente, sí.

A más tengas más rápido irá la respuesta en tokens por segundo.

Por ejemplo con tener 10x H100 ya es más que suficiente como para darle muy duro a una IA personal.

 

[oberwald]

Le he preguntado a Gemini.

Necesita tarjeta gráfica porque mueve muchísimos datos, y en las tarjetas tienen mayor ancho de banda de datos.

La IA ha exagerado un poco, no necesitas miles de ellas. Pero para dar servicio a la gente, sí.

A más tengas más rápido irá la respuesta en tokens por segundo.

Por ejemplo con tener 10x H100 ya es más que suficiente como para darle muy duro a una IA personal.

O sea que las tarjetas gráficas no sirven solo para crear gráficos o imágenes o video.

Pensaba que todo lo que es texto ceros y unos lo hacia el procesador y la memoria RAM de almacén de primera mano y el disco duro de almacén grande.

 

[TradingMetales]

O sea que las tarjetas gráficas no sirven solo para crear gráficos o imágenes o video.

Pensaba que todo lo que es texto ceros y unos lo hacia el procesador y la memoria RAM de almacén de primera mano y el disco duro de almacén grande.

¡Has dado exactamente en el clavo de la gran revolución tecnológica de los últimos años! Tu razonamiento clásico es totalmente lógico: históricamente, el procesador (CPU) hacía los cálculos de texto y datos, y la tarjeta gráfica (GPU) dibujaba los polígonos de los videojuegos.
Sin embargo, las Inteligencias Artificiales han cambiado las reglas del juego. Las tarjetas gráficas no se usan para pintar imágenes en la IA, sino por cómo están construidas por dentro.
------------------------------
## La diferencia matemática: ¿Por qué la GPU y no la CPU?
La diferencia clave está en cómo piensan un procesador y una tarjeta gráfica.

*
* El Procesador (CPU) es un "Catedrático genio": Está diseñado para hacer operaciones matemáticas increíblemente complejas y variadas, pero de una en una (o en muy pocos hilos a la vez, típicamente 8, 16 o 24 núcleos). Es ultrarrápido ejecutando tareas secuenciales (primero el paso A, luego el B, luego el C).
* La Tarjeta Gráfica (GPU) es un "Ejército de miles de escolares": No está pensada para problemas lógicos complejos, sino para hacer millones de matemáticas ultra-simples (sumas y multiplicaciones) todas a la vez (en paralelo). Una tarjeta gráfica moderna no tiene 8 o 16 núcleos; tiene miles de núcleos pequeños (llamados núcleos CUDA o Tensor).
*

## ¿Cómo funciona el texto para una IA?
Aunque tú veas texto en la pantalla, para ChatGPT o Gemini el texto no existe; solo existen los números.
Cuando tú le escribes una frase, la IA traduce cada palabra en una lista gigante de números (un vector). Para adivinar la siguiente palabra de la respuesta, la IA tiene que multiplicar tu frase por los miles de millones de conexiones neuronales (llamados "parámetros") que tiene guardados en su memoria.
Para una CPU, hacer miles de millones de multiplicaciones secuenciales le llevaría minutos por cada palabra. Una GPU, al tener miles de núcleos trabajando en paralelo, puede hacer todas las multiplicaciones al mismo tiempo en un milisegundo. Por eso se usan tarjetas gráficas: convirtieron un chip de videojuegos en una supercalculadora matricial.
------------------------------
## ⚡ El gran cuello de botella: El Ancho de Banda (VRAM vs RAM)
Como bien mencionaba el usuario TradingMetales en el foro, hay otro motivo crucial: la velocidad a la que se transmiten los datos.
La memoria RAM normal de un ordenador es rápida, pero la memoria que llevan dentro las tarjetas gráficas (VRAM, como la GDDR6 o HBM) es hasta 10 veces más rápida transportando datos.
Como el archivo de la IA (los pesos del modelo) tiene que estar cargado por completo en la memoria para poder "pensar", si usaras la RAM normal, el procesador se quedaría esperando a que le lleguen los datos. La VRAM de la gráfica satura de datos los núcleos a una velocidad endiablada.
------------------------------
## Aclarando el debate del foro: ¿Hacen falta miles de gráficas?
En el foro comentan que "no necesitas miles de ellas, con 10 Nvidia H100 es más que suficiente". Ambos tenéis razón, pero estáis hablando de dos cosas distintas:

1. Para entrenar o dar servicio a millones de personas (ChatGPT/Gemini): Sí se necesitan decenas de miles de tarjetas gráficas conectadas en red. No es porque una sola consulta consuma tanto, sino porque hay millones de personas en todo el mundo preguntando a la vez en el mismo segundo.
2. Para uso personal o crear tu propia IA: Con una sola tarjeta gráfica doméstica potente (como una Nvidia RTX 4090) puedes liquidar modelos locales en tu casa a una velocidad increíble. Si usaras máquinas industriales como las Nvidia H100, con una sola de ellas podrías montar una IA propia salvaje.

Si te interesa profundizar en el hardware, te puedo explicar:

*
* ¿Qué es una Nvidia H100 (la tarjeta que mencionan en el foro) y por qué cuesta decenas de miles de euros?
* Cuánto tardaría tu propio ordenador actual en responderte si intentas liquidar una IA usando so
lo la CPU y la RAM normal.
*

 

[oberwald]

¡Has dado exactamente en el clavo de la gran revolución tecnológica de los últimos años! Tu razonamiento clásico es totalmente lógico: históricamente, el procesador (CPU) hacía los cálculos de texto y datos, y la tarjeta gráfica (GPU) dibujaba los polígonos de los videojuegos.
Sin embargo, las Inteligencias Artificiales han cambiado las reglas del juego. Las tarjetas gráficas no se usan para pintar imágenes en la IA, sino por cómo están construidas por dentro.
------------------------------
## La diferencia matemática: ¿Por qué la GPU y no la CPU?
La diferencia clave está en cómo piensan un procesador y una tarjeta gráfica.

*
* El Procesador (CPU) es un "Catedrático genio": Está diseñado para hacer operaciones matemáticas increíblemente complejas y variadas, pero de una en una (o en muy pocos hilos a la vez, típicamente 8, 16 o 24 núcleos). Es ultrarrápido ejecutando tareas secuenciales (primero el paso A, luego el B, luego el C).
* La Tarjeta Gráfica (GPU) es un "Ejército de miles de escolares": No está pensada para problemas lógicos complejos, sino para hacer millones de matemáticas ultra-simples (sumas y multiplicaciones) todas a la vez (en paralelo). Una tarjeta gráfica moderna no tiene 8 o 16 núcleos; tiene miles de núcleos pequeños (llamados núcleos CUDA o Tensor).
*

## ¿Cómo funciona el texto para una IA?
Aunque tú veas texto en la pantalla, para ChatGPT o Gemini el texto no existe; solo existen los números.
Cuando tú le escribes una frase, la IA traduce cada palabra en una lista gigante de números (un vector). Para adivinar la siguiente palabra de la respuesta, la IA tiene que multiplicar tu frase por los miles de millones de conexiones neuronales (llamados "parámetros") que tiene guardados en su memoria.
Para una CPU, hacer miles de millones de multiplicaciones secuenciales le llevaría minutos por cada palabra. Una GPU, al tener miles de núcleos trabajando en paralelo, puede hacer todas las multiplicaciones al mismo tiempo en un milisegundo. Por eso se usan tarjetas gráficas: convirtieron un chip de videojuegos en una supercalculadora matricial.
------------------------------
## ⚡ El gran cuello de botella: El Ancho de Banda (VRAM vs RAM)
Como bien mencionaba el usuario TradingMetales en el foro, hay otro motivo crucial: la velocidad a la que se transmiten los datos.
La memoria RAM normal de un ordenador es rápida, pero la memoria que llevan dentro las tarjetas gráficas (VRAM, como la GDDR6 o HBM) es hasta 10 veces más rápida transportando datos.
Como el archivo de la IA (los pesos del modelo) tiene que estar cargado por completo en la memoria para poder "pensar", si usaras la RAM normal, el procesador se quedaría esperando a que le lleguen los datos. La VRAM de la gráfica satura de datos los núcleos a una velocidad endiablada.
------------------------------
## Aclarando el debate del foro: ¿Hacen falta miles de gráficas?
En el foro comentan que "no necesitas miles de ellas, con 10 Nvidia H100 es más que suficiente". Ambos tenéis razón, pero estáis hablando de dos cosas distintas:

1. Para entrenar o dar servicio a millones de personas (ChatGPT/Gemini): Sí se necesitan decenas de miles de tarjetas gráficas conectadas en red. No es porque una sola consulta consuma tanto, sino porque hay millones de personas en todo el mundo preguntando a la vez en el mismo segundo.
2. Para uso personal o crear tu propia IA: Con una sola tarjeta gráfica doméstica potente (como una Nvidia RTX 4090) puedes liquidar modelos locales en tu casa a una velocidad increíble. Si usaras máquinas industriales como las Nvidia H100, con una sola de ellas podrías montar una IA propia salvaje.

Si te interesa profundizar en el hardware, te puedo explicar:

*
* ¿Qué es una Nvidia H100 (la tarjeta que mencionan en el foro) y por qué cuesta decenas de miles de euros?
* Cuánto tardaría tu propio ordenador actual en responderte si intentas liquidar una IA usando so
lo la CPU y la RAM normal.
*

Muchas gracias, todo claro, ya me he actualizado que mis conocimientos estaban obsoletos aunque eran correctos.

Yo todavía no les pregunto casi nada a las IAs no me acuerdo de que están ahí y te responden todo al instante como tú has demostrado. Qué miedo da, qué mal rollo.