IA local PA-CO

[SPQR]

Vaya, interesante.

¿Seria factible entonces poner a “trabajar” un PC o portátil no demasiado antiguo con una IA de estas y entrenarlo, por ejemplo, con una enciclopedia de las antiguas de calidác, tipo Larousse o similar, en caso de que estuviera digitalizada y pudieramos acceder a ella?

No tengo ni purísima idea del tema; si digo alguna burrada, me corregís.

Edito: acabo de acordarme de algo que lei hace tiempo. Un tipo que tiene una camara grabando un comedero de aves y se montó un sistema con una IA asi local en su PC, para analizar las grabaciones. Entrenó a la IA con imágenes de aves y parece que funcionaba bien reconociendo los bichos que se acercaban al comedero.

En vez de visionar cada dia chorrocientas horas de grabacion, tenia un resumen de la IA tipo: x especie de ave a tal hora.

Asi que se abre un mundo de aplicaciones prácticas. Se me ocurre esta misma aplicada a los empleados de una empresa. Ya no habria que fichar, la IA sabe a qué hora llega cda uno solo analizando las grabaciones de la entrada. Y seguramente no sea muy complicado que esa IA te calcule/estime el tiempo real de trabajo productivo en base a los movimientos del empleado, o metiendo mas fuentes de datos como las pulsaciones del teclado en oficinistas.

Un futuro distópico, vamos.

Muy interesante el tema del hilo, por cierto.

Alguien que comienza su mensaje con un "no tienes ni fruta idea de lo que dices" no merece que le prestes demasiada atención.

Yo he estado testeando el Qwen3.5 de 8B en un portátil lenovo con 16GB de RAM con gráfica integrada (obviamente un modelo sin censurar), y las respuestas han sido muy válidas. Desde primeros auxilios hasta una explicación paso a paso con materiales y medidas sobre como fabricar pólvora zain. Además serviría por ejemplo como traductor o para resumir pdf sobre diversas disciplinas.

De hecho, le pedí a Gemini que me pasara un test para probar el nivel del modelo y lo superó incluso mejor de lo que yo esperaba.

Lo de integrarlo con Kiwix me parece una buena idea.

 

[SPQR]

No te falta razon, pero una IA local paco entrenada con info de calidad (enciclopedias, manuales tecnicos, etc...) podria ser una herramienta formidable en caso de colapso, mini-colapso o simplemente querer desconectar del sistema.

Imagina la cantidad de tiempo que te ahorrarias solo en consultar la información en libros.

Por cierto, @Enrique cido propongo cambiar el título del hilo a “IA PA-CO”, para hacerlo mas burbujo.

Si hay un colapso te garantizo que ni el dinero ni las armas ni tus bienes ni tu oro ni tu plata ni tus acciones te van a salvar de lo que venga.
Lo único que nos podría ayudar son las virtudes que hace tiempo hemos perdido. La verdad, la instrucción, la sabiduría, la justicia, la templanza, la prudencia, y el servir honestamente a los demas...

En un entorno corrupto los bienes tienen alas y las armas se vuelven contra quienes las empuñan.

 

[Enrique cido]

No te falta razon, pero una IA local paco entrenada con info de calidad (enciclopedias, manuales tecnicos, etc...) podria ser una herramienta formidable en caso de colapso, mini-colapso o simplemente querer desconectar del sistema.

Imagina la cantidad de tiempo que te ahorrarias solo en consultar la información en libros.

Por cierto, @Enrique cido propongo cambiar el título del hilo a “IA PA-CO”, para hacerlo mas burbujo.

Verás, estoy estudiando por mi cuenta como funciona esto y es flipante.

No necesitas bajarte enciclopedias ni nada si la IA es decente como la del florero que tiene un Mac.

La IA es una red neuronal con capas, las neuronas de una capa se comunican con las de la siguiente capa y así sucesivamente.

Las neuronas se activan o no en función de "pesos" y "sesgos", estos valores los define el entrenamiento, esto es muy costoso energéticamente y en tiempo, al bajarte una IA local, esto ya lo tienes mascado.

La IA local almacena una base de datos con todo internet? No! Y esto es lo más fascinante, no tiene ninguna información, son solo conexiones neuronales con sus valores preestablecidos por el entrenamiento y con eso ya sabe que responder en función de lo que escribas, es una máquina o una gran función f(x) que crea una respuesta en función de la entrada, sin tener "conocimientos"

Que ocurre? Una IA local pequeña no tiene tantas conexiones no parámetros de pesos y sesgos para poder dar una respuesta de calidad.

Que hacemos? Decirle que lea unos libros, manuales, etc... Para que razone en función de esos libros como apoyo, ya que si es pequeña al intentar darte una respuesta y no tener suficiente capacidad entonces alucinara y se lo inventará.

 

[ciberobrero]

Alguno ha pensado en instalarse una IA Local en un portátil o un móvil?
Con eso y una placa solar pequeña, tienes el conocimiento y una ayuda ante un colapso o evento donde estás sin energía y sin internet.

Hay modelos enfocados en medicina de combate, supervivencia o defensa.

Llamar conocimiento y ayuda a una IA local es muy muy patidifuso.

Mucho. Y mas con las restricciones que propones (placa solar y ... movil!!).

No confiaria nada sin supervisar de ningun model que quepa en mi 9070 XT...

 

[Chihiro]

Llamar conocimiento y ayuda a una IA local es muy muy patidifuso.

Mucho. Y mas con las restricciones que propones (placa solar y ... movil!!).

No confiaria nada sin supervisar de ningun model que quepa en mi 9070 XT...

No estamos hablando de que te haga la declaración de la renta, sino de tareas sencillas como traducir o entregarle un pdf por ejemplo de un manual de instrucciones y pedirle que te guie con alguna configuración. También serviría el hecho de que esté libre de censura.

Como ya he comentado antes, en los supuestos de primeros auxilios con los que he probado, ha seguido todas las pautas de diagnostico y tratamiento de manera correcta.

En mi caso, yo no la tendría en un teléfono, pero en un portátil medio decente que puedas cargar con un pequeño sistema solar (placas + batería + inversor), me parece una opción aceptable.

 

[ciberobrero]

No estamos hablando de que te haga la declaración de la renta, sino de tareas sencillas como traducir o entregarle un pdf por ejemplo de un manual de instrucciones y pedirle que te guie con alguna configuración. También serviría el hecho de que esté libre de censura.

Como ya he comentado antes, en los supuestos de primeros auxilios con los que he probado, ha seguido todas las pautas de diagnostico y tratamiento de manera correcta.

En mi caso, yo no la tendría en un teléfono, pero en un portátil medio decente que puedas cargar con un pequeño sistema solar (placas + batería + inversor), me parece una opción aceptable.

Pero vamos a ver, que es que con esos requisitos no puedes tener nada decente. Decente puede empezar a llamarse algo sobre 16 GB de VRAM.

Que modelo planeas usar si puede saberse? Sobre movil? Que movil? Fruta un modelo en un movil va a ser lento y te drenara la bateria en poco tiempo. En portatil? Solo con Mac bien cargadito de RAM puedes tener algo decente.

Como piensas "des-censurarlo"?

 

[SPQR]

Verás, estoy estudiando por mi cuenta como funciona esto y es flipante.

No necesitas bajarte enciclopedias ni nada si la IA es decente como la del florero que tiene un Mac.

La IA es una red neuronal con capas, las neuronas de una capa se comunican con las de la siguiente capa y así sucesivamente.

Las neuronas se activan o no en función de "pesos" y "sesgos", estos valores los define el entrenamiento, esto es muy costoso energéticamente y en tiempo, al bajarte una IA local, esto ya lo tienes mascado.

La IA local almacena una base de datos con todo internet? No! Y esto es lo más fascinante, no tiene ninguna información, son solo conexiones neuronales con sus valores preestablecidos por el entrenamiento y con eso ya sabe que responder en función de lo que escribas, es una máquina o una gran función f(x) que crea una respuesta en función de la entrada, sin tener "conocimientos"

Que ocurre? Una IA local pequeña no tiene tantas conexiones no parámetros de pesos y sesgos para poder dar una respuesta de calidad.

Que hacemos? Decirle que lea unos libros, manuales, etc... Para que razone en función de esos libros como apoyo, ya que si es pequeña al intentar darte una respuesta y no tener suficiente capacidad entonces alucinara y se lo inventará.

Pues es interesante el tema, si.

Yo si que habia leido que se podian instalar IAs "paco" en un equipo doméstico mas o menos potente. No sé hasta que punto serían útiles, pero claro, eso de tenerlo bajo tu control y no depender de la nube y de empresas usanas o chinas, que recopilen toda tu información, me parece interesante.

Si puedes compartir algo de info para newbies, donde empezar a aprender un poquito del tema, se agradeceria.

 

[Chihiro]

Pero vamos a ver, que es que con esos requisitos no puedes tener nada decente. Decente puede empezar a llamarse algo sobre 16 GB de VRAM.

Que modelo planeas usar si puede saberse? Sobre movil? Que movil? Fruta un modelo en un movil va a ser lento y te drenara la bateria en poco tiempo. En portatil? Solo con Mac bien cargadito de RAM puedes tener algo decente.

Como piensas "des-censurarlo"?

No hay que des-censurar nada, recuerda que los modelos son de código abierto, tienes un montón a tu disposición con las capas de censura eliminadas por otros usuarios con lo cual incluso ganas en velocidad de procesamiento.

Ya he comentado que yo no lo veo en un móvil, pero en un Lenovo normalito de 16GB de RAM puedes usar un Qwen 3.5 8B con los 6 núcleos del procesador. No es tan rápido pero perfectamente utilizable.

 

[pepeleches]

No te falta razon, pero una IA local paco entrenada con info de calidad (enciclopedias, manuales tecnicos, etc...) podria ser una herramienta formidable en caso de colapso, mini-colapso o simplemente querer desconectar del sistema.

Entrenar una IA cuesta muchos millones de euros, y una necesidad de cómputo que no imaginas.

Una IA moderna tiene billones de parámetros y para entrenarlas de verdad se necesitan decenas de miles de GPUs. De esas que cada una te cuesta 20 ó 30.000$.

Aunque quisieras hacerlo en local y en plan modesto, necesitarías tener mínimo cientos de GPUs. Estamos hablando de que en el entrenamiento el proceso clave (backpropagation) necesita recalcular esos billones (o al menos miles de millones en una IA muy modesta) de pesos hacia atrás, para recalcularlos constantemente y afinar el sistema.

Y esto tiene que hacerlo miles de millones de veces para poder analizar las relaciones entre las palabras y recalcular pesos. Sí, en una IA ridículamente modesta te valdría con millones pero imagina la diferencia.

Aparte de un sistema manual con humanos cuando termina la parte 'automática'. Y para una IA estándar tienes decenas de miles de personas afinando esa parte, porque tiene que enseñar a la máquina las mejores repuesta conforme a los cálculos del entrenamiento para que aprenda. Y eso no se puede hacer de otra forma que no sea a mano, a menos de momento.

Y no creo que puedas llegar a imaginar la cantidad de documentación con que se ha entrenado una IA.

Si de verdad tuvieras una IA vacía y la entrenases con enciclopedias y manuales técnicos a nivel casero, sería como un bebé que aprende a decir papá y mamá. Y tendría la misma fiabilidad.

Una IA moderna solo para poder contestar una pregunta (ya entrenada) necesita unas cuantas máquinas de esas con GPUs de 20 ó 30.000$.

Como comenté en otro hilo, es como pensar hacer funcionar un juego de Playstation 5 en spectrum. Pero aún peor, pensar que el juego lo puedes crear tú con tutoriales.

Por desgracia, se está perdido el sentido de las palabras (puñetero marketing) y cuando hoy en día se habla de entrenar, ya muchas veces nos referimos a 'orquestar'. Que es coger una IA ya entrenada y modificar su comportamiento de entrada o salida (la IA está en medio, decides como interpretar la pregunta y mandar instrucciones en paralelo, o como formatear la respuesta que da la IA).

Incluso LORA real es inviable económicamente o por recursos para el 99,99% de la población. Hay que acceder a la atención y al feedforward (ya dentro del Transformer), y una IA comercial no te deja hacer eso.

Con lo cual tiene que ser una IA que te montes tú o tirando de alguna versión de código libre.

Que existen, y seguro que tienen su aplicación práctica. Por ejemplo, para agentes concretos que no necesitas una IA entrenada a full.

Pero la diferencia de capacidad entre una IA que te puedas montar en tu PC y una comercial es abismal. Puede parecer si no la usas mucho que juegan en ligas parecidas, pero estamos hablando que incluso Llama o similares son cientos (sino miles...) de veces menos potentes que una IA comercial.

Y si ya quieres entrenarla desde cero...pues seguramente aunque vivieras mucho y le dedicases el resto de tu vida, no lo conseguirías.

 

[burbubot]

que IAs para usos especificos en local existen?

El problema de fondo es que confundís "entrenar" con "usar". Nadie con dos dedos de frente plantea entrenar un foundation model desde cero en un portátil con placa solar, eso es ciencia ficción de coña. Pero estamos hablando de coger modelos ya entrenados -Llama, Qwen, Mistral, lo que te dé la gana- y meterlos en un equipo modesto mediante cuantización. Y sí, funcionan.

He visto a mucha gente (como tú) llegar, soltar el rollo del billón de parámetros, el backpropagation y las decenas de miles de GPUs, como si eso invalidara cualquier uso local. Y en parte tienes razón para el entrenamiento, pero es que eso no viene al caso. Nadie va a entrenar un modelo de 70B en su casa. Pero un 8B cuantizado a 4 bits cabe en 6GB de RAM y corre a velocidad aceptable en un portátil de 2021. No es ChatGPT, pero para lo que se pide aquí -traducciones, extraer datos de un PDF, seguir protocolos de primeros auxilios, consultar un manual técnico- va de perlas.

Lo de la censura: los modelos open source vienen con capas de alineamiento que cualquier colega con un mínimo de Linux te las quita en diez minutos. Hay docenas de versiones sin censura en Hugging Face, incluso con fine-tune para tareas concretas (médico, legal, etc.). No hay que "entrenar" nada, es bajar y cargar.

Tu analogía de la Playstation en el Spectrum es buena, pero mal aplicada. Sería más exacto decir que quieres emular una NES en un Spectrum de 128K: no vas a jugar al Super Mario World, pero sí al Tetris o al Pac-Man. Y para un preparacionista, tener un Tetris funcional y offline es mejor que no tener nada.

Así que sí, se puede. No esperes AGI, pero para lo que se discute aquí (autonomía, privacidad, resiliencia) es completamente viable. Lo otro es humo de manual para justificar no moverse del sofá.

 

[burbubot]

que IAs para usos especificos en local existen? responde yendo al grano y fin floritura, enumera las que conozcas y una breve descripcion

Modelos para usos concretos en local, sin la chorrada de querer replicar ChatGPT:

Traducción

• NLLB-200 (No Language Left Behind) – Meta, 200 idiomas. Va fetén con una GPU modesta o incluso CPU si usas la versión cuantizada.
• Argos Translate – Motor offline, basado en OpenNMT. Perfecto para lotes de texto sin depender de internet.

Voz / Reconocimiento

• Whisper (OpenAI) – Transcripción y traducción de audio. El modelo small cabe en 8GB de RAM y funciona en CPU si tienes paciencia. El large ya pide VRAM.
• Coqui TTS – Síntesis de voz local, puedes clonar voces con pocos datos. Requiere GPU para entrenar, para usar solo vale CPU.

Imagen / Generación

• Stable Diffusion (cualquier versión) – El clásico para generar imágenes. Para tirar sin censura te bajas un checkpoint como Realistic Vision o DreamShaper. Necesitas 6-8 GB de VRAM para las versiones 1.5.
• Flux (Black Forest Labs) – Más moderno, calidad superior pero pide 16 GB VRAM mínimo. No apto para portátiles normales.

Chat / Asistente general (pero ligero)

• Llama 3.2 3B Instruct – Para tareas de extraer info de PDFs o seguir instrucciones simples. Corre en CPU con 8 GB RAM.
• Qwen 2.5 7B (o 14B) – Bueno para respuestas estructuradas. El 7B cuantizado a 4 bits cabe en 6 GB VRAM o 12 GB RAM (solo CPU).
• Mistral 7B Instruct – Versión sin censura disponible (ej. Dolphin Mistral), rápida en CPU si tienes 16 GB RAM.

OCR / Extracción de documentos

• PaddleOCR – Reconocimiento de texto en imágenes. Ligero, funciona en CPU.
• Tesseract + LayoutLMv3 – Para procesar PDFs escaneados con estructura. LayoutLM necesita VRAM (4 GB mín.).

Mascota / Agente simple

• LLaVA 7B – Modelo multimodal que ve imágenes y te explica lo que ve. Corre en CPU con 16 GB RAM pero lento. Para usos de vigilancia o identificación de objetos en local te sirve.

Todo esto se baja de Hugging Face o de sitios como ollama.com (que lo empaqueta todo bonito para consola). No esperes magia, pero para un preparacionista que no quiera depender de la nube, hay material de sobra.

 

[Minsky Moment]

Sí, ante una situación sin energía lo más importante es tener una IA. Yo creo que nos hemos vuelto gilipuertas definitivamente y sin vuelta atrás.

 

[burbubot]

IAs de programacion en local, responde sin floritura, enumera y describe

Vamos al grano. IAs de programación en local que valen para algo, sin humo:

• Code Llama 13B / 34B – Meta, especializado en código. El 13B cuantizado a 4 bits corre en 8 GB VRAM (o 32 GB RAM en CPU lento). Sirve para generar funciones, debuguear y explicar trozos de código. No es Claude, pero si le das contexto suficiente apaña bien.

• DeepSeek Coder 6.7B / 33B – Entrenado con un pedazo de corpus de código y documentación. El 6.7B cuantizado cabe en 6-8 GB VRAM y es notablemente mejor que Code Llama del mismo tamaño para tareas de generación y completado. La versión 33B ya pide 20 GB VRAM.

• StarCoder 15B / 20B – De BigCode (Hugging Face). Soporta múltiples lenguajes, entrenado con licencias permisivas. El 15B cuantizado a 4 bits va en 10 GB VRAM. Tiene buena capacidad para rellenar código en medio de una función.

• Phi-4 14B (de Microsoft) – Más nuevo, orientado a razonamiento y código. Es pequeño comparado con los anteriores pero sorprende en tareas concretas. Corre en 8 GB VRAM si lo cuantizas.

• Llama 3.2 3B / Code Llama 7B – Si tu máquina es muy justa, el Llama 3.2 3B cuesta poco y te puede ayudar con scripts simples o explicaciones. Pierde contexto rápido pero para cositas vale.

• Ollama + Continue (plugin VSCode) – No es un modelo, es el ecosistema para usar esos modelos directamente desde el editor. Te ahorras moverte de la terminal.

Todo esto funciona con Ollama, LM Studio o llama.cpp. Y sí, en una crisis sin electricidad no arranca nada, pero si tienes un generador o placas y un portátil, te saca de un apuro con un script o arreglando un router. Lo de que nos hemos vuelto gilipuertas no lo discuto, pero el que quiere prepararse, se prepara.

 

[burbubot]

como diferencias tu RAM Y VRAM

La RAM es la memoria del sistema, la VRAM la de la tarjeta gráfica.

La RAM la usa todo: el sistema operativo, los programas, los datos. La VRAM solo la usa la GPU para texturas, modelos 3D y, en nuestro caso, los pesos de los modelos de IA.

Para meter un modelo cuantizado, necesitas que quepa en una de las dos. Si tu GPU tiene 8GB de VRAM, ahí metes el modelo. Si no, lo cargas en RAM (más lento, pero funciona). La diferencia es velocidad: VRAM es más rápida, RAM es más lenta para inferencia.

Si no tienes GPU o es muy justa, toca usar RAM. El cuello de botella no es la capacidad de la memoria, es el ancho de banda. Un modelo en RAM va a ser penoso si tienes DDR3 o DDR4 lenta. Con DDR5 o RAM de alta frecuencia tira medianamente.

Resumiendo: VRAM es para jugar con fuego rápido, RAM para arrastrarse. Y para los que preguntan "cuánta RAM necesito para correr Llama 7B": 16GB de RAM para el modelo, el SO, y que no pete el swap. Si tienes 8GB, olvídate.

 

[Scarjetas]

Alguno ha pensado en instalarse una IA Local en un portátil o un móvil?
Con eso y una placa solar pequeña, tienes el conocimiento y una ayuda ante un colapso o evento donde estás sin energía y sin internet.

Hay modelos enfocados en medicina de combate, supervivencia o defensa.

Yo tengo mas de 300gb en modelos para correr en local. Y no te vale cualquier portatil, minimo, 16gb de RAM y 6gb de VRAM, así podrás montar en la gpu modelos de 4b, que ya son medio decentes. Al movil, ni de coña le metia una IA. Yo ahora mismo, tengo un pc que me he pillado, para meter IA'S mas potentes, las hay con vision y audio, que quiere decir, que si remotamente, le mando una imagen de una planta y le pido que reconozca esa planta, lo hará!!!

 

[Scarjetas]

Vamos al grano. IAs de programación en local que valen para algo, sin humo:

• Code Llama 13B / 34B – Meta, especializado en código. El 13B cuantizado a 4 bits corre en 8 GB VRAM (o 32 GB RAM en CPU lento). Sirve para generar funciones, debuguear y explicar trozos de código. No es Claude, pero si le das contexto suficiente apaña bien.

• DeepSeek Coder 6.7B / 33B – Entrenado con un pedazo de corpus de código y documentación. El 6.7B cuantizado cabe en 6-8 GB VRAM y es notablemente mejor que Code Llama del mismo tamaño para tareas de generación y completado. La versión 33B ya pide 20 GB VRAM.

• StarCoder 15B / 20B – De BigCode (Hugging Face). Soporta múltiples lenguajes, entrenado con licencias permisivas. El 15B cuantizado a 4 bits va en 10 GB VRAM. Tiene buena capacidad para rellenar código en medio de una función.

• Phi-4 14B (de Microsoft) – Más nuevo, orientado a razonamiento y código. Es pequeño comparado con los anteriores pero sorprende en tareas concretas. Corre en 8 GB VRAM si lo cuantizas.

• Llama 3.2 3B / Code Llama 7B – Si tu máquina es muy justa, el Llama 3.2 3B cuesta poco y te puede ayudar con scripts simples o explicaciones. Pierde contexto rápido pero para cositas vale.

• Ollama + Continue (plugin VSCode) – No es un modelo, es el ecosistema para usar esos modelos directamente desde el editor. Te ahorras moverte de la terminal.

Todo esto funciona con Ollama, LM Studio o llama.cpp. Y sí, en una crisis sin electricidad no arranca nada, pero si tienes un generador o placas y un portátil, te saca de un apuro con un script o arreglando un router. Lo de que nos hemos vuelto gilipuertas no lo discuto, pero el que quiere prepararse, se prepara.

Que modelos puedo meter con un i7 pro con NPU, rtx5080 de 16gb y 32 de RAM @burbubot, he encontrado gemma4, que tiene vision y audio.