IA sin internet. IA local

[Ibar]

Yo he usado alguna cosa en local, pero son modelos flojos que al final no te hacen gran cosa y fallan más que una escopeta de feria. Nada que ver con los modelos buenos.

Quizá algún día podamos tener todos algo decente en local como hoy tenemos un móvil en el bolsillo. Quien sabe.

 

[W.Morgan]

Yo he usado alguna cosa en local, pero son modelos flojos que al final no te hacen gran cosa y fallan más que una escopeta de feria. Nada que ver con los modelos buenos.

Quizá algún día podamos tener todos algo decente en local como hoy tenemos un móvil en el bolsillo. Quien sabe.

Las que hay ahora ya van bien para ciertas tareas. Por ejemplo, para web scraping y cosas así repetitivas y sencillas.

Yo tengo una app que revisa el BOE diariamente para encontrar cosas intesantes, y hace un primer filtrado con palabras clave como toda la vida pero luego le pasa el texto a una IA local en un macbook de 16gb de ram para el filtrado final, y a la IA se le pide una respuesta en un formato concreto (json), y da un resultado muy bueno. Luego eso el programa lo recibe y lo mete a una database.

Para cosas así las IAs locales actuales ya van sobradas. Y eso con 16 de ram, un portatil mas o menos normal. No merece la pena para esto meter un modelo local de los rellenitos porque enviarle el trabajo de esto a una IA de datacenter como GPT costaría cosa de 2 euros al mes o menos. Pero para cosas de datos personales o si tienes ya un cacharro medio competente para mover una IA local y que gaste poco y no te importa tenerlo encendido, pues eso, que van muy bien las IAs locales para estas cosas.

 

[dedalus]

Si, y lo de los ordenadores modulares no creo que aguante muchos años más ya.
Es el único aparato modular que ha logrado funcionar en el mercado, pero con esto de la IA me parece que se le acaba el tiempo.

Si empiezan a sacar ordenadores estilo apple, o como esos de nvidia pero mas baratos, que puedan mover IA local, juegos y tal, no creo que sea nada rentable seguir con las torres. A parte de que ahora mismo están ya carisimas.

Si fuerzan eso será una clara muestra de estancamiento porque así logran disminuir la reparabilidad y que sea mas fácil que alguien se compre otro igual siendo apenas superior por no poder arreglarlo cambiando piezas.
Pero ojo, que la mayoría de la reparabilidad de un pc la da la unidad de almacenamiento desmontable y sobre todo la fuente de alimentación universal. Una especie de SoC en zócalo en la placa no sería el fin del concepto.

En los 2000s los portátiles se volvieron lo bastante baratos y potentes para tenerlos de ordenador para todo y usarlos en casa. Ahora eso la gente ya no lo hace tanto porque cualquiera de mesa es mucho mas fiable, y hoy en día encuentras en cualquier esquina o hasta un hotel algo que te haga de monitor. Mas lo que puedan haberse comido las funciones de los móviles.

 

[deckard009]

LM Studio, una buena grafica con mucho vram y mucha ram en el pc, y a correr.