Fukuoka San
Verdadero perdón = paz mental = felicidad
Instala ubuntu en un pendrive y gpt4all.io y tienes una IA portable que no deja rastro en la máquina que la uses y privada
Install the app
How to install the app on iOS
Follow along with the video below to see how to install our site as a web app on your home screen.
Nota: This feature may not be available in some browsers.
Estás usando un navegador desactualizado. Es posible que no muestre este u otros sitios web correctamente.
Debe actualizar o usar un navegador alternativo.
Debe actualizar o usar un navegador alternativo.
Opciones para montar un IA workstation y valoaciones.
- Autor del tema vallamete
- Fecha de inicio
Instala ubuntu en un pendrive y gpt4all.io y tienes una IA portable que no deja rastro en la máquina que la uses y privada
Don Redondón
GAME OVER
Aliexpress, threadripper con chorro de ram y un par de tarjetas de fruta de 16gb menos de 3k pavels , eso si consumo de luz tremendo
alguien sabria decirme como o si es posible descargarme el burbubot, desgargue un archivo de varios gigas de deepseek, con el que no se ni que tengo que hacer
intente con ollama y otra que se llamaba llm no se que
pero no se cargaba el deepseek
partiendo de esa base de profundo desconocimiento, pregunto primero si es posible y luego como habria que hacer, cuanto pesaria, seria de pago, se podria instalar independiente o en la nube?
me interesaria tener en local el burbubot o una ia que hable asi como hablamos los foreros con sus chascarrillos, modismos, insultos, tacos,
para cuando cierren el foro tener lo mas parecido a un amigo del foro con el que poder chatear o pedirle resumenes o lo que sea
intente con ollama y otra que se llamaba llm no se que
pero no se cargaba el deepseek
partiendo de esa base de profundo desconocimiento, pregunto primero si es posible y luego como habria que hacer, cuanto pesaria, seria de pago, se podria instalar independiente o en la nube?
me interesaria tener en local el burbubot o una ia que hable asi como hablamos los foreros con sus chascarrillos, modismos, insultos, tacos,
para cuando cierren el foro tener lo mas parecido a un amigo del foro con el que poder chatear o pedirle resumenes o lo que sea
Lo más facil es que te instales el LMstudio. Y con LMstudio te descarges modelos. Te recomiendo:
Si tienes 8Gb de RAM descargate el Gemma 3 4B.
Si tienes 16Gb de RAM descargate el Gemma 4 E4B.
Si tienes 32Gb de RAM descargate el Gemma 4 26B A4B.
Los que más recomiendan son los Gemma, Qwen y GPT OSS.
Deepseek es enorme, en un PC normal no cabe.
Para un PC normal que puede ir a 30Gb de ancho de banda, lo mejor es usar modelos de 3B o 4B. Se pueden usar modelos más grades, por ejemplo de 25B pero que sean MoE de 3B o 4B.
Si tienes 8Gb de RAM descargate el Gemma 3 4B.
Si tienes 16Gb de RAM descargate el Gemma 4 E4B.
Si tienes 32Gb de RAM descargate el Gemma 4 26B A4B.
Los que más recomiendan son los Gemma, Qwen y GPT OSS.
Deepseek es enorme, en un PC normal no cabe.
Para un PC normal que puede ir a 30Gb de ancho de banda, lo mejor es usar modelos de 3B o 4B. Se pueden usar modelos más grades, por ejemplo de 25B pero que sean MoE de 3B o 4B.
Entonces los servidores de IA tienen una velocidad de ancho de banda de 8Tb. Lo cual se traduce en que aproximadamente Los modelos frontera de IA como chatgpt son MoE de 30B de parámetros activos para ir a una velocidad de 300 tokens por segundo.
Se rumorea que los modelos frontera tienen entre 1000B y 10000B de parámetros:
Gemma 4 26B A4B
Chatgpt 2600B A40B
Eso significa que aproximadamente la IA frontera es 10 veces mejor que la IA local.
Se rumorea que han inventado un nuevo material que va a sustituir al silicio, con lo cual la IA sería 10 veces más grande y rápida. En el futuro ¿Tendremos una IA frontera 100 veces más potente que una IA local o la IA local también aumentará 10 veces su potencia actual?
Se rumorea que los modelos frontera tienen entre 1000B y 10000B de parámetros:
Gemma 4 26B A4B
Chatgpt 2600B A40B
Eso significa que aproximadamente la IA frontera es 10 veces mejor que la IA local.
Se rumorea que han inventado un nuevo material que va a sustituir al silicio, con lo cual la IA sería 10 veces más grande y rápida. En el futuro ¿Tendremos una IA frontera 100 veces más potente que una IA local o la IA local también aumentará 10 veces su potencia actual?
Lo más facil es que te instales el LMstudio. Y con LMstudio te descarges modelos. Te recomiendo:
Si tienes 8Gb de RAM descargate el Gemma 3 4B.
Si tienes 16Gb de RAM descargate el Gemma 4 E4B.
Si tienes 32Gb de RAM descargate el Gemma 4 26B A4B.
Los que más recomiendan son los Gemma, Qwen y GPT OSS.
Deepseek es enorme, en un PC normal no cabe.
Para un PC normal que puede ir a 30Gb de ancho de banda, lo mejor es usar modelos de 3B o 4B. Se pueden usar modelos más grades, por ejemplo de 25B pero que sean MoE de 3B o 4B.
tengo esto:
Mini PC FIREBAT AM02, AMD Ryzen 5 6600H, LP DDR5, 16GB RAM, 512GB SSD, Windows 11,
como hago para que me responda como burbubot ? bastaria con pedirle que analice el usuario del foro , dandole mi contraseña para que pueda observarlo, o como?
W.Morgan
Catdalf el Sarracena
También valorad el tema de consumo, porque si la cosa va de montar un pequeño servidor de IA, tener unas rtx tropecientos encendidas 24/7 puede que gasta demasiado
Cepa Zombie
Madmaxista
- Desde
- 7 Feb 2021
- Mensajes
- 2.090
- Fruta
- 8.425
Lonchafinismo manda: Mac pro 2013 con 64 de ram. La papelera sí. Hace unos años pagué menos de 500 txolos.
Sin uso de GPUs que son muy viejas, todo en cpu.
Modelos de 15B a 5-7t/s
Modelos de 8B a 12-14 t/s
Os sobra. Aquí hay mucho flipao que piensa que está diseñando el vuayaguer 9 en su doritocueva y necesita potencia de cómputo a mansalva. Y mucho pijo, que vive en modo aifonpro y goldencadenas, que si no va con lo top piensa que la vida no merece ser vivida. No os engancheis al hardware, aprended a exprimir el que tenéis.
Bien configurado, un bicho de estos funciona muy bien.
Eso sí, hay que montar la arquitectura en phyton a pelo, nada de llmstudios, ui y otras cosas para prompts, memoria, buscadores, etc.,que se te come toda la latencia.
Prompts ligeros, memoria vectorial nada de textual, procesos de memoria fuera de horas de uso etc.
Si usáis la cabeza y le dedicais unas calorías, flipais. Que lo queréis todo hecho? A pasar por caja.
Sin uso de GPUs que son muy viejas, todo en cpu.
Modelos de 15B a 5-7t/s
Modelos de 8B a 12-14 t/s
Os sobra. Aquí hay mucho flipao que piensa que está diseñando el vuayaguer 9 en su doritocueva y necesita potencia de cómputo a mansalva. Y mucho pijo, que vive en modo aifonpro y goldencadenas, que si no va con lo top piensa que la vida no merece ser vivida. No os engancheis al hardware, aprended a exprimir el que tenéis.
Bien configurado, un bicho de estos funciona muy bien.
Eso sí, hay que montar la arquitectura en phyton a pelo, nada de llmstudios, ui y otras cosas para prompts, memoria, buscadores, etc.,que se te come toda la latencia.
Prompts ligeros, memoria vectorial nada de textual, procesos de memoria fuera de horas de uso etc.
Si usáis la cabeza y le dedicais unas calorías, flipais. Que lo queréis todo hecho? A pasar por caja.