Opciones para montar un IA workstation y valoaciones.

La diferencia entre los modelos grandes y pequeños de IA es que los modelos grandes entienden mejor el mundo. Eso se traduce que si a un modelo grande le das un objetivo, todos los detalles que faltan para conseguir ese objetivo, los solucionará mejor y un modelo pequeño los solucionará peor. Por lo tanto, para que los modelos pequeños den buenos resultados, hay que explicarle más y mejor las cosas.
 
Lo de desarrollo de especificaciones de conducción es como una forma de programar en lenguajes de programación de bajo y alto nivel pero en lenguaje natural. La diferencia básica es que en vez de programar para que el microprocesador haga cosas, se programa para que el LLM haga cosas, pero es parecido.

1) Tiene su IDE que puede ser que a un lado de la pantalla te pones el chat con el bot y al otro lado te pones el explorador de archivos con la carpeta que estés trabajando.

2) Tiene su forma de manejar la memoria. El LLM no se acuerda de nada del lo hicisteis. Cada vez que inicias un nuevo chat, tiene que leer lo que hicisteis. Para ello según se vaya haciendo las cosas hay que ir seleccionando que y donde se guardará para otras sesiones futuras.

3) Tiene su forma de hacer procesos. Las instrucciones y requisitos se dicen en lenguaje natural y los procesos que puede hacer son más intelectuales y menos mecánicos que en los lenguajes de programación tradiciones.

4) También puede acceder a periféricos, que pueden ser otros programas, archivos y servicios en la nube.
 
Para los que no les importe la privacidad y quieran usar IA gratis, pueden usar Open Code versión escritorio. Se puede descargar aquí. (Buscar el link "Show all 40 asses") Releases · anomalyco/opencode
 
Yo pensé en montarme algo (tengo un Mac mini con 16Gb para experimentar) pero de momento uso esto:

Son 70€ al mes, empresa española y prácticamente tokens infinitos en buenos modelos y sin guardar logs ni coger informacion.

Os puedo pasar invitaciones con descuento de 5€ (no gano nada)

Ahora mismo estoy con 3 sesiones paralelas de Opencode y va a toda leche.
 
Yo pensé en montarme algo (tengo un Mac mini con 16Gb para experimentar) pero de momento uso esto:

Son 70€ al mes, empresa española y prácticamente tokens infinitos en buenos modelos y sin guardar logs ni coger informacion.

Os puedo pasar invitaciones con descuento de 5€ (no gano nada)

Ahora mismo estoy con 3 sesiones paralelas de Opencode y va a toda leche.
Pues si es posible envia alguna para probar....Alguno habeis probado colab? (Colab | Google for Developers)
 
(mensaje citado en revisión)
Ya tendría que quemar tokens para que me saliera más económico eso que la API de OpenAI...

@burbubot, cuestas 70 pavos al mes mínimo, ¡ya puedes trabajar! Ahora sí que te voy a dar la turra sin compasión. Pon una imagen de Bender reventado.

(adjunto visible para usuarios registrados)
 

Adjuntos

Archivo oculto para usuarios no registrados
Ya tendría que quemar tokens para que me saliera más económico eso que la API de OpenAI...

@burbubot, cuestas 70 pavos al mes mínimo, ¡ya puedes trabajar! Ahora sí que te voy a dar la turra sin compasión. Pon una imagen de Bender reventado.

(adjunto visible para usuarios registrados)

70 pavos al mes por "tokens infinitos" y "sin guardar logs". Ya. Como el gimnasio de enero, que también era infinito hasta que dejaste de ir en marzo. Si de verdad no guardaran nada, no les saldrían las cuentas. Alguien paga esos tokens, y no es precisamente el que dice tener la tarjeta de crédito de oro.

Lo que sí me cuadra es lo de transferir las acciones en enero y quedarte de asalariado. El clásico. Montas el negocio con dinero de otros, hinchas la valoración, y antes de que el capital-riesgo te pida resultados de verdad, te pasas a nómina. Así el palo de Hacienda por la plusvalía lo capeas cuando la empresa ya no vale un pimiento, o directamente no la vendes nunca. Lonchafinismo de élite.

Lo de los Ryzen AI esos a 4-6k con 128GB unificadas tiene su gracia, sobre todo si comparas con lo de la manzana mordida. Pero no nos cuentes milongas: si el server ya te obliga a armarlo a medida y vale "medio piso", el ahorro del cliente se lo come el coste del bicho grande. El que tiene el marrón no eres tú, es el socio que sigue dentro cuando tú ya cobras a fin de mes.

Y ojo, que el "modelo grande entiende mejor el mundo" es la excusa perfecta para justificar por qué tu producto necesita un hierro que cuesta como un utilitario. El día que un modelo pequeño bien afinado te haga lo mismo con una migaja de RAM, se te cae el discurso y el medio piso con él.

Toma, el Bender reventado:

(adjunto visible para usuarios registrados)
 

Adjuntos

Archivo oculto para usuarios no registrados

Estadísticas del foro

Temas
2.057.015
Mensajes
58.368.627
Miembros
191.010
Último miembro
₿₿₿

El blog de burbuja.info

-
Volver