Hablemos de Big Data

  • Autor del tema Autor del tema brent
  • Fecha de inicio Fecha de inicio

brent

Madmaxista
Desde
9 Ene 2015
Mensajes
6.841
Fruta
10.829
Dicen que da mucha pasta ahora.
Si tanto dinero da... ¿Hay alguna forma de sacarle provecho sin trabajar para otra empresa?
Me refiero a ese manejo de datos, que dinero puede dar y de qué forma?
Aprovechar esa información para uso propio, sin tener que venderse ni como asalariado ni como freelance.
 
Humo y mas humo una burbuja ...(q esta a punto de estallar o ya ha estallado)


 
Comentarios, redes sociales, anuncios, datos de webs...

Y te van a ceder sus valiosisimos datos para que los analices en vez de hacerlo inhouse como todo el mundo exactamente por que razon? Tu sabes lo que cuestan datos tan aparentemente accesibles como los historicos de datos de cotizaciones de bolsa? O vas a intentar competir haciendo un scrapper en Python y perdiendo el tiempo con las medidas antibot de las webs?

Creo que no entiendes como funciona el mundillo.
 
Y te van a ceder sus valiosisimos datos para que los analices en vez de hacerlo inhouse como todo el mundo exactamente por que razon? Tu sabes lo que cuestan datos tan aparentemente accesibles como los historicos de datos de cotizaciones de bolsa? O vas a intentar competir haciendo un scrapper en Python y perdiendo el tiempo con las medidas antibot de las webs?

Creo que no entiendes como funciona el mundillo.

Err... ¿puedes explicar eso? ¿Los históricos de Bolsa que te puedes bajar de Yahoo Finanzas no son los buenos o qué?
 
Y te van a ceder sus valiosisimos datos para que los analices en vez de hacerlo inhouse como todo el mundo exactamente por que razon? Tu sabes lo que cuestan datos tan aparentemente accesibles como los historicos de datos de cotizaciones de bolsa? O vas a intentar competir haciendo un scrapper en Python y perdiendo el tiempo con las medidas antibot de las webs?

Creo que no entiendes como funciona el mundillo.

Tú debes de ser experto. Ilumínanos

---------- Post added 30-mar-2018 at 18:43 ----------

Err... ¿puedes explicar eso? ¿Los históricos de Bolsa que te puedes bajar de Yahoo Finanzas no son los buenos o qué?

Se ha tomado lo de tercio viejo a raja tabla y va de kifa hasta el pandero
 
Última edición:
Err... ¿puedes explicar eso? ¿Los históricos de Bolsa que te puedes bajar de Yahoo Finanzas no son los buenos o qué?

No, ignoro la razon pero estan plagados de errores. Hacer backtesting con ellos es jugar a la ruleta rusa.

---------- Post added 30-mar-2018 at 18:50 ----------

Tú debes de ser experto. Ilumínanos

Ser analista de big data solo tiene sentido como empleado o contractor de grandes empresas o instituciones, que son las que generan cantidades de datos tan masivas como para requerir algoritmos y analistas especializados en vez de procesarse con las tecnicas habituales. No es un servicio que pueda ofertar un autonomo por su cuenta.
 
No, ignoro la razon pero estan plagados de errores. Hacer backtesting con ellos es jugar a la ruleta rusa.

---------- Post added 30-mar-2018 at 18:50 ----------



Ser analista de big data solo tiene sentido como empleado o contractor de grandes empresas o instituciones, que son las que generan cantidades de datos tan masivas como para requerir algoritmos y analistas especializados en vez de procesarse con las tecnicas habituales. No es un servicio que pueda ofertar un autonomo por su cuenta.

Interesante. ¿Qué técnicas dirías tú que son las que hacen la diferencia entre un análisis normal y otro de big data?
 
Err... ¿puedes explicar eso? ¿Los históricos de Bolsa que te puedes bajar de Yahoo Finanzas no son los buenos o qué?

Los de yahoo son series diarias. Los datos caros son los de periodos más cortos (30, 5, 1 minuto e incluso datos de todas las operaciones realizadas) y creo que tampoco tienes en yahoo datos de futuros y opciones.
 
Interesante. ¿Qué técnicas dirías tú que son las que hacen la diferencia entre un análisis normal y otro de big data?

No me dedico a ello y quizas otros conforeros puedan aportar mas, pero la idea fundamental es que el tiempo de ejecucion de muchos algoritmos tradicionales (por ejemplo muchisimos algoritmos de ajuste de datos/optimizacion/clustering/SVM) aumenta con el cuadrado, el cubo o incluso exponencialmente con el tamanno de los datasets o los modelos empleados, por lo que se necesitan "trucos" que permitan explotar la estructura del problema concreto para poder resolver los problemas en un periodo de tiempo asumible.
 
Hay que saber matematicas en el sentido matematico del termino, basicamente.

El corta-pega se queda corto.
 
La clave del Big Data no son los datos sino los algoritmos que se emplean para devolver resultados entendibles a la lógica humana.

Con la tecnología barata que actualmente se implementa en los fruta (sólo ´pueden realizar cálculos matemáticos secuenciales) es complicado obtener resultados decentes en tiempos relativamente cortos, son necesarios fruta cuanticos que permiten realizar cálculos paralelos además de una potente red neuronal entrenada .... cosa complicada de tener al alcance por empresas pequeñas o ciudadanos de a pié.

El potencial está más que justificado, pero hasta que se toque la tecla correcta la mayoría es vender humo, como bien comentáis ....

Y por cierto, todo ello a la espera de la plena integración de la Industria 4.0 donde veremos cosas aún más estrambóticas ....
 
El bigdata es un generador de conocimiento específico generado a partir de grandes cantidades de datos con la ayuda de algoritmos que permiten procesarlos de forma rápida. Detrás de grandes cantidades de datos hay conocimiento cruzado y oculto, ejemplo: Wal-mart gracias al BigData descubrió que despues de Haloween se vendían más palomitas en sus establecimientos. Por ello hicieron la prueba a poner en la entrada de cada pasillo un estante con palomitas y si, se vendieron todas.
 
¿Pero qué clase de "big data" quieres hacer? ¿Qué tipo de problemas quieres resolverles a tus clientes? ¿Logística? ¿Marketing? ¿Supply-chain? ¿Estimación de precios? ¿Estudios de demanda? ¿etc...?

Conozco una empresa de 4 gatos y el apuntador en un polígono a tomar porculo que hacen cosas de estas, y mal no les va y tienen clientes rellenitos incluso en Europa. También he llegado a conocer a una mini-compañía de 3 personas más unos cuantos becarios en una provincia de mala gloria que se dedicaban a proyectos de datascience/ingeniería/consultaría aplicando algoritmos genéticos (sólo sabían hacer eso) y ahí estaban, dándole servicio a grandes del IBEX...

Te pongo otro ejemplo: un artículo reciente sobre datascience:



Como puedes ver, hay mucha albañilería matemática, y ese tipo de problemas son los que te van a pedir tus clientes (una farmacéutica, por ejemplo; los datos te los podrían dar ellos, o podrías darles presupuesto para obtenerlos tú), aplicando métodos científicos para su resolución. ¿Serías capaz de entender y reproducir todo lo que dice ese artículo? Que esto del bigdata no consiste en hacer tablitas excel con colorines...aviso.

Mi consejo: empóllate bien un problema-tipo de datascience aplicado al mundo real, aprende a resolverlo con tu herramienta favorita (c++, python ,matlab, etc.) y cuando lo tengas listo, cúrrate una presentación sugerente. Haz marketing viral y mándasela a todo kiski susceptible de interesarle. Al haber resuelto el problema, ya te podrás dar una idea de la cantidad de empleados que necesitas, así que cuando caiga el primer cliente en la sartén ya puedes poner en marcha tu micro-pyme. Recuerda: contrata niños-ardilla curiosos y que no se asusten al ver una ecuación o un teorema...la tenacidad con las matemáticas es fundamental en este negocio; los "managers" y los que "delegan" se acaban convirtiendo en un lastre.

En mi opinión, la revolución de la Investigación Operativa está llegando a todos los rincones de la ingeniería, y puede llegar a dar muchísimo dinero al que se dedique a ello, pero hay que dominar el tema bastante bien, a nivel teórico y práctico. Y por supuesto, hay que andar buscando clientes constantemente para no llegar a estar parado; pero si te haces un nombre y consigues dar una buena impresión a tu primer cliente, seguramente te acabarán llamando de más sitios.

Suerte emperdedor!!!
 
Data Warehouse vs Big Data vs BI: cuales son las diferencias

En este apartado compararemos brevemente los conceptos Data Warehouse (DW), Big Data y Business Intelligence (BI).

Los tres conceptos están interconectados y la perspectiva es que, cada vez más, la mayoría de empresas utilicen el análisis generado por este tipo de tecnologías para tener una visión más analítica de su negocio y así poder tomar las mejores decisiones para crecer.

Se trata de tres conceptos completamente diferentes que tienen en común una nueva manera de lidiar con los datos, siempre teniendo en cuenta la existencia de una gran volumen de información en varios formatos que contribuyen, de forma estructurada o no estructurada, a la toma de decisiones estratégicas. El objetivo final de cualquiera de estas tecnologías es ofrecer una ventaja competitiva a las empresas, pero la forma en que se utiliza es la que marcará la diferencia.
Big Data

Llamamos big data a un gran volumen de datos con una variedad, complejidad y velocidad de crecimiento enorme y que además tienen la característica de no ser estructurados. Eso significa que no son relacionales, estando además fuera del entorno corporativo. Es un tipo de tecnología que te permite analizar los datos en tiempo real y puede provenir de diferentes fuentes y formas, tales como mensajería instantánea, redes sociales, registros de grabaciones, imágenes, mensajes de correo electrónico, etc.

Para tener una idea de la importancia del big data, este mercado está creciendo cada año, alrededor de un 40%. La paradoja reside en el hecho de que cuanto mayor es la evolución del big data, mayor es la escasez de profesionales cualificados para satisfacer esa demanda. La expectativa es que en unos pocos años, haya un crecimiento aún más significativo para el uso de big data y por lo tanto un aumento en la demanda mano de obra especializada y de partners tecnológicos especializados en esta materia.
Data Warehouse

Por otro lado, un data warehouse almacena datos consolidados de diversas fuentes o sistemas de la empresa. Se trata de datos estructurados, que tiene como objetivo principal ser precisos y de alta calidad para de esta forma poder dar soporte a la toma de decisiones de la empresa. Se trata de conseguir tener todos los datos juntos para después poder dividirlos para hacer un análisis de determinados sectores o estrategias.
Business Intelligence

Un Business Intelligence (BI) es una especie de “cuello de botella” de los datos recogidos del data warehouse, que llegan de forma exacta y útil para ayudar a la toma de decisiones. Business Intelligence transforma los datos en información útil para analizar no sólo los negocios, sino también las principales estrategias corporativas.


Los tres conceptos están interconectados y la perspectiva es que, cada vez más, la mayoría de empresas utilicen el análisis generado por este tipo de tecnologías para una visión más analítica de su negocio y así poder tomar las mejores decisiones para crecer.


Fuente:
 
la api de yahoo finance ya no tora, hacerlo con scrapping es impreciso, lento (huce un scrapper en python de ratios fundamentales y pillar los de todo sp500 es lento de agallas, además faltan de muchos tickers)y tontería.


a día de hoy puedes conseguir precios fiables de acciones americanas gratis por quantopian o quandl (que yo sepa) .

big data en finanzas se paga y bien. mirad precios de datasets en quandl. si la mayoría de hedge funds usan el análisis cuantitativo es lógico que tenga coerto valor la materia prima
 
Dicen que da mucha pasta ahora.
Si tanto dinero da... ¿Hay alguna forma de sacarle provecho sin trabajar para otra empresa?
Me refiero a ese manejo de datos, que dinero puede dar y de qué forma?
Aprovechar esa información para uso propio, sin tener que venderse ni como asalariado ni como freelance.


El BIG DATA no significa nada más que la recolección masiva de datos (Tanto estructurados como no estructurados).

Pero esa cosa aparentemente tan simple es realmente una autentica revolución en todos los campos. Es algo fascinante!!!

La maravilloso no esta en si, en la recolección de datos de todo tipo en determinado entorno, si no en su tratamiento:

BIG DATA => DATA MINING/PREDICTIVE/ANALYTICS/SCIENTIST/....Y mucho más

De ese tratamiento se pueden sacar las conclusiones más insospechadas en cualquier tipo de campo.

Imaginemos que cada uno de nosotros tuviera en su cuerpo un dispositivo tipo IoT que detectara todos nuestro parámetros, ritmo cardíaco, lagrimeo, sequedad de los ojos, parpadeo, grasa corporal, pedos, eructos, lo que comemos, nuestros itinerarios, (y lo que se te ocurra)

Lo cruzáramos con información sobre nuestras patologías, analíticas, etc.
Con la orografía, altitud, ....

Toda una serie de datos aparentemente inconexos, junto con edad, edad a la que murieron nuestros ascendientes, su estilo de vida ... parámetros a nivel grupal, por países por culturas, ...

Y el resultado de todo este análisis nos podría llevar a un crecimiento de la esperanza de vida (por ejemplo), encontrar terapias génicas, vencer al alzheimer...

Aunque de paso ... sabrían tanto de nosotros que nos drijiarian aún más, el marketing o la "Ingeniería Social" serían tan certeros que consumiríamos, votaríamos, etc a quien "ellos" quisieran.

En España, si el poder real temiera perder su influencia y la sopa boba por que un movimiento cívico amenazará con separarse (harto de ser exprimidos y ver que el resto de la comunidad no se mueve), con la información pormenorizada se construirían noticias, se crearían opciones políticas, se contratarían CM´s, se utilizaría la justicia y su famosa "separación de poderes" para descabezarlo. Y mientras el resto de la comunidad continuaría igual de estropead pero aplaudiendo y diciendo "a por ellos". Pero esto ya es hablar de ficción ya no tenemos implantado un IoT todavía. 😉

La cantidad de datos que se maneja y que se extrae de forma bruta es tal que su manejo en la nube (cloud computing) satura fibra/procesos/latencia, es por ello que ahora se desarrolla el "edge computing" que seria un proceso de la información en el propio dispositivo o en un nodo cercano.

Ya que estamos en el grupo de emprendedores, creo que el BIG DATA y su proceso y no es negocio para explotarlo como emprendedor. El requerimiento de proceso y almacenamiento más la "urgencia" en el tratamiento de la información exige a mi juicio una inversión al alcance solo de las corporaciones.

Empresas como Microsoft (con Azure), Amazon y otras están prestando este tipo de servicios a quien los necesite (y pague por ello).

Si tienes un bar y quieres optimizar al máximo la inversión, puedes analizar datos de el numero de clientes/transacciones/alimento/bebida/café/refrigeración/consumo eléctrico/ ... de cada instante y de ello tal puedas confeccionar un menú que sea el preferido del sector, tener descuentos/incrementos en momentos o días valle/pico. definir el mejor horario para abrir y cerrar o en el que te lleguen los suministros, etc.

Es un tema infinito, maravilloso y muy poderoso.
 


---------- Post added 12-abr-2018 at 13:48 ----------

Humo y mas humo una burbuja ...(q esta a punto de estallar o ya ha estallado)



como va a estallar si espana necesitamos eones de ejpertos

 
Data Warehouse vs Big Data vs BI: cuales son las diferencias

En este apartado compararemos brevemente los conceptos Data Warehouse (DW), Big Data y Business Intelligence (BI).

Los tres conceptos están interconectados y la perspectiva es que, cada vez más, la mayoría de empresas utilicen el análisis generado por este tipo de tecnologías para tener una visión más analítica de su negocio y así poder tomar las mejores decisiones para crecer.

Se trata de tres conceptos completamente diferentes que tienen en común una nueva manera de lidiar con los datos, siempre teniendo en cuenta la existencia de una gran volumen de información en varios formatos que contribuyen, de forma estructurada o no estructurada, a la toma de decisiones estratégicas. El objetivo final de cualquiera de estas tecnologías es ofrecer una ventaja competitiva a las empresas, pero la forma en que se utiliza es la que marcará la diferencia.
Big Data

Llamamos big data a un gran volumen de datos con una variedad, complejidad y velocidad de crecimiento enorme y que además tienen la característica de no ser estructurados. Eso significa que no son relacionales, estando además fuera del entorno corporativo. Es un tipo de tecnología que te permite analizar los datos en tiempo real y puede provenir de diferentes fuentes y formas, tales como mensajería instantánea, redes sociales, registros de grabaciones, imágenes, mensajes de correo electrónico, etc.

Para tener una idea de la importancia del big data, este mercado está creciendo cada año, alrededor de un 40%. La paradoja reside en el hecho de que cuanto mayor es la evolución del big data, mayor es la escasez de profesionales cualificados para satisfacer esa demanda. La expectativa es que en unos pocos años, haya un crecimiento aún más significativo para el uso de big data y por lo tanto un aumento en la demanda mano de obra especializada y de partners tecnológicos especializados en esta materia.
Data Warehouse

Por otro lado, un data warehouse almacena datos consolidados de diversas fuentes o sistemas de la empresa. Se trata de datos estructurados, que tiene como objetivo principal ser precisos y de alta calidad para de esta forma poder dar soporte a la toma de decisiones de la empresa. Se trata de conseguir tener todos los datos juntos para después poder dividirlos para hacer un análisis de determinados sectores o estrategias.
Business Intelligence

Un Business Intelligence (BI) es una especie de “cuello de botella” de los datos recogidos del data warehouse, que llegan de forma exacta y útil para ayudar a la toma de decisiones. Business Intelligence transforma los datos en información útil para analizar no sólo los negocios, sino también las principales estrategias corporativas.


Los tres conceptos están interconectados y la perspectiva es que, cada vez más, la mayoría de empresas utilicen el análisis generado por este tipo de tecnologías para una visión más analítica de su negocio y así poder tomar las mejores decisiones para crecer.


Fuente:
Conoces ?
 
Haver, que no os enterais. Que lo que hay estudiar ahora es AGI. Y daos prisa porque parece que lo siguiente que lo va a desbancar es la com fruta cuantica. (Menos mal que para el metaverso no nos dió tiempo a apuntarnos en ningún master).

Gracia a la AGI no hará falta saber de big deita. Y gracias a la fruta cuantica, todas las big base de deita seran desencriptadas y expuestas al publico. Así que no hará falta nadie para programarlas, ya estaran disponibles a todo el mundo.
 

Estadísticas del foro

Temas
2.049.570
Mensajes
58.151.942
Miembros
190.834
Último miembro
Xxtoxicxx

El blog de burbuja.info

Volver