Tecnologías de Big Data

La mayoría de los expertos esperan que el gasto en tecnologías de big data continúe a un ritmo vertiginoso durante el resto de la década. Según la Guía Semestral Mundial de Gasto en Big Data y Análisis de IDC, es probable que las empresas gasten 1 150,8 mil millones en big data y análisis de negocios en 2017, un 12,4 por ciento más de lo que gastaron en 2016. Y la firma pronostica una tasa de crecimiento anual compuesto (TCAC) del 11,9 por ciento para el mercado hasta 2020, cuando los ingresos superarán los 2 210 mil millones.

Dan Vesset, vicepresidente del grupo en IDC, dijo: «Después de años de atravesar la curva en S de adopción, las soluciones de análisis de big data y negocios finalmente han llegado a la corriente principal. como facilitador del apoyo a la toma de decisiones y la automatización de decisiones, ahora está firmemente en el radar de los altos ejecutivos. Esta categoría de soluciones es también uno de los pilares clave para permitir los esfuerzos de transformación digital en todas las industrias y procesos de negocio a nivel mundial.»La compañía proyecta un crecimiento particularmente fuerte para los almacenes de datos analíticos no relacionales y las plataformas de software cognitivo en los próximos años. Cree que para 2020 las empresas gastarán 70 mil millones de dólares en software de big data.

Recurso de gestión de datos: Forrester Wave – Gestión de datos maestros

Las encuestas a líderes y ejecutivos de TI también dan crédito a la idea de que las empresas están gastando sumas sustanciales en tecnología de big data. La encuesta de Ejecutivos de Big Data de NewVantage Partners 2017 reveló que el 95% de los ejecutivos de Fortune 1000 dijeron que sus empresas habían invertido en tecnología de big data en los últimos cinco años. En algunos casos, esas inversiones fueron cuantiosas, con 37.el 2 por ciento de los encuestados dijo que sus empresas habían gastado más de $100 millones en proyectos de big data, y 6.5 invirtieron más de billion 1 mil millones.

Y la investigación Analítica de Datos de IDG Enterprise 2016 & encontró que es probable que este gasto continúe. Entre los encuestados, el 89 por ciento esperaba que en los próximos 12 a 18 meses sus empresas comprarían nuevas soluciones diseñadas para ayudarles a obtener valor comercial de sus big data.

Si busca una solución de big data para su empresa, lea nuestra lista de las principales empresas de big data

Tecnologías de big Data: Inversión por industria

Casi todas las industrias han comenzado a invertir en análisis de big data, pero algunas están invirtiendo más que otras. Según IDC, la banca, la fabricación discreta, la fabricación de procesos, el gobierno federal/central y los servicios profesionales se encuentran entre los mayores gastadores. En conjunto, esas industrias probablemente gastarán 7 72,4 mil millones en big data y análisis de negocios en 2017, ascendiendo a $101.5 mil millones para 2020.

El crecimiento más rápido del gasto en tecnologías de big data se está produciendo en la banca, la atención médica, los seguros, los valores y los servicios de inversión, y las telecomunicaciones. Cabe destacar que tres de esas industrias se encuentran dentro del sector financiero, que tiene muchos casos de uso particularmente sólidos para el análisis de big data, como la detección de fraudes, la gestión de riesgos y la optimización del servicio al cliente.

» Fuera de los servicios financieros, varias otras industrias presentan oportunidades atractivas», dijo Jessica Goepfert, directora de programas de IDC. «Dentro de las telecomunicaciones, por ejemplo, se aplican big data y análisis para ayudar a retener y ganar nuevos clientes, así como para la planificación y optimización de la capacidad de red. Mientras tanto, la industria de los medios de comunicación se ha visto afectada por una interrupción masiva en los últimos años gracias a la digitalización y el consumo masivo de contenido. Aquí, el big data y el análisis pueden ayudar a las empresas a comprender y monitorear los hábitos, preferencias y sentimientos de sus lectores. Los proveedores que se dirijan a la oportunidad de big data y análisis estarían bien servidos para elaborar sus mensajes en torno a estas prioridades de la industria, puntos débiles y casos de uso.»

Desde una perspectiva geográfica, la mayor parte del gasto se producirá en los Estados Unidos, que probablemente representará alrededor del 52 por ciento del gasto de big data y análisis en 2017. Europa occidental es el segundo mercado regional más grande con casi una cuarta parte del gasto. Sin embargo, el crecimiento más rápido se está produciendo en América Latina y la región de Asia y el Pacífico.

La mayor parte del gasto en tecnologías de big data proviene de empresas con más de 1,000 empleados, que comprenden el 60 por ciento del mercado, según IDC. Sin embargo, las PYMES no dejan pasar la tendencia, ya que representan casi una cuarta parte del gasto en big data y análisis de negocios.

¿Qué tecnologías de Big Data están comprando estas empresas?

Los sistemas de análisis no relacionales son un área favorecida para la inversión en tecnología de Big Data, al igual que el software cognitivo.

15 Tecnologías de Big Data para ver

La lista de proveedores de tecnología que ofrecen soluciones de big data es aparentemente infinita. Muchas de las soluciones de big data que son particularmente populares en este momento se ajustan a una de las siguientes 15 categorías:

El ecosistema Hadoop

Aunque Apache Hadoop puede no ser tan dominante como lo era antes, es casi imposible hablar de big data sin mencionar este marco de código abierto para el procesamiento distribuido de grandes conjuntos de datos. El año pasado, Forrester predijo: «El 100% de todas las grandes empresas lo adoptarán (Hadoop y tecnologías relacionadas como Spark) para el análisis de big data en los próximos dos años.»

A lo largo de los años, Hadoop ha crecido hasta abarcar todo un ecosistema de software relacionado, y muchas soluciones comerciales de big data se basan en Hadoop. De hecho, Zion Market Research pronostica que el mercado de productos y servicios basados en Hadoop continuará creciendo a un 50 por ciento de CAGR hasta 2022, cuando valdrá 8 87.14 mil millones, en comparación con $7.69 mil millones en 2016.

Los principales proveedores de Hadoop incluyen Cloudera, Hortonworks y MapR, y las principales nubes públicas ofrecen servicios compatibles con la tecnología.

Spark

Apache Spark es parte del ecosistema Hadoop, pero su uso se ha extendido tanto que merece una categoría propia. Es un motor para procesar big data dentro de Hadoop, y es hasta cien veces más rápido que el motor Hadoop estándar, MapReduce.

En la encuesta de madurez de Big Data de AtScale 2016, el 25 por ciento de los encuestados dijo que ya había implementado Spark en la producción, y el 33 por ciento más tenía proyectos Spark en desarrollo. Claramente, el interés en la tecnología es considerable y está creciendo, y muchos proveedores con ofertas de Hadoop también ofrecen productos basados en Spark.

R

R, otro proyecto de código abierto, es un lenguaje de programación y un entorno de software diseñado para trabajar con estadísticas. El favorito de los científicos de datos, es administrado por la Fundación R y está disponible bajo la licencia GPL 2. Muchos entornos de desarrollo integrados (IDE) populares, incluidos Eclipse y Visual Studio, admiten el lenguaje.

Varias organizaciones que clasifican la popularidad de varios lenguajes de programación dicen que R se ha convertido en uno de los lenguajes más populares del mundo. Por ejemplo, el IEEE dice que R es el quinto lenguaje de programación más popular, y tanto Tiobe como RedMonk lo ubican en el puesto 14. Esto es significativo porque los lenguajes de programación cerca de la parte superior de estos gráficos suelen ser lenguajes de propósito general que se pueden usar para muchos tipos diferentes de trabajo. El hecho de que un lenguaje que se utiliza casi exclusivamente para proyectos de big data esté tan cerca de la cima demuestra la importancia del big data y la importancia de este lenguaje en su campo.

Data Lakes

Para facilitar el acceso a sus vastos almacenes de datos, muchas empresas están configurando data lakes. Estos son enormes repositorios de datos que recopilan datos de muchas fuentes diferentes y los almacenan en su estado natural. Esto es diferente a un almacén de datos, que también recopila datos de fuentes dispares, pero los procesa y los estructura para su almacenamiento. En este caso, las metáforas del lago y del almacén son bastante precisas. Si los datos son como el agua, un lago de datos es natural y sin filtrar como una masa de agua, mientras que un almacén de datos es más como una colección de botellas de agua almacenadas en estantes.

Los data lakes son particularmente atractivos cuando las empresas desean almacenar datos pero aún no están seguras de cómo podrían usarlos. Muchos datos de Internet de las cosas (IoT) podrían encajar en esa categoría, y la tendencia de IoT está influyendo en el crecimiento de los lagos de datos.

MarketsandMarkets predice que los ingresos de Data lake crecerán de $2,53 mil millones en 2016 a 8 8.81 mil millones para 2021.

Las bases de datos NoSQL

Los sistemas tradicionales de gestión de bases de datos relacionales (RDBMSes) almacenan información en columnas y filas estructuradas y definidas. Los desarrolladores y administradores de bases de datos consultan, manipulan y administran los datos de esos RDBMSes utilizando un lenguaje especial conocido como SQL.

Las bases de datos NoSQL se especializan en almacenar datos no estructurados y proporcionar un rendimiento rápido, aunque no proporcionan el mismo nivel de consistencia que las RDBMSes. Las bases de datos NoSQL populares incluyen MongoDB, Redis, Cassandra, Couchbase y muchas otras; incluso los principales proveedores de RDBMS como Oracle e IBM ahora también ofrecen bases de datos NoSQL.

Las bases de datos NoSQL se han vuelto cada vez más populares a medida que la tendencia de big data ha crecido. Según Allied Market Research, el mercado NoSQL podría valer $4.2 mil millones para 2020. Sin embargo, el mercado de RDBMSes sigue siendo mucho, mucho más grande que el mercado de NoSQL.

MonboDB es una de varias bases de datos NoSQL conocidas.

Análisis predictivo

El análisis predictivo es un subconjunto de análisis de big data que intenta pronosticar eventos o comportamientos futuros basados en datos históricos. Se basa en técnicas de minería de datos, modelado y aprendizaje automático para predecir lo que sucederá a continuación. A menudo se utiliza para detección de fraude, calificación crediticia, marketing, finanzas y análisis de negocios.

En los últimos años, los avances en inteligencia artificial han permitido grandes mejoras en las capacidades de las soluciones de análisis predictivo. Como resultado, las empresas han comenzado a invertir más en soluciones de big data con capacidades predictivas. Muchos proveedores, incluidos Microsoft, IBM, SAP, SAS, Statistica, RapidMiner, KNIME y otros, ofrecen soluciones de análisis predictivo. Zion Market Research dice que el mercado de Análisis Predictivo generó revenue 3.49 mil millones en ingresos en 2016, una cifra que podría alcanzar los 1 10.95 mil millones para 2022.

Bases de datos en memoria

En cualquier sistema informático, la memoria, también conocida como RAM, es órdenes de magnitud más rápida que el almacenamiento a largo plazo. Si una solución de análisis de big data puede procesar datos almacenados en la memoria, en lugar de datos almacenados en un disco duro, puede funcionar mucho más rápido. Y eso es exactamente lo que hace la tecnología de bases de datos en memoria.

Muchos de los principales proveedores de software empresarial, incluidos SAP, Oracle, Microsoft e IBM, ahora ofrecen tecnología de bases de datos en memoria. Además, varias empresas más pequeñas como Teradata, Tableau, Volt DB y DataStax ofrecen soluciones de bases de datos en memoria. Una investigación de MarketsandMarkets estima que las ventas totales de tecnología en memoria fueron de 2 2.72 mil millones en 2016 y puede crecer a 6 6.58 mil millones en 2021.

Soluciones de seguridad de Big Data

Debido a que los repositorios de big data presentan un objetivo atractivo para los hackers y las amenazas persistentes avanzadas, la seguridad de big data es una preocupación grande y creciente para las empresas. En el estudio de AtScale, la seguridad fue el segundo ámbito de preocupación de más rápido crecimiento relacionado con los macrodatos.

Según el informe de IDG, los tipos más populares de soluciones de seguridad de big data incluyen controles de identidad y acceso (utilizados por el 59% de los encuestados), cifrado de datos (52%) y segregación de datos (42%). Docenas de proveedores ofrecen soluciones de seguridad de big data, y Apache Ranger, un proyecto de código abierto del ecosistema Hadoop, también está atrayendo cada vez más atención.

Soluciones de Gobernanza de Big Data

Estrechamente relacionado con la idea de seguridad está el concepto de gobernanza. El gobierno de datos es un tema amplio que abarca todos los procesos relacionados con la disponibilidad, usabilidad e integridad de los datos. Proporciona la base para asegurarse de que los datos utilizados para el análisis de big data sean precisos y apropiados, además de proporcionar un seguimiento de auditoría para que los analistas de negocios o ejecutivos puedan ver dónde se originaron los datos.

En la encuesta de socios de NewVantage, el 91,8 por ciento de los ejecutivos de Fortune 1000 encuestados dijeron que la gobernanza era críticamente importante (52,5 por ciento) o importante (39,3 por ciento) para sus iniciativas de big data. Los proveedores que ofrecen herramientas de gobernanza de big data incluyen Collibra, IBM, SAS, Informatica, Adaptive y SAP.

Capacidades de autoservicio

Con científicos de datos y otros expertos en big data escasos — y con grandes salarios, muchas organizaciones buscan herramientas de análisis de big data que permitan a los usuarios empresariales autoservicio para sus propias necesidades. De hecho, un informe de Research and Markets estima que el mercado de inteligencia de negocios de autoservicio generó revenue 3.61 mil millones en ingresos en 2016 y podría crecer a 7 7.31 mil millones para 2021. Y Gartner ha señalado: «La moderna plataforma de BI y análisis surgió en los últimos años para cumplir con los nuevos requisitos organizacionales de accesibilidad, agilidad y conocimiento analítico más profundo, cambiando el mercado de los informes de sistema de registro dirigidos por TI a los análisis ágiles dirigidos por el negocio, incluido el autoservicio.»

Con la esperanza de aprovechar esta tendencia, varios proveedores de inteligencia de negocios y análisis de big data, como Tableau, Microsoft, IBM, SAP, Splunk, Syncsort, SAS, TIBCO, Oracle y otros, han agregado capacidades de autoservicio a sus soluciones. El tiempo dirá si alguno o todos los productos resultan ser realmente utilizables por personas que no son expertos y si proporcionarán el valor comercial que las organizaciones esperan lograr con sus iniciativas de big data.

Inteligencia artificial

Si bien el concepto de inteligencia artificial (IA) ha existido casi tanto tiempo como las computadoras, la tecnología solo se ha vuelto verdaderamente utilizable en los últimos dos años. En muchos sentidos, la tendencia del big data ha impulsado los avances en IA, en particular en dos subconjuntos de la disciplina: aprendizaje automático y aprendizaje profundo.

La definición estándar de aprendizaje automático es que es la tecnología que da a las » computadoras la capacidad de aprender sin ser programadas explícitamente.»En el análisis de big data, la tecnología de aprendizaje automático permite a los sistemas observar datos históricos, reconocer patrones, crear modelos y predecir resultados futuros. También está estrechamente asociado con el análisis predictivo.

El aprendizaje profundo es un tipo de tecnología de aprendizaje automático que se basa en redes neuronales artificiales y utiliza múltiples capas de algoritmos para analizar datos. Como campo, es muy prometedor para permitir que las herramientas de análisis reconozcan el contenido de imágenes y videos y luego lo procesen en consecuencia.

Los expertos dicen que esta área de herramientas de big data parece preparada para un despegue dramático. IDC ha predicho: «Para 2018, el 75 por ciento del desarrollo empresarial e ISV incluirá funcionalidad cognitiva/IA o aprendizaje automático en al menos una aplicación, incluidas todas las herramientas de análisis de negocios.»

Los principales proveedores de IA con herramientas relacionadas con big data incluyen Google, IBM, Microsoft y Amazon Web Services, y docenas de pequeñas empresas emergentes están desarrollando tecnología de IA (y siendo adquiridas por los proveedores de tecnología más grandes).

Análisis de streaming

A medida que las organizaciones se han familiarizado más con las capacidades de las soluciones de análisis de big data, han comenzado a exigir un acceso cada vez más rápido a la información. Para estas empresas, el análisis de streaming con la capacidad de analizar los datos a medida que se crean, es una especie de santo grial. Buscan soluciones que puedan aceptar aportaciones de múltiples fuentes dispares, procesarlas y devolver información de inmediato, o lo más cerca posible de ella. Esto es particularmente deseable cuando se trata de nuevas implementaciones de IoT, que están ayudando a impulsar el interés en la transmisión de análisis de big data.

Varios proveedores ofrecen productos que prometen capacidades de análisis de streaming. Incluyen IBM, Software AG, SAP, TIBCO, Oracle, DataTorrent, SQLstream, Cisco, Informatica y otros. MarketsandMarkets cree que las soluciones de análisis de streaming generaron 3 3.08 mil millones en ingresos en 2016, que podrían aumentar a $13.70 mil millones para 2021.

Informática perimetral

Además de estimular el interés en el análisis de streaming, la tendencia de IoT también está generando interés en la informática perimetral. En cierto modo, la informática perimetral es lo opuesto a la informática en la nube. En lugar de transmitir datos a un servidor centralizado para su análisis, los sistemas de computación perimetral analizan los datos muy cerca de donde se crearon, en el borde de la red.

La ventaja de un sistema de computación perimetral es que reduce la cantidad de información que debe transmitirse a través de la red, lo que reduce el tráfico de red y los costos relacionados. También reduce las demandas de los centros de datos o las instalaciones de computación en la nube, liberando capacidad para otras cargas de trabajo y eliminando un posible punto único de falla.

Mientras el mercado de la informática perimetral, y más específicamente del análisis de informática perimetral, todavía se está desarrollando, algunos analistas y capitalistas de riesgo han comenzado a llamar a la tecnología «la próxima gran cosa».»

Blockchain

También una de las favoritas de los analistas con visión de futuro y los capitalistas de riesgo, blockchain es la tecnología de base de datos distribuida que subyace a la moneda digital Bitcoin. La característica única de una base de datos blockchain es que una vez que los datos se han escrito, no se pueden eliminar o cambiar después del hecho. Además, es altamente seguro, lo que lo convierte en una excelente opción para aplicaciones de big data en industrias sensibles como la banca, los seguros, el cuidado de la salud, el comercio minorista y otros.

La tecnología Blockchain todavía está en su infancia y los casos de uso aún se están desarrollando. Sin embargo, varios proveedores, incluidos IBM, AWS, Microsoft y varias empresas emergentes, han lanzado soluciones experimentales o introductorias basadas en la tecnología blockchain.

Blockchain es una tecnología de libro mayor distribuido que ofrece un gran potencial para el análisis de datos.

Análisis prescriptivo

Muchos analistas dividen las herramientas de análisis de big data en cuatro grandes categorías. El primero, el análisis descriptivo, simplemente dice lo que sucedió. El siguiente tipo, análisis de diagnóstico, va un paso más allá y proporciona una razón de por qué ocurrieron los eventos. El tercer tipo, el análisis predictivo, discutido en profundidad anteriormente, intenta determinar lo que sucederá a continuación. Esto es tan sofisticado como la mayoría de las herramientas de análisis actualmente en el mercado pueden obtener.

Sin embargo, hay un cuarto tipo de análisis que es aún más sofisticado, aunque en este momento hay muy pocos productos con estas capacidades disponibles. El análisis prescriptivo ofrece asesoramiento a las empresas sobre lo que deben hacer para lograr el resultado deseado. Por ejemplo, mientras que el análisis predictivo puede dar a una empresa una advertencia de que el mercado de una línea de productos en particular está a punto de disminuir, el análisis prescriptivo analizará varios cursos de acción en respuesta a esos cambios del mercado y pronosticará los resultados más probables.

Actualmente, muy pocas empresas han invertido en análisis prescriptivos, pero muchos analistas creen que esta será la próxima gran área de inversión después de que las organizaciones comiencen a experimentar los beneficios del análisis predictivo.

El mercado de las tecnologías de big data es diverso y cambia constantemente. Pero tal vez un día, pronto, las herramientas de análisis predictivas y prescriptivas ofrezcan consejos sobre lo que viene a continuación para el big data y lo que las empresas deben hacer al respecto.

Deja una respuesta

Tu dirección de correo electrónico no será publicada.