grandes tecnologias de dados

a maioria dos especialistas esperam que os gastos com grandes tecnologias de dados continuem a um ritmo vertiginoso durante o resto da década. De acordo com o Worldwide Semiannual Big Data and Analytics Spending Guide, as empresas provavelmente gastarão US $150,8 bilhões em Big data e business analytics em 2017, 12,4 por cento a mais do que gastaram em 2016. E a empresa prevê uma taxa de crescimento anual composta (CAGR) de 11,9 por cento para o mercado até 2020, quando as receitas atingirão os 210 bilhões de dólares.

Dan Vesset, vice-presidente do grupo no IDC, disse: “Depois de anos de atravessar a curva de adoção S, grandes soluções de análise de dados e Negócios finalmente atingiram o mainstream. como um facilitador de apoio à decisão e automação de decisão está agora firmemente no radar dos executivos de topo. Esta categoria de soluções é também um dos pilares fundamentais para permitir esforços de transformação digital em todas as indústrias e processos de negócios em todo o mundo.”A empresa projeta um crescimento particularmente forte para lojas de dados analíticos não relacionais e plataformas de software cognitivo ao longo dos próximos anos. Acredita que até 2020 as empresas estarão gastando US $70 bilhões em grandes softwares de dados.

recursos de gestão de dados: Forrester Wave-Master Data Management

pesquisas de líderes e executivos de TI também dão crédito à ideia de que as empresas estão gastando somas substanciais em grandes tecnologias de dados. A NewVantage Partners Big Data Executive Survey 2017, descobriu que 95 por cento dos executivos da Fortune 1000 disseram que suas empresas tinham investido em grande tecnologia de dados nos últimos cinco anos. Em alguns casos, esses investimentos eram grandes, com 37.2% dos entrevistados dizem que suas empresas gastaram mais de US $100 milhões em grandes projetos de dados, e 6,5 investiram mais de US $1 bilhão.

e os dados da IDG Enterprise 2016 & a pesquisa analítica descobriu que esta despesa é provável que continue. Entre os entrevistados, 89 por cento esperavam que nos próximos 12 a 18 meses suas empresas iriam comprar novas soluções projetadas para ajudá-los a obter valor de negócio a partir de seus grandes dados.Se você está no mercado para uma grande solução de dados para a sua empresa, leia a nossa lista das maiores empresas de dados: grandes tecnologias de dados: investimento da indústria

quase todas as indústrias começaram a investir em grandes análises de dados, mas algumas estão a investir mais do que outras. De acordo com a IDC, a banca, a fabricação discreta, a fabricação de processos, o Governo federal/central e os serviços profissionais estão entre os maiores gastadores. Juntos, essas indústrias provavelmente gastarão US $ 72,4 bilhões em grandes dados e análises de negócios em 2017, subindo para US $101.5 mil milhões até 2020.

o crescimento mais rápido das despesas com as grandes tecnologias de dados está a ocorrer nos serviços bancários, de saúde, de seguros, de Valores Mobiliários e de investimento e de telecomunicações. Vale ressaltar que três dessas indústrias estão dentro do setor financeiro, que tem muitos casos de uso particularmente fortes para grandes análises de dados, tais como detecção de fraude, gerenciamento de risco e otimização de atendimento ao cliente.”Fora dos serviços financeiros, várias outras indústrias apresentam oportunidades convincentes”, disse Jessica Goepfert, diretora de programa da IDC. “Dentro das telecomunicações, por exemplo, grandes dados e análises são aplicados para ajudar a reter e ganhar novos clientes, bem como para o planejamento de capacidade de rede e otimização. Enquanto isso, a indústria de mídia tem sido atormentada por uma grande perturbação nos últimos anos, graças à digitalização e consumo maciço de conteúdo. Aqui, grandes dados e análises podem ajudar as empresas a fazer sentido e monitorar os hábitos, preferências e sentimento dos seus leitores. Fornecedores que visam a grande oportunidade de dados e análise seria bem servido para criar suas mensagens em torno dessas prioridades da indústria, pontos de dor e casos de uso.”

do ponto de vista geográfico, A maior parte dos gastos ocorrerá nos Estados Unidos, o que provavelmente representará cerca de 52 por cento dos grandes gastos em dados e análises em 2017. A Europa Ocidental é o segundo maior mercado regional, com quase um quarto das despesas. No entanto, o crescimento mais rápido está ocorrendo na América Latina e na região Ásia/Pacífico.

a maior parte dos gastos com grandes tecnologias de dados vem de empresas com mais de 1.000 funcionários, que compõem 60 por cento do mercado, de acordo com IDC. Ainda assim, os SMBs não estão deixando a tendência passar por eles, já que eles são responsáveis por quase um quarto dos grandes dados e análise de negócios gastos.Quais são as grandes tecnologias de dados que estas empresas estão comprando?

sistemas de análise não relacional é uma área favorecida para o investimento em tecnologia de dados, assim como o software cognitivo.

15 grandes tecnologias de dados para assistir

a lista de fornecedores de tecnologia oferecendo grandes soluções de dados é aparentemente infinita. Muitas das soluções big data, que são particularmente populares agora se encaixam em uma das seguintes 15 categorias:

O Hadoop Ecossistema

Enquanto o Apache Hadoop pode não ser tão dominante como era antes, é quase impossível falar de big data sem mencionar este framework de código aberto para o processamento distribuído de grandes conjuntos de dados. No ano passado, Forrester previu, “100% de todas as grandes empresas irão adotá-lo (Hadoop e tecnologias relacionadas, como Spark) para grandes análises de dados nos próximos dois anos.”

ao longo dos anos, Hadoop cresceu para abranger um ecossistema inteiro de software relacionado, e muitas soluções comerciais de grandes dados são baseadas em Hadoop. De fato, a Zion Market Research prevê que o mercado de produtos e serviços baseados em Hadoop continuará a crescer em uma CAGR de 50% até 2022, quando valerá US $87,14 bilhões, acima de US $7,69 bilhões em 2016.

key Hadoop vendors include Cloudera, Hortonworks e MapR, and the leading public clouds all offer services that support the technology.

Spark

Apache Spark é parte do ecossistema Hadoop, mas o seu uso tornou-se tão generalizado que merece uma categoria própria. É um motor para o processamento de grandes dados dentro do Hadoop, e é até cem vezes mais rápido do que o motor Hadoop padrão, MapReduce.

In The AtScale 2016 Big Data Maturity Survey, 25 percent of inquiries said that they had already deployed Spark in production, and 33 percent more had Spark projects in development. Claramente, o interesse na tecnologia é considerável e crescente, e muitos fornecedores com ofertas Hadoop também oferecem produtos baseados em faíscas.

R

R, outro projeto de código aberto, é uma linguagem de programação e ambiente de software projetado para trabalhar com estatísticas. The darling of data scientists, it is managed by the R Foundation and available under the GPL 2 license. Muitos ambientes de desenvolvimento integrados populares (IDEs), incluindo Eclipse e Visual Studio, suportam a linguagem.Várias organizações que classificam a popularidade de várias linguagens de programação dizem que R se tornou uma das linguagens mais populares do mundo. Por exemplo, o IEEE diz que R é a quinta linguagem de programação mais popular, e tanto Tiobe quanto RedMonk classificam-no como 14º. Isto é significativo porque as linguagens de programação perto do topo destes gráficos são geralmente linguagens de propósito geral que podem ser usadas para muitos tipos diferentes de trabalho. Para uma linguagem que é usada quase exclusivamente para grandes projetos de dados para estar tão perto do topo demonstra o Significado de grandes dados e a importância desta linguagem em seu campo.

Lagos de dados

para facilitar o acesso às suas vastas reservas de Dados, Muitas empresas estão a criar lagos de dados. Estes são repositórios de dados enormes que coletam dados de muitas fontes diferentes e armazenam-no em seu estado natural. Isto é diferente de um data warehouse, que também recolhe dados de fontes díspares, mas processa-o e estrutura-o para armazenamento. Neste caso, as metáforas do lago e do armazém são bastante precisas. Se os dados são como a água, um lago de dados é natural e não filtrado como um corpo de água, enquanto um depósito de dados é mais como uma coleção de garrafas de água armazenadas em prateleiras.

lagos de dados são particularmente atraentes quando as empresas querem armazenar dados, mas ainda não têm a certeza de como eles podem usá-lo. Um monte de Internet de Coisas (IoT) dados podem caber nessa categoria, e a tendência da IoT está jogando no crescimento de Lagos de dados.

mercados e mercados prevêem que as receitas do lago de dados irão crescer de $ 2,53 mil milhões em 2016 para $ 8.81 mil milhões até 2021.

bases de dados NoSQL

sistemas tradicionais de gestão de bases de dados relacionais (RDBMSes) armazenam informações em colunas e linhas estruturadas e definidas. Desenvolvedores e administradores de banco de dados pesquisam, manipulam e gerenciam os dados nesses RDBMSes usando uma linguagem especial conhecida como SQL.

as bases de dados NoSQL são especializadas no armazenamento de dados não estruturados e no fornecimento de um desempenho rápido, embora não forneçam o mesmo nível de consistência que as RDBMSes. Bases de dados populares NoSQL incluem MongoDB, Redis, Cassandra, Couchbase e muitos outros; mesmo os principais vendedores de RDBMS como Oracle e IBM agora também oferecem bases de dados NoSQL.As bases de dados NoSQL tornaram-se cada vez mais populares à medida que a grande tendência dos dados cresceu. De acordo com a Allied Market Research, o mercado NoSQL poderia valer US $4,2 bilhões em 2020. No entanto, o mercado das RDBMSes é ainda muito, muito maior do que o mercado da NoSQL.

o MonboDB é uma das várias bases de dados NoSQL bem conhecidas.

Analytics Predictive

Predictive analytics is a sub-set of big data analytics that attempts to forecast future events or behavior based on historical data. Ele se baseia em técnicas de mineração de dados, modelagem e aprendizagem de máquinas para prever o que vai acontecer a seguir. É frequentemente utilizado para fins de detecção de fraudes, pontuação de crédito, marketing, finanças e análise de negócios.

nos últimos anos, os avanços na inteligência artificial permitiram grandes melhorias nas capacidades de soluções de análise preditiva. Como resultado, as empresas começaram a investir mais em grandes soluções de dados com capacidades preditivas. Muitos fornecedores, incluindo Microsoft, IBM, SAP, SAS, Statistica, RapidMiner, KNIME e outros, oferecem soluções de análise preditiva. Zion Market Research diz que o mercado de Análise Preditiva gerou US $3,49 bilhões em receita em 2016, um número que poderia chegar a US $10,95 bilhões em 2022.

em bases de dados de memória

em qualquer sistema de computador, a memória, também conhecida como RAM, é ordens de magnitude mais rápida do que o armazenamento de longo prazo. Se uma grande solução de análise de dados pode processar dados que são armazenados na memória, em vez de dados armazenados em um disco rígido, ele pode executar dramaticamente mais rápido. E isso é exatamente o que a tecnologia de banco de dados de memória faz.

muitos dos principais fornecedores de software da empresa, incluindo SAP, Oracle, Microsoft e IBM, agora oferecem tecnologia de banco de dados em memória. Além disso, várias empresas menores como Teradata, Tableau, Volt DB e DataStax oferecem soluções de banco de dados em memória. Estudos de mercado e mercados estimam que o total de vendas de tecnologia de memória foi de $ 2 .72 bilhões em 2016 e pode crescer para us $ 6,58 bilhões em 2021.

Grandes Soluções de Segurança de Dados

Porque os grandes repositórios de dados apresentar um alvo atraente para hackers e ameaças persistentes avançadas, grande segurança de dados é um grande e crescente preocupação para as empresas. No inquérito de escala, a segurança foi a Segunda Área de preocupação em crescimento mais rápido relacionada com os grandes dados.

de acordo com o relatório IDG, os tipos mais populares de grandes soluções de segurança de dados incluem controles de identidade e acesso (usado por 59 por cento dos entrevistados), criptografia de dados (52 por cento) e segregação de dados (42 por cento). Dezenas de fornecedores oferecem grandes soluções de segurança de dados, e o Apache Ranger, um projeto de código aberto do ecossistema Hadoop, também está atraindo atenção crescente.

grandes soluções de Governança de dados

intimamente relacionado com a ideia de segurança é o conceito de governança. A governança de dados é um tema amplo que abrange todos os processos relacionados à disponibilidade, usabilidade e integridade dos dados. Ele fornece a base para se certificar de que os dados utilizados para o Big data analytics são precisos e adequados, bem como fornecer uma pista de auditoria para que os analistas de negócios ou executivos possam ver onde os dados se originaram.Na pesquisa NewVantage Partners, 91,8% dos executivos da Fortune 1000 entrevistados disseram que a governança era criticamente importante (52,5%) ou importante (39,3%) para suas grandes iniciativas de dados. Fornecedores que oferecem grandes ferramentas de governança de dados incluem Collibra, IBM, SAS, Informatica, adaptativo e SAP.

capacidades de auto-serviço

com cientistas de dados e outros grandes especialistas em dados em curto fornecimento — e comandando grandes salários — muitas organizações estão à procura de grandes ferramentas de análise de dados que permitem aos usuários de negócios auto-atender às suas próprias necessidades. De fato, um relatório de pesquisa e mercados estima que o mercado de inteligência de negócios de auto-serviço gerou US $3,61 bilhões em receita em 2016 e poderia crescer para us $7,31 bilhões em 2021. E Gartner observou: “a plataforma moderna de BI e análise surgiu nos últimos anos para atender aos novos requisitos organizacionais para acessibilidade, agilidade e visão analítica mais profunda, mudando o mercado de IT-led, sistema-de-registro relatórios para business-led, análise ágil, incluindo auto-serviço.”

na esperança de aproveitar esta tendência, vários fornecedores de inteligência de negócios e grandes fornecedores de análise de dados, como Tableau, Microsoft, IBM, SAP, Splunk, Syncsort, SAS, TIBCO, Oracle e outros adicionaram capacidades de auto-serviço às suas soluções. O tempo dirá se algum ou todos os produtos acabam por ser realmente utilizáveis por não-especialistas e se eles irão fornecer as organizações de valor comercial estão esperando para alcançar com suas grandes iniciativas de dados.

Inteligência Artificial

enquanto o conceito de Inteligência artificial (AI) tem sido em torno de quase tanto tempo quanto tem havido computadores, a tecnologia só se tornou verdadeiramente utilizável nos últimos dois anos. Em muitos aspectos, a grande tendência dos dados tem impulsionado avanços na IA, particularmente em dois subconjuntos da disciplina: aprendizagem de máquinas e aprendizado profundo.

a definição padrão de aprendizagem de máquinas é que é a tecnologia que dá “computadores a capacidade de aprender sem ser explicitamente programado.”In big data analytics, machine learning technology allows systems to look at historical data, recognize patterns, build models and predict future outcomes. Ele também está intimamente associado com a análise preditiva.

a aprendizagem profunda é um tipo de tecnologia de aprendizagem de máquinas que se baseia em Redes Neurais Artificiais e usa várias camadas de algoritmos para analisar dados. Como um campo, ele mantém uma grande promessa para permitir ferramentas de análise para reconhecer o conteúdo em imagens e vídeos e, em seguida, processá-lo de acordo.Os especialistas dizem que esta área de grandes ferramentas de dados parece pronta para uma descolagem dramática. IDC previu, ” em 2018, 75 por cento do desenvolvimento de empresas e ISV irá incluir a funcionalidade de aprendizagem cognitiva/AI ou máquina em pelo menos uma aplicação, incluindo todas as ferramentas de análise de negócios.”

Levando AI fornecedores com ferramentas relacionadas a grandes volumes de dados incluem o Google, IBM, Microsoft e Amazon Web Services, e dezenas de pequenas startups estão desenvolvendo AI tecnologia (e ficar adquiridos pelos maiores fornecedores de tecnologia).

Streaming analytics

Conforme as organizações se tornam mais familiarizados com os recursos de grandes soluções de análise de dados, eles começaram exigindo mais e mais rápido acesso a insights. Para estas empresas, transmitir análises com a capacidade de analisar dados como está sendo criado, é algo de um santo graal. Eles estão à procura de soluções que podem aceitar a entrada de várias fontes díspares, processá — la e retornar insights imediatamente-ou o mais próximo possível dela. Isto é particularmente desejável quando se trata de novas implementações de IoT, que estão ajudando a impulsionar o interesse em streaming de grandes análises de dados.

vários fornecedores oferecem produtos que prometem capacidades de análise de streaming. Eles incluem IBM, Software AG, SAP, TIBCO, Oracle, DataTorrent, SQLstream, Cisco, Informatica e outros. Mercados e mercados acreditam que as soluções de análise de streaming trouxe $3.08 bilhões em receita em 2016, o que poderia aumentar para us $13,70 bilhões em 2021.

Edge Computing

In addition to spurring interest in streaming analytics, the IoT trend is also generating interest in edge computing. Em alguns aspectos, a computação de borda é o oposto da computação em nuvem. Em vez de transmitir dados para um servidor centralizado para análise, os sistemas de computação de borda analisam dados muito perto de onde ele foi criado — na borda da rede.

a vantagem de um sistema de computação de borda é que ele reduz a quantidade de informação que deve ser transmitida através da rede, reduzindo assim o tráfego de rede e os custos relacionados. Também diminui a demanda por centros de dados ou instalações de computação em nuvem, liberando a capacidade para outras cargas de trabalho e eliminando um potencial ponto único de falha.Enquanto o mercado da computação de borda, e mais especificamente para análise de computação de bordo, ainda está em desenvolvimento, alguns analistas e investidores de risco começaram a chamar a tecnologia de “a próxima grande coisa”.”

Blockchain

Also a favorite with forward-looking analysts and venture capitalistas, blockchain is the distributed database technology that underlies Bitcoin digital currency. A característica única de um banco de dados blockchain é que uma vez que os dados foram escritos, ele não pode ser excluído ou alterado após o fato. Além disso, é altamente seguro, o que o torna uma excelente escolha para grandes aplicações de dados em indústrias sensíveis como a banca, seguros, cuidados de saúde, varejo e outros.

a tecnologia Blockchain ainda está na sua infância e os casos de uso ainda estão em desenvolvimento. No entanto, vários fornecedores, incluindo IBM, AWS, Microsoft e múltiplas startups, lançaram soluções experimentais ou introdutórias construídas sobre a tecnologia blockchain.

Blockchain é uma tecnologia distribuída de ledger que oferece grande potencial para análise de dados.

análises prescritivas

muitos analistas dividem as ferramentas de análise de dados em quatro grandes categorias. A primeira, a análise descritiva, simplesmente conta o que aconteceu. O próximo tipo, análise de diagnóstico, vai um passo mais longe e fornece uma razão para que os eventos ocorreram. O terceiro tipo, análise preditiva, discutido em profundidade acima, tenta determinar o que vai acontecer a seguir. Isto é tão sofisticado quanto a maioria das ferramentas de análise atualmente no mercado pode obter.

no entanto, há um quarto tipo de análise que é ainda mais sofisticado, embora muito poucos produtos com essas capacidades estão disponíveis neste momento. A análise prescritiva oferece conselhos às empresas sobre o que devem fazer para que um resultado desejado aconteça. Por exemplo, enquanto a análise preditiva pode dar a uma empresa um aviso de que o mercado para uma determinada linha de produto está prestes a diminuir, a análise prescritiva irá analisar vários cursos de ação em resposta a essas mudanças de mercado e prever os resultados mais prováveis.

atualmente, muito poucas empresas investiram em análises prescritivas, mas muitos analistas acreditam que esta será a próxima grande área de investimento após as organizações começarem a experimentar os benefícios da análise preditiva.

o mercado das grandes tecnologias de dados é diversificado e em constante mutação. Mas talvez um dia em breve ferramentas de análise preditiva e prescritiva irá oferecer conselhos sobre o que está vindo a seguir para grandes dados — e o que as empresas devem fazer sobre isso.

Deixe uma resposta

O seu endereço de email não será publicado.