Big Data Technologies

La maggior parte degli esperti si aspetta che la spesa per le tecnologie dei big data continui a ritmi vertiginosi per il resto del decennio. Secondo Worldwide semestrale Big Data and Analytics Spending Guide di IDC, le aziende spenderanno probabilmente billion 150.8 miliardi in big data e business analytics nel 2017, il 12.4% in più rispetto a quanto speso nel 2016. E l’azienda prevede un tasso di crescita annuale composto (CAGR) dell ‘ 11,9 per cento per il mercato fino al 2020, quando i ricavi supereranno $210 miliardi.

Dan Vesset, group Vice President di IDC, ha dichiarato: “Dopo anni di superamento della curva S di adozione, le soluzioni big data e business analytics hanno finalmente raggiunto il mainstream. come abilitatore del supporto decisionale e dell’automazione delle decisioni è ora saldamente sul radar dei top executive. Questa categoria di soluzioni è anche uno dei pilastri chiave per consentire gli sforzi di trasformazione digitale in tutti i settori e processi aziendali a livello globale.”L’azienda prevede una crescita particolarmente forte per gli archivi di dati analitici non relazionali e le piattaforme software cognitive nei prossimi anni. Ritiene che entro il 2020 le imprese spenderanno 70 miliardi di dollari per il software Big data.

Data Management Resource: Forrester Wave – Master Data Management

Le indagini di leader e dirigenti IT danno credito anche all’idea che le imprese stanno spendendo somme considerevoli sulla tecnologia big data. Il Newvantage Partners Big Data Executive Survey 2017, ha rilevato che il 95 per cento dei dirigenti Fortune 1000 ha detto che le loro aziende avevano investito nella tecnologia big data nel corso degli ultimi cinque anni. In alcuni casi, tali investimenti erano grandi, con 37.2 per cento degli intervistati dicendo che le loro aziende avevano speso più di million 100 milioni in progetti di big data, e il 6,5 investito più di billion 1 miliardo.

E i dati IDG Enterprise 2016 & La ricerca analitica ha rilevato che questa spesa è destinata a continuare. Tra gli intervistati, 89 per cento prevede che entro i prossimi 12 a 18 mesi le loro aziende avrebbero acquistato nuove soluzioni progettate per aiutarli a ricavare valore di business dai loro big data.

Se sei nel mercato per una soluzione di big data per la tua azienda, leggi la nostra lista delle migliori aziende di big data

Tecnologie Big Data: investimenti industriali

Quasi tutti i settori hanno iniziato a investire nell’analisi dei big data, ma alcuni stanno investendo più pesantemente di altri. Secondo IDC, il settore bancario, la produzione discreta, la produzione di processo, il governo federale/centrale e i servizi professionali sono tra i più grandi spendaccioni. Insieme, queste industrie spenderanno probabilmente billion 72,4 miliardi in big data e analisi aziendali nel 2017, salendo a $101.5 miliardi entro il 2020.

La crescita più rapida della spesa per le tecnologie big data si sta verificando nei settori bancario, sanitario, assicurativo, dei titoli e dei servizi di investimento e delle telecomunicazioni. È interessante notare che tre di questi settori si trovano nel settore finanziario, che ha molti casi d’uso particolarmente forti per l’analisi dei big data, come il rilevamento delle frodi, la gestione del rischio e l’ottimizzazione del servizio clienti.

“Al di fuori dei servizi finanziari, molti altri settori presentano opportunità interessanti”, ha affermato Jessica Goepfert, direttrice del programma di IDC. “Nell’ambito delle telecomunicazioni, ad esempio, i big data e l’analisi vengono applicati per aiutare a mantenere e acquisire nuovi clienti, nonché per la pianificazione e l’ottimizzazione della capacità di rete. Nel frattempo, l’industria dei media è stata afflitta da enormi interruzioni negli ultimi anni grazie alla digitalizzazione e al consumo massiccio di contenuti. Qui, i big data e l’analisi possono aiutare le aziende a dare un senso e monitorare le abitudini, le preferenze e il sentimento dei loro lettori. I fornitori che prendono di mira l’opportunità di big data e analytics sarebbero ben serviti per creare i loro messaggi attorno a queste priorità del settore, punti critici e casi d’uso.”

Da una prospettiva geografica, la maggior parte della spesa si verificherà negli Stati Uniti, che probabilmente rappresenteranno circa il 52% della spesa per big data e analytics nel 2017. L’Europa occidentale è il secondo più grande mercato regionale con quasi un quarto della spesa. Tuttavia, la crescita più rapida si sta verificando in America Latina e nella regione Asia/Pacifico.

La maggior parte della spesa per le tecnologie big data proviene da imprese con oltre 1.000 dipendenti, che comprendono il 60% del mercato, secondo IDC. Tuttavia, le PMI non lasciano passare la tendenza, poiché rappresentano quasi un quarto della spesa per i big data e l’analisi aziendale.

Quindi quali tecnologie di Big Data stanno comprando queste aziende?

I sistemi di analisi non relazionali sono un’area favorita per gli investimenti in tecnologia Big Data, così come il software cognitivo.

15 Tecnologie Big Data da guardare

L’elenco dei fornitori di tecnologia che offrono soluzioni Big data è apparentemente infinito. Molti dei big data, soluzioni che sono particolarmente popolari in questo momento rientra in una delle seguenti 15 categorie:

L’Ecosistema Hadoop

Apache Hadoop potrebbe non essere così dominante come una volta, è quasi impossibile parlare di big data senza menzione di questo framework open source per l’elaborazione distribuita di grandi insiemi di dati. L’anno scorso, Forrester ha previsto, ” Il 100% di tutte le grandi imprese adotterà it (Hadoop e tecnologie correlate come Spark) per l’analisi dei big data entro i prossimi due anni.”

Nel corso degli anni, Hadoop è cresciuta fino a comprendere un intero ecosistema di software correlati, e molte soluzioni commerciali di big data si basano su Hadoop. In realtà, forecasts Market Research prevede che il mercato dei prodotti e servizi Hadoop-based continuerà a crescere ad un 50 per cento CAGR attraverso il 2022, quando sarà un valore di billion 87.14 miliardi, in crescita da billion 7.69 miliardi nel 2016.

I principali fornitori di Hadoop includono Cloudera, Hortonworks e MapR e i principali cloud pubblici offrono tutti servizi che supportano la tecnologia.

Spark

Apache Spark fa parte dell’ecosistema Hadoop, ma il suo uso è diventato così diffuso che merita una categoria a sé stante. Si tratta di un motore per l’elaborazione di big data all’interno di Hadoop, ed è fino a cento volte più veloce rispetto al motore standard Hadoop, MapReduce.

Nell’indagine sulla maturità dei Big Data di AtScale 2016, il 25% degli intervistati ha dichiarato di aver già implementato Spark in produzione e il 33% in più ha avuto progetti Spark in fase di sviluppo. Chiaramente, l’interesse per la tecnologia è considerevole e in crescita, e molti fornitori con offerte Hadoop offrono anche prodotti basati su Spark.

R

R, un altro progetto open source, è un linguaggio di programmazione e un ambiente software progettato per lavorare con le statistiche. Il beniamino dei data scientist, è gestito dalla R Foundation e disponibile sotto licenza GPL 2. Molti popolari ambienti di sviluppo integrato (IDE), tra cui Eclipse e Visual Studio, supportano la lingua.

Diverse organizzazioni che classificano la popolarità di vari linguaggi di programmazione affermano che R è diventato uno dei linguaggi più popolari al mondo. Ad esempio, l’IEEE dice che R è il quinto linguaggio di programmazione più popolare, e sia Tiobe che RedMonk lo classificano 14th. Questo è significativo perché i linguaggi di programmazione vicino alla parte superiore di questi grafici sono di solito linguaggi di uso generale che possono essere utilizzati per molti diversi tipi di lavoro. Per un linguaggio che viene utilizzato quasi esclusivamente per i progetti di big data di essere così vicino alla parte superiore dimostra il significato di big data e l’importanza di questo linguaggio nel suo campo.

Data Lake

Per facilitare l’accesso ai loro vasti archivi di dati, molte aziende stanno creando data lake. Si tratta di enormi repository di dati che raccolgono dati da molte fonti diverse e li memorizzano nel suo stato naturale. Questo è diverso da un data warehouse, che raccoglie anche dati da fonti diverse, ma lo elabora e lo struttura per l’archiviazione. In questo caso, le metafore del lago e del magazzino sono abbastanza accurate. Se i dati sono come l’acqua, un lago di dati è naturale e non filtrato come un corpo d’acqua, mentre un data warehouse è più simile a una raccolta di bottiglie d’acqua memorizzate sugli scaffali.

I data lake sono particolarmente interessanti quando le aziende desiderano archiviare i dati ma non sono ancora sicure di come potrebbero usarli. Molti dati Internet of Things (IoT) potrebbero rientrare in quella categoria e la tendenza IoT sta giocando nella crescita dei data lake.

MarketsandMarkets prevede che i ricavi di data lake cresceranno da billion 2.53 miliardi nel 2016 a $8.81 miliardi entro il 2021.

Database NoSQL

I sistemi di gestione di database relazionali tradizionali (RDBMSes) memorizzano le informazioni in colonne e righe strutturate e definite. Gli sviluppatori e gli amministratori di database interrogano, manipolano e gestiscono i dati in tali RDBM utilizzando un linguaggio speciale noto come SQL.

I database NoSQL sono specializzati nella memorizzazione di dati non strutturati e nella fornitura di prestazioni veloci, sebbene non forniscano lo stesso livello di coerenza degli RDBM. I database NoSQL più diffusi includono MongoDB, Redis, Cassandra, Couchbase e molti altri; anche i principali fornitori RDBMS come Oracle e IBM ora offrono anche database NoSQL.

I database NoSQL sono diventati sempre più popolari man mano che la tendenza dei big data è cresciuta. Secondo Allied Market Research il mercato NoSQL potrebbe valere 4,2 miliardi di dollari entro il 2020. Tuttavia, il mercato per RDBMSes è ancora molto, molto più grande del mercato per NoSQL.

MonboDB è uno dei numerosi database NoSQL ben noti.

Analisi predittiva

L’analisi predittiva è un sottoinsieme di analisi dei big data che tenta di prevedere eventi o comportamenti futuri in base a dati storici. Si basa su tecniche di data mining, modellazione e apprendimento automatico per prevedere cosa accadrà dopo. Viene spesso utilizzato per il rilevamento delle frodi, il credit scoring, il marketing, la finanza e gli scopi di analisi aziendale.

Negli ultimi anni, i progressi nell’intelligenza artificiale hanno permesso enormi miglioramenti nelle capacità delle soluzioni di analisi predittiva. Di conseguenza, le aziende hanno iniziato a investire di più in soluzioni di big data con capacità predittive. Molti fornitori, tra cui Microsoft, IBM, SAP, SAS, Statistica, RapidMiner, KNIME e altri, offrono soluzioni di analisi predittiva. Research Market Research afferma che il mercato dell’analisi predittiva ha generato revenue 3,49 miliardi di fatturato nel 2016, un numero che potrebbe raggiungere billion 10,95 miliardi entro il 2022.

Database in memoria

In qualsiasi sistema informatico, la memoria, nota anche come RAM, è ordini di grandezza più veloce dell’archiviazione a lungo termine. Se una soluzione di Big Data Analytics è in grado di elaborare i dati memorizzati in memoria, piuttosto che i dati memorizzati su un disco rigido, può eseguire notevolmente più velocemente. E questo è esattamente ciò che fa la tecnologia dei database in memoria.

Molti dei principali fornitori di software aziendali, tra cui SAP, Oracle, Microsoft e IBM, offrono ora la tecnologia di database in memoria. Inoltre, diverse aziende più piccole come Teradata, Tableau, Volt DB e DataStax offrono soluzioni di database in memoria. La ricerca di MarketsandMarkets stima che le vendite totali di tecnologia in memoria siano state di 2 2.72 miliardi nel 2016 e può crescere a billion 6,58 miliardi entro il 2021.

Soluzioni per la sicurezza dei Big Data

Poiché i repository di big data rappresentano un obiettivo attraente per gli hacker e le minacce persistenti avanzate, la sicurezza dei big data è una preoccupazione grande e crescente per le imprese. Nel sondaggio AtScale, la sicurezza è stata la seconda area di preoccupazione in più rapida crescita relativa ai big data.

Secondo il rapporto IDG, i tipi più popolari di soluzioni per la sicurezza dei big data includono controlli di identità e accesso (utilizzati dal 59% degli intervistati), crittografia dei dati (52%) e segregazione dei dati (42%). Decine di fornitori offrono soluzioni di sicurezza big data, e Apache Ranger, un progetto open source dall’ecosistema Hadoop, sta anche attirando crescente attenzione.

Soluzioni di governance dei Big Data

Strettamente correlato all’idea di sicurezza è il concetto di governance. La governance dei dati è un argomento ampio che comprende tutti i processi relativi alla disponibilità, all’usabilità e all’integrità dei dati. Fornisce la base per assicurarsi che i dati utilizzati per l’analisi dei big data siano accurati e appropriati, oltre a fornire una traccia di controllo in modo che analisti aziendali o dirigenti possano vedere da dove sono originati i dati.

Nel sondaggio Newvantage Partners, il 91,8% dei dirigenti di Fortune 1000 intervistati ha dichiarato che la governance era di fondamentale importanza (52,5%) o importante (39,3%) per le loro iniziative di big data. I fornitori che offrono strumenti di governance dei big data includono Collibra, IBM, SAS, Informatica, Adaptive e SAP.

Funzionalità self-service

Con gli scienziati di dati e altri esperti di big data a scarseggiare — e comandando grandi stipendi — molte organizzazioni sono alla ricerca di strumenti di analisi dei big data che consentono agli utenti aziendali di self-service le proprie esigenze. In effetti, un rapporto di Research and Markets stima che il mercato della business intelligence self-service abbia generato revenue 3,61 miliardi di fatturato nel 2016 e potrebbe crescere fino a $7,31 miliardi entro il 2021. E Gartner ha osservato: “La moderna piattaforma di BI e analisi è emersa negli ultimi anni per soddisfare i nuovi requisiti organizzativi in termini di accessibilità, agilità e approfondimento analitico, spostando il mercato dal reporting basato sul sistema IT a quello basato sul business, agile analytics incluso il self-service.”

Sperando di sfruttare questa tendenza, più fornitori di analisi di business intelligence e big data, come Tableau, Microsoft, IBM, SAP, Splunk, Syncsort, SAS, TIBCO, Oracle e altri hanno aggiunto funzionalità self-service alle loro soluzioni. Il tempo dirà se uno o tutti i prodotti risultano essere veramente utilizzabili da non esperti e se forniranno il valore aziendale che le organizzazioni sperano di raggiungere con le loro iniziative di big data.

Intelligenza artificiale

Mentre il concetto di intelligenza artificiale (AI) è stato intorno quasi fino a quando ci sono stati i computer, la tecnologia è diventata veramente utilizzabile solo negli ultimi due anni. In molti modi, la tendenza dei big data ha guidato i progressi nell’IA, in particolare in due sottoinsiemi della disciplina: machine learning e deep learning.

La definizione standard di apprendimento automatico è che è la tecnologia che dà ” computer la capacità di imparare senza essere esplicitamente programmato.”Nell’analisi dei big data, la tecnologia di apprendimento automatico consente ai sistemi di esaminare i dati storici, riconoscere i modelli, creare modelli e prevedere i risultati futuri. È anche strettamente associato all’analisi predittiva.

Il deep learning è un tipo di tecnologia di apprendimento automatico che si basa su reti neurali artificiali e utilizza più livelli di algoritmi per analizzare i dati. Come campo, ha molte promesse per consentire agli strumenti di analisi di riconoscere il contenuto in immagini e video e quindi elaborarlo di conseguenza.

Gli esperti dicono che questa zona di strumenti di big data sembra pronta per un decollo drammatico. IDC ha previsto: “Entro il 2018, il 75% dello sviluppo aziendale e ISV includerà funzionalità cognitive/AI o di apprendimento automatico in almeno un’applicazione, inclusi tutti gli strumenti di analisi aziendale.”

I principali fornitori di AI con strumenti relativi ai big data includono Google, IBM, Microsoft e Amazon Web Services e decine di piccole startup stanno sviluppando la tecnologia AI (e vengono acquisite dai fornitori di tecnologia più grandi).

Streaming analytics

Man mano che le organizzazioni hanno acquisito maggiore familiarità con le funzionalità delle soluzioni di analisi dei big data, hanno iniziato a richiedere un accesso sempre più rapido agli insight. Per queste aziende, l’analisi in streaming con la capacità di analizzare i dati mentre vengono creati, è qualcosa di un Santo graal. Sono alla ricerca di soluzioni in grado di accettare input da più fonti disparate, elaborarlo e restituire intuizioni immediatamente — o il più vicino possibile. Ciò è particolarmente auspicabile quando si tratta di nuove distribuzioni IoT, che stanno contribuendo a suscitare l’interesse per lo streaming di analisi dei big Data.

Diversi fornitori offrono prodotti che promettono funzionalità di analisi dello streaming. Questi includono IBM, Software AG, SAP, TIBCO, Oracle, DataTorrent, SQLstream, Cisco, Informatica e altri. MarketsandMarkets ritiene che le soluzioni di analisi dello streaming abbiano portato a $3.08 miliardi di fatturato nel 2016, che potrebbe aumentare a billion 13,70 miliardi entro il 2021.

Edge Computing

Oltre a stimolare l’interesse per l’analisi dello streaming, la tendenza IoT sta anche generando interesse per l’edge computing. In qualche modo, l’edge computing è l’opposto del cloud computing. Invece di trasmettere dati a un server centralizzato per l’analisi, i sistemi di edge computing analizzano i dati molto vicino a dove sono stati creati, ai margini della rete.

Il vantaggio di un sistema di edge computing è che riduce la quantità di informazioni che devono essere trasmesse sulla rete, riducendo così il traffico di rete e i relativi costi. Riduce anche le richieste di data center o strutture di cloud computing, liberando capacità per altri carichi di lavoro ed eliminando un potenziale singolo punto di errore.

Mentre il mercato per l’edge computing, e più specificamente per l’edge computing analytics, è ancora in via di sviluppo, alcuni analisti e venture capitalist hanno iniziato a chiamare la tecnologia la “prossima grande cosa.”

Blockchain

Anche un favorito con gli analisti lungimiranti e venture capitalist, blockchain è la tecnologia di database distribuito che sta alla base Bitcoin moneta digitale. La caratteristica unica di un database blockchain è che una volta che i dati sono stati scritti, non possono essere cancellati o modificati dopo il fatto. Inoltre, è altamente sicuro, il che lo rende una scelta eccellente per le applicazioni di big data in settori sensibili come banche, assicurazioni, assistenza sanitaria, vendita al dettaglio e altri.

La tecnologia Blockchain è ancora agli inizi e i casi d’uso sono ancora in via di sviluppo. Tuttavia, diversi fornitori, tra cui IBM, AWS, Microsoft e più startup, hanno implementato soluzioni sperimentali o introduttive basate sulla tecnologia blockchain.

Blockchain è una tecnologia di contabilità distribuita che offre un grande potenziale per l’analisi dei dati.

Analisi prescrittiva

Molti analisti dividono gli strumenti di analisi dei big data in quattro grandi categorie. Il primo, analitica descrittiva, racconta semplicemente quello che è successo. Il tipo successivo, analisi diagnostica, fa un ulteriore passo avanti e fornisce un motivo per cui si sono verificati eventi. Il terzo tipo, analisi predittiva, discusso in profondità sopra, tenta di determinare cosa accadrà dopo. Questo è sofisticato come la maggior parte degli strumenti di analisi attualmente sul mercato può ottenere.

Tuttavia, c’è un quarto tipo di analisi che è ancora più sofisticato, anche se pochissimi prodotti con queste funzionalità sono disponibili in questo momento. Prescriptive analytics offre consigli alle aziende su cosa dovrebbero fare per ottenere il risultato desiderato. Ad esempio, mentre l’analisi predittiva potrebbe dare a un’azienda un avvertimento che il mercato per una particolare linea di prodotti sta per diminuire, l’analisi prescrittiva analizzerà varie linee d’azione in risposta a tali cambiamenti di mercato e prevedrà i risultati più probabili.

Attualmente, pochissime aziende hanno investito in analisi prescrittive, ma molti analisti ritengono che questa sarà la prossima grande area di investimento dopo che le organizzazioni inizieranno a sperimentare i benefici dell’analisi predittiva.

Il mercato delle tecnologie big data è vario e in continua evoluzione. Ma forse un giorno presto strumenti di analisi predittiva e prescrittiva offrirà consigli su ciò che sta arrivando dopo per i big data — e ciò che le imprese dovrebbero fare al riguardo.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.