Big Data Technologies

majoritatea experților se așteaptă ca cheltuielile pentru tehnologiile big data să continue într-un ritm amețitor în restul deceniului. Conform Ghidului de cheltuieli semestrial al IDC, companiile vor cheltui probabil 150,8 miliarde de dolari pe big data și Business analytics în 2017, cu 12,4% mai mult decât au cheltuit în 2016. Și firma prognozează o rată de creștere anuală compusă (CAGR) de 11,9% pentru piață până în 2020, când veniturile vor ajunge la 210 miliarde de dolari.

Dan Vesset, vicepreședinte al grupului IDC, a declarat: „după ani de traversare a curbei s de adoptare, soluțiile big data și Business analytics au ajuns în cele din urmă în mainstream. în calitate de facilitator al asistenței decizionale și al automatizării deciziilor este acum ferm pe radarul directorilor de top. Această categorie de soluții este, de asemenea, unul dintre pilonii cheie ai eforturilor de transformare digitală în toate industriile și procesele de afaceri la nivel global.”Compania proiectează o creștere deosebit de puternică pentru magazinele de date analitice non-relaționale și platformele software cognitive în următorii câțiva ani. Acesta consideră că până în 2020 întreprinderile vor cheltui 70 de miliarde de dolari pe software-ul de date mari.

resursa de gestionare a datelor: Forrester Wave – Master Data Management

sondajele liderilor IT și ale directorilor cred, de asemenea, ideea că întreprinderile cheltuiesc sume substanțiale pentru tehnologia big data. NewVantage Partners Big Data Executive Survey 2017, a constatat că 95 la sută din directorii Fortune 1000 au declarat că firmele lor au investit în tehnologia big data în ultimii cinci ani. În unele cazuri, aceste investiții au fost mari, cu 37.2% dintre respondenți spun că companiile lor au cheltuit peste 100 de milioane de dolari pe proiecte de date mari, iar 6,5 au investit peste 1 miliard de dolari.

și datele IDG Enterprise 2016 & Analytics Research au constatat că este probabil ca aceste cheltuieli să continue. Dintre cei chestionați, 89% se așteptau ca în următoarele 12-18 luni companiile lor să achiziționeze noi soluții concepute pentru a le ajuta să obțină valoare de afaceri din datele lor mari.

dacă sunteți pe piață pentru o soluție de date mari pentru întreprinderea dvs., citiți lista noastră cu companiile mari de date de top

tehnologii de date mari: investiții în funcție de industrie

aproape fiecare industrie a început să investească în analize de date mari, dar unele investesc mai mult decât altele. Potrivit IDC, serviciile bancare, fabricarea discretă, fabricarea proceselor, guvernul federal/central și serviciile profesionale sunt printre cei mai mari cheltuitori. Împreună, aceste industrii vor cheltui probabil 72,4 miliarde de dolari pe date mari și analize de afaceri în 2017, urcând la 101 dolari.5 miliarde până în 2020.

cea mai rapidă creștere a cheltuielilor pentru tehnologiile big data are loc în sectorul bancar, al asistenței medicale, al asigurărilor, al valorilor mobiliare și al serviciilor de investiții și al telecomunicațiilor. Este demn de remarcat faptul că trei dintre aceste industrii se află în sectorul financiar, care are multe cazuri de utilizare deosebit de puternice pentru analiza datelor mari, cum ar fi detectarea fraudelor, gestionarea riscurilor și optimizarea serviciilor pentru clienți.

„în afara Serviciilor Financiare, alte câteva industrii prezintă oportunități convingătoare”, a declarat Jessica Goepfert, director de programe la IDC. „În telecomunicații, de exemplu, datele mari și analizele sunt aplicate pentru a ajuta la păstrarea și câștigarea de noi clienți, precum și pentru planificarea și optimizarea capacității rețelei. Între timp, industria media a fost afectată de perturbări masive în ultimii ani datorită digitalizării și consumului masiv de conținut. Aici, datele mari și analizele pot ajuta firmele să înțeleagă și să monitorizeze obiceiurile, preferințele și sentimentele cititorilor lor. Furnizorii care vizează oportunitatea big data și analytics ar fi bine serviți pentru a-și crea mesajele în jurul acestor priorități ale industriei, puncte de durere și cazuri de utilizare.”

din punct de vedere geografic, cea mai mare parte a cheltuielilor vor avea loc în Statele Unite, ceea ce va reprezenta probabil aproximativ 52% din cheltuielile mari de date și analize în 2017. Europa de Vest este a doua cea mai mare piață regională, cu aproape un sfert din cheltuieli. Cu toate acestea, cea mai rapidă creștere are loc în America Latină și regiunea Asia/Pacific.

cea mai mare parte a cheltuielilor pentru tehnologiile big data provin de la întreprinderi cu peste 1.000 de angajați, care reprezintă 60% din piață, potrivit IDC. Totuși, IMM-urile nu lasă tendința să le treacă, deoarece reprezintă aproape un sfert din cheltuielile mari de date și analize de afaceri.

deci, ce tehnologii Big Data cumpără aceste companii?

sistemele de analiză non-relaționale sunt o zonă favorizată pentru investițiile în tehnologia Big Data, la fel ca și software-ul cognitiv.

15 tehnologii Big Data pentru a viziona

lista furnizorilor de tehnologie care oferă soluții big data este aparent infinită. Multe dintre soluțiile big data care sunt deosebit de populare acum se încadrează într-una din următoarele 15 categorii:

ecosistemul Hadoop

în timp ce Apache Hadoop poate să nu fie la fel de dominant ca odinioară, este aproape imposibil să vorbim despre big data fără a menționa acest cadru open source pentru procesarea distribuită a seturilor mari de date. Anul trecut, Forrester a prezis, „100% din toate întreprinderile mari vor adopta it (Hadoop și tehnologii conexe, cum ar fi Spark) pentru analiza datelor mari în următorii doi ani.”

de-a lungul anilor, Hadoop a crescut pentru a cuprinde un întreg ecosistem de software conexe, și multe soluții comerciale de date mari se bazează pe Hadoop. De fapt, studiile de piață Zion prognozează că piața produselor și serviciilor bazate pe Hadoop va continua să crească la un CAGR de 50% până în 2022, când va valora 87,14 miliarde de dolari, în creștere de la 7,69 miliarde de dolari în 2016.

furnizorii cheie Hadoop includ Cloudera, Hortonworks și MapR, iar cei mai importanți nori publici oferă toate serviciile care susțin tehnologia.

Spark

Apache Spark face parte din ecosistemul Hadoop, dar utilizarea sa a devenit atât de răspândită încât merită o categorie proprie. Este un motor pentru procesarea datelor mari în Hadoop și este de până la o sută de ori mai rapid decât motorul standard Hadoop, MapReduce.

în studiul Atscale 2016 Big Data Maturity Survey, 25% dintre respondenți au declarat că au implementat deja Spark în producție, iar 33% mai mult au avut proiecte Spark în dezvoltare. În mod evident, interesul pentru tehnologie este considerabil și în creștere, iar mulți furnizori cu oferte Hadoop oferă, de asemenea, produse pe bază de scânteie.

R

r, un alt proiect open source, este un limbaj de programare și un mediu software conceput pentru a lucra cu statistici. Dragul oamenilor de știință de date, este gestionat de Fundația R și disponibil sub licența GPL 2. Multe medii populare de dezvoltare integrată (IDE), inclusiv Eclipse și Visual Studio, acceptă limba.

mai multe organizații care clasifică popularitatea diferitelor limbaje de programare spun că R a devenit una dintre cele mai populare limbi din lume. De exemplu, IEEE spune că R este al cincilea cel mai popular limbaj de programare, iar atât Tiobe, cât și RedMonk îl clasează pe locul 14. Acest lucru este semnificativ, deoarece limbajele de programare din partea de sus a acestor diagrame sunt de obicei limbaje de uz general care pot fi utilizate pentru multe tipuri diferite de lucru. Pentru ca o limbă care este utilizată aproape exclusiv pentru proiectele de date mari să fie atât de aproape de vârf demonstrează semnificația datelor mari și importanța acestei limbi în domeniul său.

lacuri de date

pentru a facilita accesul la vastele lor magazine de date, multe întreprinderi înființează lacuri de date. Acestea sunt depozite uriașe de date care colectează date din mai multe surse diferite și le stochează în starea sa naturală. Acest lucru este diferit de un depozit de date, care colectează și date din surse disparate, dar le procesează și le structurează pentru stocare. În acest caz, metaforele lacului și depozitului sunt destul de exacte. Dacă datele sunt ca apa, un lac de date este natural și nefiltrat ca un corp de apă, în timp ce un depozit de date este mai mult ca o colecție de sticle de apă stocate pe rafturi.

lacurile de date sunt deosebit de atractive atunci când întreprinderile doresc să stocheze date, dar nu sunt încă sigure cum ar putea să le utilizeze. O mulțime de date Internet of Things (IoT) s-ar putea încadra în această categorie, iar tendința IoT se joacă în creșterea lacurilor de date.

MarketsandMarkets prezice că veniturile Data lake vor crește de la 2,53 miliarde de dolari în 2016 la 8 dolari.81 miliarde până în 2021.

bazele de date NoSQL

sistemele tradiționale de gestionare a bazelor de date relaționale (RDBMSes) stochează informații în coloane și rânduri structurate, definite. Dezvoltatorii și administratorii de baze de date interoghează, manipulează și gestionează datele din acele RDBMSes folosind un limbaj special cunoscut sub numele de SQL.

bazele de date NoSQL sunt specializate în stocarea datelor nestructurate și furnizarea de performanțe rapide, deși nu oferă același nivel de consistență ca RDBMSes. Bazele de date NoSQL populare includ MongoDB, Redis, Cassandra, Couchbase și multe altele; chiar și cei mai importanți furnizori RDBMS precum Oracle și IBM oferă acum și baze de date NoSQL.

bazele de date NoSQL au devenit din ce în ce mai populare pe măsură ce tendința big data a crescut. Potrivit Allied Market Research, piața NoSQL ar putea valora 4,2 miliarde de dolari până în 2020. Cu toate acestea, piața pentru RDBMSes este încă mult, mult mai mare decât piața pentru NoSQL.

MonboDB este una dintre cele mai cunoscute baze de date NoSQL.

Predictive Analytics

Predictive analytics este un sub-set de analize de date mari care încearcă să prognozeze evenimente sau comportamente viitoare pe baza datelor istorice. Se bazează pe tehnici de extragere a datelor, modelare și învățare automată pentru a prezice ce se va întâmpla în continuare. Acesta este adesea folosit pentru detectarea fraudei, scoring de credit, marketing, finanțe și în scopuri de analiză de afaceri.

în ultimii ani, progresele în inteligența artificială au permis îmbunătățiri vaste în capacitățile soluțiilor de analiză predictivă. Drept urmare, întreprinderile au început să investească mai mult în soluții de date mari cu capacități predictive. Mulți furnizori, inclusiv Microsoft, IBM, SAP, SAS, Statistica, RapidMiner, KNIME și alții, oferă soluții de analiză predictivă. Zion Market Research spune că piața de analiză predictivă a generat venituri de 3,49 miliarde de dolari în 2016, un număr care ar putea ajunge la 10,95 miliarde de dolari până în 2022.

baze de date în memorie

în orice sistem informatic, memoria, cunoscută și sub numele de RAM, este ordine de mărime mai rapidă decât stocarea pe termen lung. Dacă o soluție big data analytics poate procesa datele stocate în memorie, mai degrabă decât datele stocate pe un hard disk, aceasta poate funcționa dramatic mai repede. Și exact asta face tehnologia bazei de date în memorie.

mulți dintre cei mai importanți furnizori de software pentru întreprinderi, inclusiv SAP, Oracle, Microsoft și IBM, oferă acum tehnologie de baze de date în memorie. În plus, mai multe companii mai mici precum Teradata, Tableau, Volt DB și DataStax oferă soluții de baze de date în memorie. Cercetările de la MarketsandMarkets estimează că vânzările totale de tehnologie în memorie au fost de 2 USD.72 miliarde în 2016 și ar putea crește la 6,58 miliarde de dolari până în 2021.

soluții de securitate a datelor mari

deoarece depozitele de date mari prezintă o țintă atractivă pentru hackeri și amenințări persistente avansate, securitatea datelor mari este o preocupare mare și în creștere pentru întreprinderi. În sondajul AtScale, securitatea a fost a doua zonă de îngrijorare cu cea mai rapidă creștere legată de big data.

potrivit raportului IDG, cele mai populare tipuri de soluții de securitate a datelor mari includ controale de identitate și acces (utilizate de 59% dintre respondenți), criptarea datelor (52%) și segregarea datelor (42%). Zeci de furnizori oferă soluții de securitate a datelor mari, iar Apache Ranger, un proiect open source din ecosistemul Hadoop, atrage, de asemenea, o atenție tot mai mare.

soluții de guvernare Big Data

strâns legate de ideea de securitate este conceptul de guvernare. Guvernanța datelor este un subiect larg care cuprinde toate procesele legate de disponibilitatea, utilitatea și integritatea datelor. Acesta oferă baza pentru a vă asigura că datele utilizate pentru analiza datelor mari sunt corecte și adecvate, precum și pentru a oferi o pistă de audit, astfel încât analiștii de afaceri sau directorii să poată vedea de unde provin datele.

în sondajul NewVantage Partners, 91,8% dintre directorii Fortune 1000 chestionați au spus că guvernanța este fie extrem de importantă (52,5%), fie importantă (39,3%) pentru inițiativele lor de date mari. Furnizorii care oferă instrumente de guvernare a datelor mari includ Collibra, IBM, SAS, Informatica, Adaptive și SAP.

capabilități de autoservire

cu oameni de știință de date și alți experți în date mari în cantități reduse-și comandând salarii mari — multe organizații caută instrumente de analiză a datelor mari care să permită utilizatorilor de afaceri să — și autoservească propriile nevoi. De fapt, un raport al Research and Markets estimează că piața de informații de afaceri cu autoservire a generat venituri de 3,61 miliarde de dolari în 2016 și ar putea crește la 7,31 miliarde de dolari până în 2021. Și Gartner a remarcat: „platforma modernă de BI și analiză a apărut în ultimii ani pentru a satisface noile cerințe organizaționale pentru accesibilitate, agilitate și o perspectivă analitică mai profundă, schimbând piața de la raportarea IT-led, system-of-record, la analiza agilă condusă de afaceri, inclusiv self-service.”

în speranța de a profita de această tendință, mai mulți furnizori de business intelligence și Big Data analytics, cum ar fi Tableau, Microsoft, IBM, SAP, Splunk, Syncsort, SAS, TIBCO, Oracle și altele au adăugat capabilități de autoservire soluțiilor lor. Timpul va spune dacă oricare sau toate produsele se dovedesc a fi cu adevărat utilizabile de către non-experți și dacă vor oferi valoarea de afaceri organizațiile speră să realizeze cu inițiativele lor de date mari.

inteligență artificială

în timp ce conceptul de inteligență artificială (AI) a fost în jur de aproape atâta timp cât au existat computere, tehnologia a devenit cu adevărat utilizabilă în ultimii doi ani. În multe privințe, tendința big data a determinat progrese în AI, în special în două subseturi ale disciplinei: învățarea automată și învățarea profundă.

definiția standard a învățării automate este că tehnologia este cea care oferă „computerelor capacitatea de a învăța fără a fi programate în mod explicit.”În analiza datelor mari, tehnologia de învățare automată permite sistemelor să privească datele istorice, să recunoască tiparele, să construiască modele și să prezică rezultatele viitoare. De asemenea, este strâns asociat cu analiza predictivă.

învățarea profundă este un tip de tehnologie de învățare automată care se bazează pe rețele neuronale artificiale și folosește mai multe straturi de algoritmi pentru a analiza datele. Ca domeniu, deține o mulțime de promisiuni pentru a permite instrumentelor de analiză să recunoască conținutul din imagini și videoclipuri și apoi să îl proceseze în consecință.

experții spun că această zonă de instrumente de date mari pare pregătită pentru o decolare dramatică. IDC a prezis: „până în 2018, 75% din dezvoltarea întreprinderilor și ISV va include funcționalități cognitive/AI sau de învățare automată în cel puțin o aplicație, inclusiv toate instrumentele de analiză a afacerilor.”

principalii furnizori AI cu instrumente legate de date mari includ Google, IBM, Microsoft și Amazon Web Services, iar zeci de startup-uri mici dezvoltă tehnologie AI (și sunt achiziționate de furnizorii de tehnologie mai mari).

Streaming analytics

pe măsură ce organizațiile s-au familiarizat mai mult cu capacitățile soluțiilor de analiză a datelor mari, au început să solicite acces mai rapid și mai rapid la informații. Pentru aceste întreprinderi, analiza de streaming cu capacitatea de a analiza datele pe măsură ce sunt create, este ceva de Sfântul Graal. Ei caută soluții care să accepte contribuții din mai multe surse disparate, să le proceseze și să returneze informații imediat — sau cât mai aproape posibil. Acest lucru este de dorit în special atunci când vine vorba de noi implementări IoT, care ajută la stimularea interesului pentru streaming de analize de date mari.

mai mulți furnizori oferă produse care promit capabilități de analiză în flux. Acestea includ IBM, Software AG, SAP, TIBCO, Oracle, DataTorrent, SQLstream, Cisco, Informatica și altele. MarketsandMarkets consideră că soluțiile de analiză streaming au adus 3 USD.Venituri de 08 miliarde în 2016, care ar putea crește la 13,70 miliarde de dolari până în 2021.

Edge Computing

pe lângă stimularea interesului pentru streaming analytics, tendința IoT generează și interes pentru edge computing. În unele privințe, edge computing este opusul cloud computing. În loc să transmită date către un server centralizat pentru analiză, sistemele de calcul edge analizează datele foarte aproape de locul în care au fost create — la marginea rețelei.

avantajul unui sistem de calcul de margine este că reduce cantitatea de informații care trebuie transmise prin rețea, reducând astfel traficul de rețea și costurile aferente. De asemenea, scade cererile privind centrele de date sau facilitățile de cloud computing, eliberând capacitatea pentru alte sarcini de lucru și eliminând un potențial punct unic de eșec.

în timp ce piața pentru edge computing și, mai precis, pentru edge computing analytics, este încă în curs de dezvoltare, unii analiști și capitaliști de risc au început să numească tehnologia „următorul lucru important”.”

Blockchain

de asemenea, un favorit al analiștilor și capitaliștilor de risc, blockchain este tehnologia distribuită a bazelor de date care stă la baza monedei digitale Bitcoin. Caracteristica unică a unei baze de date blockchain este că, odată ce datele au fost scrise, acestea nu pot fi șterse sau modificate după fapt. În plus, este extrem de sigur, ceea ce îl face o alegere excelentă pentru aplicațiile de date mari din industrii sensibile, cum ar fi serviciile bancare, asigurările, îngrijirea sănătății, comerțul cu amănuntul și altele.

tehnologia Blockchain este încă la început și cazurile de Utilizare sunt încă în curs de dezvoltare. Cu toate acestea, mai mulți furnizori, inclusiv IBM, AWS, Microsoft și mai multe startup-uri, au lansat soluții experimentale sau introductive construite pe tehnologia blockchain.

Blockchain este o tehnologie distribuită de registru care oferă un mare potențial pentru analiza datelor.

analize Prescriptive

mulți analiști împart instrumentele de analiză a datelor mari în patru mari categorii. Prima analiză descriptivă spune pur și simplu ce s-a întâmplat. Următorul tip, analiza diagnosticului, face un pas mai departe și oferă un motiv pentru care au avut loc evenimentele. Al treilea tip, analiza predictivă, discutată în profunzime mai sus, încearcă să determine ce se va întâmpla în continuare. Acest lucru este la fel de sofisticat ca majoritatea instrumentelor de analiză existente în prezent pe piață.

cu toate acestea, există un al patrulea tip de analiză care este și mai sofisticat, deși foarte puține produse cu aceste capabilități sunt disponibile în acest moment. Prescriptive analytics oferă sfaturi companiilor cu privire la ceea ce ar trebui să facă pentru a obține rezultatul dorit. De exemplu, în timp ce analiza predictivă ar putea oferi unei companii un avertisment că piața pentru o anumită linie de produse este pe cale să scadă, analiza prescriptivă va analiza diferite cursuri de acțiune ca răspuns la aceste schimbări ale pieței și va prognoza rezultatele cele mai probabile.

în prezent, foarte puține întreprinderi au investit în analize prescriptive, dar mulți analiști cred că aceasta va fi următoarea zonă mare de investiții după ce organizațiile vor începe să experimenteze beneficiile analizei predictive.

piața tehnologiilor big data este diversă și în continuă schimbare. Dar poate că într — o zi în curând instrumentele de analiză predictivă și prescriptivă vor oferi sfaturi despre ceea ce urmează Pentru big data-și ce ar trebui să facă întreprinderile în acest sens.

Lasă un răspuns

Adresa ta de email nu va fi publicată.