technologie Big Data

większość ekspertów oczekuje, że wydatki na technologie big data będą kontynuowane w zawrotnym tempie przez resztę dekady. Zgodnie z ogólnoświatowym przewodnikiem IDC dotyczącym wydatków na Big Data i analitykę, w 2017 r. przedsiębiorstwa prawdopodobnie wydadzą 150,8 mld USD na big data i analitykę biznesową, o 12,4 proc.więcej niż wydały w 2016 r. A firma prognozuje złożoną roczną stopę wzrostu (CAGR) w wysokości 11.9 procent na rynku do 2020, kiedy przychody wyniosą 210 miliardów dolarów.

Dan Vesset, wiceprezes grupy w IDC, powiedział: „po latach przechodzenia przez krzywą S-curve, rozwiązania big data i analityki biznesowej wreszcie trafiły do głównego nurtu. jako narzędzie wspomagania decyzji i automatyzacji decyzji jest teraz mocno na radarze najwyższej kadry kierowniczej. Ta kategoria rozwiązań jest również jednym z kluczowych filarów umożliwiających transformację cyfrową w różnych branżach i procesach biznesowych na całym świecie.”Firma planuje szczególnie silny rozwój nierelacyjnych magazynów danych analitycznych i platform oprogramowania kognitywnego w ciągu najbliższych kilku lat. Uważa, że do 2020 roku przedsiębiorstwa będą wydawać 70 miliardów dolarów na oprogramowanie big data.

zasoby do zarządzania danymi: Forrester Wave – Master Data Management

badania liderów i kadry kierowniczej IT potwierdzają również, że przedsiębiorstwa wydają znaczne sumy na technologię big data. Badanie Newvantage Partners Big Data Executive Survey 2017 wykazało, że 95 procent dyrektorów z listy Fortune 1000 stwierdziło, że ich firmy zainwestowały w technologię big data w ciągu ostatnich pięciu lat. W niektórych przypadkach inwestycje te były duże, z 37.2 procent respondentów twierdzi, że ich firmy wydały ponad 100 milionów dolarów na projekty big data, a 6,5 zainwestowało ponad 1 miliard dolarów.

i dane IDG Enterprise 2016 & badania analityczne wykazały, że wydatki te prawdopodobnie będą kontynuowane. Spośród ankietowanych 89 proc. spodziewało się, że w ciągu najbliższych 12-18 miesięcy ich firmy zakupią nowe rozwiązania, które pomogą im czerpać wartość biznesową z big data.

jeśli jesteś na rynku rozwiązań big data dla Twojego przedsiębiorstwa, przeczytaj naszą listę najlepszych firm big data

technologie Big Data: inwestycje według branż

prawie każda branża zaczęła inwestować w analitykę big data, ale niektóre inwestują bardziej niż inne. Według IDC, Bankowość, produkcja Dyskretna, produkcja procesowa, rząd federalny/Centralny i usługi profesjonalne należą do największych wydawców. W 2017 r. branże te wydadzą prawdopodobnie 72,4 mld USD na big data i analitykę biznesową, osiągając poziom 101 USD.5 mld do 2020 r.

najszybszy wzrost wydatków na technologie big data ma miejsce w bankowości, opiece zdrowotnej, ubezpieczeniach, papierach wartościowych i usługach inwestycyjnych oraz telekomunikacji. Warto zauważyć, że trzy z tych branż należą do sektora finansowego, który ma wiele szczególnie mocnych przypadków użycia analityki big data, takich jak wykrywanie oszustw, zarządzanie ryzykiem i optymalizacja obsługi klienta.

„poza usługami finansowymi, kilka innych branż oferuje atrakcyjne możliwości”, powiedziała Jessica Goepfert, dyrektor programowa w IDC. „Na przykład w telekomunikacji big data i analityka są stosowane w celu utrzymania i pozyskania nowych klientów,a także planowania i optymalizacji przepustowości sieci. Tymczasem przemysł medialny został nękany przez ogromne zakłócenia w ostatnich latach dzięki cyfryzacji i masowej konsumpcji treści. Tutaj duże zbiory danych i analizy mogą pomóc firmom zrozumieć i monitorować nawyki, preferencje i nastroje czytelników. Dostawcy wykorzystujący duże ilości danych i możliwości analityczne będą dobrze przygotowani do tworzenia swoich wiadomości na temat tych priorytetów branżowych, problemów i przypadków użycia.”

z geograficznego punktu widzenia większość wydatków nastąpi w Stanach Zjednoczonych, które prawdopodobnie będą stanowić około 52 procent wydatków na big data i analitykę w 2017 roku. Europa Zachodnia jest drugim co do wielkości rynkiem regionalnym z prawie jedną czwartą wydatków. Jednak najszybszy wzrost ma miejsce w Ameryce Łacińskiej i regionie Azji i Pacyfiku.

większość wydatków na technologie big data pochodzi od przedsiębiorstw zatrudniających ponad 1000 pracowników, które stanowią 60 procent rynku, według IDC. Mimo to małe i średnie firmy nie pozwalają, aby trend je ominął, ponieważ odpowiadają za prawie jedną czwartą wydatków na big data i analitykę biznesową.

jakie technologie Big Data kupują te firmy?

Nierelacyjne systemy analityczne są preferowanym obszarem dla inwestycji w technologie Big Data, podobnie jak oprogramowanie kognitywne.

15 technologii Big Data do obejrzenia

lista dostawców technologii oferujących rozwiązania big data jest z pozoru nieskończona. Wiele z rozwiązań big data, które są obecnie szczególnie popularne, mieści się w jednej z następujących kategorii 15:

ekosystem Hadoop

chociaż Apache Hadoop może nie być tak dominujący, jak kiedyś, prawie niemożliwe jest mówienie o big data bez wspominania o otwartym kodzie źródłowym do rozproszonego przetwarzania dużych zbiorów danych. W ubiegłym roku Forrester prognozował: „w ciągu najbliższych dwóch lat 100% wszystkich dużych przedsiębiorstw zastosuje it (Hadoop i powiązane technologie, takie jak Spark) do analizy big data.”

z biegiem lat Hadoop rozrósł się, aby objąć cały ekosystem powiązanego oprogramowania, a wiele komercyjnych rozwiązań big data opiera się na Hadoop. W rzeczywistości Zion Market Research prognozuje, że rynek produktów i usług opartych na Hadoop będzie nadal rosnąć w 50 procent CAGR przez 2022, kiedy będzie wart $ 87.14 miliard, w górę od $7.69 miliard w 2016.

kluczowi dostawcy Hadoop to Cloudera, Hortonworks i MapR, a wiodące chmury publiczne oferują usługi wspierające tę technologię.

Spark

Apache Spark jest częścią ekosystemu Hadoop, ale jego użycie stało się tak powszechne, że zasługuje na własną kategorię. Jest to silnik do przetwarzania dużych zbiorów danych w Hadoop i jest nawet sto razy szybszy niż standardowy silnik Hadoop, MapReduce.

w badaniu Atscale 2016 Big Data Maturity Survey 25 proc.respondentów stwierdziło, że wdrożyło już Spark w produkcji, a 33 proc. respondentów opracowało projekty Spark. Oczywiście zainteresowanie technologią jest spore i rośnie, a wielu dostawców z ofertą Hadoop oferuje również produkty oparte na iskrach.

R

r, inny projekt open source, jest językiem programowania i środowiskiem programistycznym zaprojektowanym do pracy ze statystykami. Ulubieniec naukowców danych, jest zarządzany przez Fundację R i dostępny na licencji GPL 2. Wiele popularnych zintegrowanych środowisk programistycznych (IDE), w tym Eclipse i Visual Studio, obsługuje ten język.

kilka organizacji, które oceniają popularność różnych języków programowania, twierdzi, że R stał się jednym z najpopularniejszych języków na świecie. Na przykład IEEE mówi, że R jest piątym najpopularniejszym językiem programowania, a zarówno Tiobe, jak i RedMonk plasują go na 14 miejscu. Jest to istotne, ponieważ języki programowania znajdujące się na szczycie tych wykresów są zwykle językami ogólnego przeznaczenia, które mogą być używane do wielu różnych rodzajów pracy. Dla języka, który jest używany prawie wyłącznie dla projektów big data być tak blisko góry pokazuje znaczenie big data i znaczenie tego języka w swojej dziedzinie.

Jeziora danych

aby ułatwić dostęp do ogromnych magazynów danych, wiele przedsiębiorstw konfiguruje jeziora danych. Są to ogromne repozytoria danych, które zbierają dane z wielu różnych źródeł i przechowują je w stanie naturalnym. Różni się to od hurtowni danych, która również gromadzi dane z różnych źródeł, ale przetwarza je i strukturyzuje do przechowywania. W tym przypadku metafory jeziora i magazynu są dość dokładne. Jeśli dane są jak woda, jezioro danych jest naturalne i niefiltrowane jak zbiornik wody, podczas gdy hurtownia danych jest bardziej jak kolekcja butelek z wodą przechowywanych na półkach.

jeziora danych są szczególnie atrakcyjne, gdy przedsiębiorstwa chcą przechowywać dane, ale nie są jeszcze pewne, jak mogą z nich korzystać. Wiele danych z Internetu Rzeczy (IoT) może pasować do tej kategorii, a trend IoT wpływa na wzrost jezior danych.

MarketsandMarkets przewiduje, że przychody data lake wzrosną z 2,53 mld USD w 2016 r.do 8 USD.81 mld do 2021 r.

bazy danych NoSQL

tradycyjne systemy zarządzania relacyjnymi bazami danych (rdbmses) przechowują informacje w ustrukturyzowanych, zdefiniowanych kolumnach i wierszach. Programiści i administratorzy baz danych odpytywają, manipulują i zarządzają danymi w tych plikach Rdbm przy użyciu specjalnego języka znanego jako SQL.

bazy danych NoSQL specjalizują się w przechowywaniu nieustrukturyzowanych danych i zapewniają szybką wydajność, chociaż nie zapewniają takiego samego poziomu spójności jak Rdbm. Popularne bazy danych NoSQL to MongoDB, Redis, Cassandra, Couchbase i wiele innych; nawet czołowi dostawcy RDBMS, tacy jak Oracle i IBM, oferują teraz również bazy danych NoSQL.

bazy danych NoSQL stają się coraz bardziej popularne wraz ze wzrostem trendu big data. Według Allied Market Research Rynek NoSQL może być wart 4,2 miliarda dolarów do 2020 roku. Jednak rynek RDBMS jest nadal znacznie, znacznie większy niż rynek NoSQL.

MonboDB jest jedną z kilku znanych baz danych NoSQL.

Predictive Analytics

Predictive analytics to podzbiór analiz big data, który próbuje prognozować przyszłe zdarzenia lub zachowania na podstawie danych historycznych. Opiera się na eksploracji danych, modelowaniu i technikach uczenia maszynowego, aby przewidzieć, co będzie dalej. Jest często używany do wykrywania oszustw, oceny kredytowej, marketingu, finansów i analiz biznesowych.

w ostatnich latach postępy w dziedzinie sztucznej inteligencji umożliwiły znaczne ulepszenia możliwości rozwiązań do analizy predykcyjnej. W rezultacie przedsiębiorstwa zaczęły inwestować więcej w rozwiązania big data z możliwościami predykcyjnymi. Wielu dostawców, w tym Microsoft, IBM, SAP, SAS, Statistica, RapidMiner, KNIME i inni, oferuje rozwiązania do analizy predykcyjnej. Zion Market Research twierdzi, że rynek Predictive Analytics wygenerował w 2016 r. przychody w wysokości 3,49 mld USD, co może osiągnąć 10,95 mld USD do 2022 r.

bazy danych w pamięci

w każdym systemie komputerowym pamięć, znana również jako RAM, jest o rząd wielkości szybsza niż pamięć długoterminowa. Jeśli rozwiązanie do analizy dużych zbiorów danych może przetwarzać dane przechowywane w pamięci, a nie dane przechowywane na dysku twardym, może działać znacznie szybciej. I to właśnie robi technologia baz danych w pamięci.

wielu wiodących producentów oprogramowania dla przedsiębiorstw, w tym SAP, Oracle, Microsoft i IBM, oferuje obecnie technologię baz danych w pamięci. Ponadto kilka mniejszych firm, takich jak Teradata, Tableau, Volt DB i DataStax, oferuje rozwiązania baz danych w pamięci. Badania MarketsandMarkets szacują, że łączna sprzedaż technologii in-memory wyniosła 2 USD.72 mld w 2016 r. i może wzrosnąć do 6,58 mld USD do 2021 r.

rozwiązania Big Data Security

ponieważ repozytoria big data stanowią atrakcyjny cel dla hakerów i zaawansowanych trwałych zagrożeń, bezpieczeństwo big data jest dużym i rosnącym problemem dla przedsiębiorstw. W badaniu AtScale bezpieczeństwo było drugim najszybciej rozwijającym się obszarem zainteresowania związanym z big data.

według raportu IDG najbardziej popularne rodzaje rozwiązań w zakresie bezpieczeństwa big data to kontrola tożsamości i dostępu (stosowana przez 59 proc.respondentów), szyfrowanie danych (52 proc.) i segregacja danych (42 proc.). Dziesiątki dostawców oferuje rozwiązania bezpieczeństwa big data, A Apache Ranger, projekt open source z ekosystemu Hadoop, również przyciąga coraz większą uwagę.

rozwiązania Big Data Governance

ściśle związane z ideą bezpieczeństwa jest pojęcie governance. Zarządzanie danymi to szeroki temat, który obejmuje wszystkie procesy związane z dostępnością, użytecznością i integralnością danych. Stanowi podstawę do upewnienia się, że dane wykorzystywane do analizy big data są dokładne i odpowiednie, a także zapewnia ścieżkę audytu, dzięki czemu analitycy biznesowi lub Kadra zarządzająca mogą zobaczyć, skąd pochodzą dane.

w ankiecie NewVantage Partners 91,8% ankietowanych menedżerów z listy Fortune 1000 stwierdziło, że zarządzanie jest niezwykle ważne (52,5%) lub ważne (39,3%) dla ich inicjatyw big data. Dostawcy oferujący narzędzia do zarządzania big data to Collibra, IBM, Sas, Informatica, Adaptive i SAP.

funkcje samoobsługowe

ponieważ brakuje naukowców zajmujących się danymi i innych ekspertów big data-i dysponują wysokimi wynagrodzeniami — wiele organizacji poszukuje narzędzi do analizy big data, które umożliwiają użytkownikom biznesowym samoobsługę własnych potrzeb. W rzeczywistości raport z badań i rynków szacuje, że samoobsługowy rynek business intelligence wygenerował w 2016 r.przychody w wysokości 3,61 mld USD i może wzrosnąć do 7,31 mld USD do 2021 r. Firma Gartner zauważyła: „nowoczesna platforma analityczna i analityczna powstała w ciągu ostatnich kilku lat, aby spełnić nowe wymagania organizacyjne w zakresie dostępności, zwinności i głębszego wglądu analitycznego, przenosząc rynek z opartego na it, raportowania systemowego do elastycznej analityki biznesowej, w tym samoobsługi.”

mając nadzieję skorzystać z tego trendu, wielu dostawców Business intelligence i Big data analytics, takich jak Tableau, Microsoft, IBM, SAP, Splunk, Syncsort, SAS, TIBCO, Oracle i innych dodało do swoich rozwiązań możliwości samoobsługi. Czas pokaże, czy dowolne lub wszystkie produkty okażą się naprawdę użyteczne dla osób niebędących ekspertami i czy zapewnią wartość biznesową, którą organizacje mają nadzieję osiągnąć dzięki swoim inicjatywom big data.

sztuczna inteligencja

chociaż pojęcie sztucznej inteligencji (AI) istnieje prawie tak długo, jak istnieją komputery, technologia ta stała się naprawdę użyteczna tylko w ciągu ostatnich kilku lat. Pod wieloma względami trend big data napędzał postęp w sztucznej inteligencji, szczególnie w dwóch podzbiorach tej dyscypliny: uczeniu maszynowym i uczeniu głębokim.

standardowa definicja uczenia maszynowego polega na tym, że to technologia daje „komputerom możliwość uczenia się bez wyraźnego zaprogramowania.”W analityce big data technologia uczenia maszynowego umożliwia systemom przeglądanie danych historycznych, rozpoznawanie wzorców, tworzenie modeli i przewidywanie przyszłych wyników. Jest to również ściśle związane z analityką predykcyjną.

deep learning to rodzaj technologii uczenia maszynowego, która opiera się na sztucznych sieciach neuronowych i wykorzystuje wiele warstw algorytmów do analizy danych. Jako dziedzina obiecuje, że narzędzia analityczne rozpoznają treści w obrazach i filmach, a następnie odpowiednio je przetwarzają.

eksperci twierdzą, że ten obszar narzędzi big data wydaje się gotowy do dramatycznego startu. IDC przewiduje: „do 2018 r. 75 proc. rozwoju przedsiębiorstw i ISV obejmie funkcje kognitywne / AI lub uczenia maszynowego w co najmniej jednej aplikacji, w tym wszystkie narzędzia analityki biznesowej.”

wiodącymi dostawcami sztucznej inteligencji z narzędziami związanymi z big data są Google, IBM, Microsoft i Amazon Web Services, a dziesiątki małych startupów opracowują technologię sztucznej inteligencji (i są nabywane przez większych dostawców technologii).

Streaming analytics

w miarę jak organizacje lepiej poznały możliwości rozwiązań do analizy big data, zaczęły domagać się coraz szybszego dostępu do informacji. Dla tych przedsiębiorstw streaming analytics z możliwością analizy danych w trakcie ich tworzenia jest czymś w rodzaju Świętego Graala. Poszukują rozwiązań, które mogą przyjmować dane z wielu różnych źródeł, przetwarzać je i zwracać spostrzeżenia natychmiast — lub tak blisko, jak to możliwe. Jest to szczególnie pożądane, jeśli chodzi o nowe wdrożenia IoT, które pomagają zwiększyć zainteresowanie strumieniową analizą big data.

kilku dostawców oferuje produkty, które obiecują możliwości analizy strumieniowej. Należą do nich IBM, Software AG, SAP, TIBCO, Oracle, DataTorrent, Sqlstream, Cisco, Informatica i inne. MarketsandMarkets uważa, że rozwiązania do analizy strumieniowej przyniosły $3.08 mld przychodów w 2016 r., co może wzrosnąć do 13,70 mld USD do 2021 r.

Edge Computing

oprócz zainteresowania analityką strumieniową, trend IoT generuje również zainteresowanie komputerami brzegowymi. Pod pewnymi względami przetwarzanie brzegowe jest przeciwieństwem przetwarzania w chmurze. Zamiast przesyłać dane do scentralizowanego serwera w celu analizy, edge computing Systems analizuje dane bardzo blisko miejsca, w którym zostały utworzone — na skraju sieci.

zaletą systemu edge computing jest to, że zmniejsza ilość informacji, które muszą być przesyłane przez sieć, zmniejszając w ten sposób ruch sieciowy i związane z nim koszty. Zmniejsza również zapotrzebowanie na centra danych lub obiekty obliczeniowe w chmurze, uwalniając pojemność dla innych obciążeń i eliminując potencjalny pojedynczy punkt awarii.

podczas gdy rynek edge computing, a dokładniej analityki edge computing, wciąż się rozwija, niektórzy analitycy i inwestorzy venture zaczęli nazywać tę technologię ” kolejną wielką rzeczą.”

Blockchain

blockchain jest również ulubionym z przyszłościowych analityków i inwestorów venture capital, blockchain jest rozproszoną technologią baz danych, która leży u podstaw cyfrowej waluty Bitcoin. Unikalną cechą bazy danych blockchain jest to, że po zapisaniu danych nie można ich usunąć ani zmienić po fakcie. Ponadto jest wysoce bezpieczny, co czyni go doskonałym wyborem dla aplikacji big data w wrażliwych branżach, takich jak bankowość, ubezpieczenia, Opieka zdrowotna, Handel detaliczny i inne.

technologia Blockchain jest nadal w powijakach, a przypadki użycia wciąż się rozwijają. Jednak kilku dostawców, w tym IBM, AWS, Microsoft i wiele startupów, wprowadziło eksperymentalne lub wprowadzające rozwiązania oparte na technologii blockchain.

Blockchain to technologia rozproszonej księgi, która oferuje duży potencjał do analizy danych.

analityka nakazowa

wielu analityków dzieli narzędzia analityczne big data na cztery duże kategorie. Pierwsza, analiza opisowa, po prostu mówi, co się stało. Kolejny typ, analiza diagnostyczna, idzie o krok dalej i podaje powód wystąpienia zdarzeń. Trzeci typ, predictive analytics, omówiony szczegółowo powyżej, próbuje określić, co będzie dalej. Jest to tak wyrafinowane, jak większość narzędzi analitycznych dostępnych obecnie na rynku.

istnieje jednak czwarty rodzaj analityki, który jest jeszcze bardziej wyrafinowany, chociaż obecnie dostępnych jest bardzo niewiele produktów o tych możliwościach. Prescriptive analytics oferuje firmom porady na temat tego, co powinny zrobić, aby osiągnąć pożądany rezultat. Na przykład, podczas gdy analiza predykcyjna może dać firmie ostrzeżenie, że rynek konkretnej linii produktów ma się zmniejszyć, analiza predykcyjna przeanalizuje różne kierunki działań w odpowiedzi na te zmiany rynkowe i prognozuje najbardziej prawdopodobne wyniki.

obecnie niewiele przedsiębiorstw zainwestowało w analitykę predykcyjną, ale wielu analityków uważa, że będzie to kolejny duży obszar inwestycji po tym, jak organizacje zaczną doświadczać korzyści płynących z analizy predykcyjnej.

rynek technologii big data jest zróżnicowany i stale się zmienia. Ale być może już wkrótce narzędzia analityczne predykcyjne i preskryptywne będą udzielać porad na temat przyszłości big data i tego, co przedsiębiorstwa powinny z tym zrobić.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.