Big-Data-Technologien

Die meisten Experten erwarten, dass die Ausgaben für Big-Data-Technologien für den Rest des Jahrzehnts rasant ansteigen werden. Laut IDCs Worldwide Semiannual Big Data and Analytics Spending Guide werden Unternehmen im Jahr 2017 voraussichtlich 150,8 Milliarden US-Dollar für Big Data und Business Analytics ausgeben, 12,4 Prozent mehr als 2016. Und das Unternehmen prognostiziert eine durchschnittliche jährliche Wachstumsrate (CAGR) von 11,9 Prozent für den Markt bis 2020, wenn der Umsatz 210 Milliarden US-Dollar übersteigen wird.

Dan Vesset, Group Vice President bei IDC, sagte: „Nach Jahren der Überwindung der S-Kurve haben Big Data- und Business Analytics-Lösungen endlich den Mainstream erreicht. als Enabler der Entscheidungsunterstützung und Entscheidungsautomatisierung ist er mittlerweile fest auf dem Radar von Top-Führungskräften. Diese Kategorie von Lösungen ist auch eine der wichtigsten Säulen, um die digitale Transformation in allen Branchen und Geschäftsprozessen weltweit zu ermöglichen.“ Das Unternehmen prognostiziert in den nächsten Jahren ein besonders starkes Wachstum für nicht-relationale analytische Datenspeicher und kognitive Softwareplattformen. Sie geht davon aus, dass Unternehmen bis 2020 70 Milliarden US-Dollar für Big-Data-Software ausgeben werden.

Datenmanagement–Ressource: Forrester Wave – Master Data Management

Umfragen unter IT-Führungskräften und Führungskräften lassen auch die Vorstellung zu, dass Unternehmen erhebliche Summen für Big Data-Technologie ausgeben. Die NewVantage Partners Big Data Executive Survey 2017 ergab, dass 95 Prozent der Fortune 1000-Führungskräfte angaben, dass ihre Unternehmen in den letzten fünf Jahren in Big Data-Technologie investiert hatten. In einigen Fällen waren diese Investitionen mit 37 groß.2 Prozent der Befragten gaben an, dass ihre Unternehmen mehr als 100 Millionen US-Dollar für Big-Data-Projekte ausgegeben hatten, und 6,5 Prozent investierten mehr als 1 Milliarde US-Dollar.

Und die IDG Enterprise 2016 Data & Analytics-Forschung ergab, dass diese Ausgaben wahrscheinlich anhalten werden. 89 Prozent der Befragten erwarteten, dass ihre Unternehmen innerhalb der nächsten 12 bis 18 Monate neue Lösungen kaufen würden, die ihnen helfen, aus ihren Big Data einen geschäftlichen Nutzen zu ziehen.

Wenn Sie auf dem Markt für eine Big-Data-Lösung für Ihr Unternehmen sind, lesen Sie unsere Liste der Top-Big-Data-Unternehmen

Big-Data-Technologien: Investitionen nach Branchen

Fast jede Branche hat begonnen, in Big-Data-Analysen zu investieren, aber einige investieren stärker als andere. Laut IDC gehören Banken, diskrete Fertigung, Prozessfertigung, Bundes- / Zentralregierung und professionelle Dienstleistungen zu den größten Geldgebern. Zusammen werden diese Branchen im Jahr 2017 voraussichtlich 72,4 Milliarden US-Dollar für Big Data und Business Analytics ausgeben und auf 101 US-Dollar ansteigen.5 Milliarden bis 2020.

Das schnellste Wachstum der Ausgaben für Big Data-Technologien ist in den Bereichen Banken, Gesundheitswesen, Versicherungen, Wertpapier- und Investmentdienstleistungen sowie Telekommunikation zu verzeichnen. Es ist bemerkenswert, dass drei dieser Branchen im Finanzsektor liegen, der viele besonders starke Anwendungsfälle für Big Data-Analysen aufweist, wie Betrugserkennung, Risikomanagement und Kundendienstoptimierung.

„Außerhalb der Finanzdienstleistungen bieten mehrere andere Branchen überzeugende Möglichkeiten“, sagte Jessica Goepfert, Programmdirektorin bei IDC. „In der Telekommunikation werden beispielsweise Big Data und Analysen eingesetzt, um neue Kunden zu binden und zu gewinnen sowie für die Planung und Optimierung von Netzwerkkapazitäten. Unterdessen wurde die Medienbranche in den letzten Jahren durch die Digitalisierung und den massiven Konsum von Inhalten von massiven Disruptionen geplagt. Hier können Big Data und Analysen Unternehmen dabei helfen, die Gewohnheiten, Vorlieben und Gefühle ihrer Leser zu verstehen und zu überwachen. Anbieter, die auf Big Data und Analytics abzielen, wären gut beraten, ihre Botschaften rund um diese Branchenprioritäten, Schwachstellen und Anwendungsfälle zu verfassen.“

Aus geografischer Sicht werden die meisten Ausgaben in den USA getätigt, was wahrscheinlich etwa 52 Prozent der Ausgaben für Big Data und Analytics im Jahr 2017 ausmachen wird. Westeuropa ist mit fast einem Viertel der Ausgaben der zweitgrößte regionale Markt. Das schnellste Wachstum ist jedoch in Lateinamerika und der Region Asien / Pazifik zu verzeichnen.

Der Großteil der Ausgaben für Big Data-Technologien kommt laut IDC von Unternehmen mit mehr als 1.000 Mitarbeitern, die 60 Prozent des Marktes ausmachen. Dennoch lassen sich KMUs den Trend nicht entgehen, da sie fast ein Viertel der Ausgaben für Big Data und Business Analytics ausmachen.

Welche Big Data-Technologien kaufen diese Unternehmen?

Nicht-relationale Analysesysteme sind ein bevorzugter Bereich für Investitionen in Big Data-Technologien, ebenso wie kognitive Software.

15 Big Data-Technologien zum Anschauen

Die Liste der Technologieanbieter, die Big Data-Lösungen anbieten, scheint unendlich zu sein. Viele der Big-Data-Lösungen, die derzeit besonders beliebt sind, passen in eine der folgenden 15 Kategorien:

Das Hadoop-Ökosystem

Während Apache Hadoop möglicherweise nicht mehr so dominant ist wie früher, ist es fast unmöglich, über Big Data zu sprechen, ohne dieses Open-Source-Framework für die verteilte Verarbeitung großer Datensätze zu erwähnen. Im vergangenen Jahr prognostizierte Forrester: „100% aller großen Unternehmen werden es (Hadoop und verwandte Technologien wie Spark) innerhalb der nächsten zwei Jahre für Big Data-Analysen einsetzen.“

Im Laufe der Jahre hat sich Hadoop zu einem ganzen Ökosystem verwandter Software entwickelt, und viele kommerzielle Big-Data-Lösungen basieren auf Hadoop. Tatsächlich prognostiziert Zion Market Research, dass der Markt für Hadoop-basierte Produkte und Dienstleistungen bis 2022 mit einer jährlichen Wachstumsrate von 50 Prozent weiter wachsen wird, wenn er 87,14 Milliarden US-Dollar wert sein wird, gegenüber 7,69 Milliarden US-Dollar im Jahr 2016.

Zu den wichtigsten Hadoop-Anbietern gehören Cloudera, Hortonworks und MapR, und die führenden Public Clouds bieten alle Dienste an, die die Technologie unterstützen.

Spark

Apache Spark ist Teil des Hadoop-Ökosystems, aber seine Verwendung ist so weit verbreitet, dass es eine eigene Kategorie verdient. Es ist eine Engine für die Verarbeitung von Big Data in Hadoop und bis zu hundertmal schneller als die Standard-Hadoop-Engine MapReduce.

In der AtScale 2016 Big Data Maturity Survey gaben 25 Prozent der Befragten an, Spark bereits in der Produktion eingesetzt zu haben, und 33 Prozent mehr hatten Spark-Projekte in der Entwicklung. Das Interesse an der Technologie ist offensichtlich groß und wächst, und viele Anbieter mit Hadoop-Angeboten bieten auch Spark-basierte Produkte an.

R

R, ein weiteres Open-Source-Projekt, ist eine Programmiersprache und Softwareumgebung für die Arbeit mit Statistiken. Der Liebling der Data Scientists wird von der R Foundation verwaltet und steht unter der GPL 2-Lizenz zur Verfügung. Viele gängige integrierte Entwicklungsumgebungen (IDEs), einschließlich Eclipse und Visual Studio, unterstützen die Sprache.

Mehrere Organisationen, die die Beliebtheit verschiedener Programmiersprachen bewerten, sagen, dass R zu einer der beliebtesten Sprachen der Welt geworden ist. Zum Beispiel sagt das IEEE, dass R die fünftbeliebteste Programmiersprache ist, und sowohl Tiobe als auch RedMonk rangieren auf Platz 14. Dies ist wichtig, weil die Programmiersprachen in der Nähe der Spitze dieser Diagramme sind in der Regel Allzwecksprachen, die für viele verschiedene Arten von Arbeit verwendet werden können. Dass eine Sprache, die fast ausschließlich für Big-Data-Projekte verwendet wird, so weit oben steht, zeigt die Bedeutung von Big Data und die Bedeutung dieser Sprache in ihrem Bereich.

Data Lakes

Um den Zugriff auf ihre riesigen Datenspeicher zu erleichtern, richten viele Unternehmen Data Lakes ein. Dies sind riesige Datenspeicher, die Daten aus vielen verschiedenen Quellen sammeln und in ihrem natürlichen Zustand speichern. Dies unterscheidet sich von einem Data Warehouse, das ebenfalls Daten aus unterschiedlichen Quellen sammelt, aber verarbeitet und für die Speicherung strukturiert. In diesem Fall sind die See- und Lagermetaphern ziemlich genau. Wenn Daten wie Wasser sind, ist ein Data Lake natürlich und ungefiltert wie ein Gewässer, während ein Data Warehouse eher einer Sammlung von Wasserflaschen ähnelt, die in Regalen aufbewahrt werden.

Data Lakes sind besonders attraktiv, wenn Unternehmen Daten speichern wollen, sich aber noch nicht sicher sind, wie sie diese nutzen könnten. Viele Daten aus dem Internet der Dinge (IoT) könnten in diese Kategorie passen, und der IoT-Trend spielt eine Rolle beim Wachstum von Data Lakes.

MarketsandMarkets prognostiziert, dass der Umsatz mit Data Lake von 2,53 Milliarden US-Dollar im Jahr 2016 auf 8 US-Dollar steigen wird.81 Milliarden bis 2021.

NoSQL-Datenbanken

Traditionelle relationale Datenbankmanagementsysteme (RDBMS) speichern Informationen in strukturierten, definierten Spalten und Zeilen. Entwickler und Datenbankadministratoren fragen die Daten in diesen RDBMS mit einer speziellen Sprache ab, die als SQL bekannt ist.

NoSQL-Datenbanken sind darauf spezialisiert, unstrukturierte Daten zu speichern und eine schnelle Leistung bereitzustellen, obwohl sie nicht das gleiche Maß an Konsistenz wie RDBMS bieten. Beliebte NoSQL-Datenbanken sind MongoDB, Redis, Cassandra, Couchbase und viele andere; selbst die führenden RDBMS-Anbieter wie Oracle und IBM bieten mittlerweile auch NoSQL-Datenbanken an.

NoSQL-Datenbanken werden immer beliebter, da der Big-Data-Trend zugenommen hat. Laut Allied Market Research könnte der NoSQL-Markt bis 2020 einen Wert von 4,2 Milliarden US-Dollar haben. Der Markt für RDBMSes ist jedoch immer noch viel, viel größer als der Markt für NoSQL.

MonboDB ist eine von mehreren bekannten NoSQL-Datenbanken.

Predictive Analytics

Predictive Analytics ist eine Untergruppe von Big Data Analytics, die versucht, zukünftige Ereignisse oder Verhaltensweisen basierend auf historischen Daten vorherzusagen. Es stützt sich auf Data Mining-, Modellierungs- und Maschinenlerntechniken, um vorherzusagen, was als nächstes passieren wird. Es wird häufig für Betrugserkennung, Kredit-Scoring, Marketing, Finanzen und Business-Analyse-Zwecke verwendet.

In den letzten Jahren haben Fortschritte in der künstlichen Intelligenz die Fähigkeiten von Predictive Analytics-Lösungen erheblich verbessert. Infolgedessen haben Unternehmen begonnen, mehr in Big-Data-Lösungen mit Vorhersagefähigkeiten zu investieren. Viele Anbieter, darunter Microsoft, IBM, SAP, SAS, Statistica, RapidMiner, KNIME und andere, bieten Predictive Analytics-Lösungen an. Laut Zion Market Research erzielte der Markt für prädiktive Analysen im Jahr 2016 einen Umsatz von 3,49 Milliarden US-Dollar, eine Zahl, die bis 2022 10,95 Milliarden US-Dollar erreichen könnte.

In-Memory-Datenbanken

In jedem Computersystem ist der Speicher, auch RAM genannt, um Größenordnungen schneller als der Langzeitspeicher. Wenn eine Big-Data-Analyselösung Daten verarbeiten kann, die im Arbeitsspeicher gespeichert sind, anstatt Daten, die auf einer Festplatte gespeichert sind, kann sie erheblich schneller arbeiten. Und genau das macht die In-Memory-Datenbanktechnologie.

Viele der führenden Anbieter von Unternehmenssoftware, darunter SAP, Oracle, Microsoft und IBM, bieten jetzt In-Memory-Datenbanktechnologie an. Darüber hinaus bieten mehrere kleinere Unternehmen wie Teradata, Tableau, Volt DB und DataStax In-Memory-Datenbanklösungen an. Untersuchungen von MarketsandMarkets schätzen, dass der Gesamtumsatz der In-Memory-Technologie 2 US-Dollar betrug.72 Milliarden im Jahr 2016 und könnte bis 2021 auf 6,58 Milliarden US-Dollar anwachsen.

Big-Data-Sicherheitslösungen

Da Big-Data-Repositories ein attraktives Ziel für Hacker und Advanced Persistent Threats darstellen, ist Big-Data-Sicherheit ein großes und wachsendes Problem für Unternehmen. In der AtScale-Umfrage war Sicherheit das am zweitschnellsten wachsende Problem im Zusammenhang mit Big Data.

Laut dem IDG-Bericht umfassen die beliebtesten Arten von Big-Data-Sicherheitslösungen Identitäts- und Zugriffskontrollen (von 59 Prozent der Befragten verwendet), Datenverschlüsselung (52 Prozent) und Datensegregation (42 Prozent). Dutzende Anbieter bieten Big-Data-Sicherheitslösungen an, und Apache Ranger, ein Open-Source-Projekt aus dem Hadoop-Ökosystem, erregt ebenfalls wachsende Aufmerksamkeit.

Big Data Governance-Lösungen

Eng verwandt mit der Idee der Sicherheit ist das Konzept der Governance. Data Governance ist ein weit gefasstes Thema, das alle Prozesse im Zusammenhang mit der Verfügbarkeit, Nutzbarkeit und Integrität von Daten umfasst. Es bietet die Grundlage, um sicherzustellen, dass die für Big Data-Analysen verwendeten Daten korrekt und angemessen sind, und bietet einen Prüfpfad, damit Geschäftsanalysten oder Führungskräfte sehen können, woher die Daten stammen.

In der NewVantage Partners-Umfrage gaben 91,8 Prozent der befragten Fortune-1000-Führungskräfte an, dass Governance für ihre Big-Data-Initiativen entweder von entscheidender Bedeutung (52,5 Prozent) oder wichtig (39,3 Prozent) ist. Zu den Anbietern, die Big Data Governance-Tools anbieten, gehören Collibra, IBM, SAS, Informatica, Adaptive und SAP.

Self-Service—Funktionen

Da Datenwissenschaftler und andere Big—Data-Experten knapp sind und hohe Gehälter erhalten, suchen viele Unternehmen nach Big-Data-Analysetools, mit denen Geschäftsanwender ihre eigenen Bedürfnisse selbst bedienen können. Tatsächlich schätzt ein Bericht von Research and Markets, dass der Self-Service-Business-Intelligence-Markt im Jahr 2016 einen Umsatz von 3,61 Milliarden US-Dollar erzielte und bis 2021 auf 7,31 Milliarden US-Dollar anwachsen könnte. Und Gartner hat festgestellt: „Die moderne BI- und Analyseplattform ist in den letzten Jahren entstanden, um neue organisatorische Anforderungen an Zugänglichkeit, Agilität und tiefere analytische Einblicke zu erfüllen und den Markt von IT-gestütztem, System-of-Record-Reporting auf geschäftsorientierte, agile Analysen einschließlich Self-Service zu verlagern.“

In der Hoffnung, diesen Trend zu nutzen, haben mehrere Anbieter von Business Intelligence und Big Data Analytics wie Tableau, Microsoft, IBM, SAP, Splunk, Syncsort, SAS, TIBCO, Oracle und andere Self-Service-Funktionen zu ihren Lösungen hinzugefügt. Die Zeit wird zeigen, ob sich einige oder alle Produkte als wirklich nutzbar für Nicht-Experten herausstellen und ob sie den Geschäftswert bieten, den Organisationen mit ihren Big-Data-Initiativen erzielen möchten.

Künstliche Intelligenz

Während das Konzept der künstlichen Intelligenz (KI) fast so lange existiert, wie es Computer gibt, ist die Technologie erst in den letzten Jahren wirklich nutzbar geworden. In vielerlei Hinsicht hat der Big-Data-Trend Fortschritte in der KI vorangetrieben, insbesondere in zwei Teilbereichen der Disziplin: maschinelles Lernen und Deep Learning.

Die Standarddefinition des maschinellen Lernens ist, dass es sich um eine Technologie handelt, die „Computern die Fähigkeit gibt, zu lernen, ohne explizit programmiert zu werden.“ In der Big-Data-Analyse ermöglicht die Technologie des maschinellen Lernens Systemen, historische Daten zu betrachten, Muster zu erkennen, Modelle zu erstellen und zukünftige Ergebnisse vorherzusagen. Es ist auch eng mit Predictive Analytics verbunden.

Deep Learning ist eine Art maschinelle Lerntechnologie, die auf künstlichen neuronalen Netzen basiert und mehrere Algorithmenschichten zur Analyse von Daten verwendet. Als Feld ist es vielversprechend, dass Analysetools den Inhalt in Bildern und Videos erkennen und entsprechend verarbeiten können.

Experten sagen, dass dieser Bereich der Big-Data-Tools für einen dramatischen Start bereit zu sein scheint. IDC prognostiziert: „Bis 2018 werden 75 Prozent der Unternehmens- und ISV-Entwicklung kognitive / KI- oder maschinelle Lernfunktionen in mindestens einer Anwendung enthalten, einschließlich aller Business Analytics-Tools.“

Zu den führenden KI-Anbietern mit Tools im Zusammenhang mit Big Data gehören Google, IBM, Microsoft und Amazon Web Services, und Dutzende kleiner Startups entwickeln KI-Technologie (und werden von den größeren Technologieanbietern übernommen).

Streaming Analytics

Da Unternehmen mit den Funktionen von Big Data-Analyselösungen vertrauter geworden sind, fordern sie immer schnelleren Zugriff auf Erkenntnisse. Für diese Unternehmen ist Streaming Analytics mit der Fähigkeit, Daten während der Erstellung zu analysieren, so etwas wie ein heiliger Gral. Sie suchen nach Lösungen, die Eingaben aus mehreren unterschiedlichen Quellen akzeptieren, verarbeiten und sofort — oder so nah wie möglich – Erkenntnisse liefern können. Dies ist besonders wünschenswert, wenn es um neue IoT-Bereitstellungen geht, die dazu beitragen, das Interesse an Streaming-Big-Data-Analysen zu steigern.

Mehrere Anbieter bieten Produkte an, die Streaming-Analysefunktionen versprechen. Dazu gehören IBM, Software AG, SAP, TIBCO, Oracle, DataTorrent, SQLstream, Cisco, Informatica und andere. MarketsandMarkets glaubt, dass die Streaming-Analytics-Lösungen 3 US-Dollar eingebracht haben.08 Milliarden Umsatz im Jahr 2016, der bis 2021 auf 13,70 Milliarden US-Dollar steigen könnte.

Edge Computing

Neben dem Interesse an Streaming Analytics weckt der IoT-Trend auch Interesse am Edge Computing. In gewisser Weise ist Edge Computing das Gegenteil von Cloud Computing. Anstatt Daten zur Analyse an einen zentralen Server zu übertragen, analysieren Edge-Computing-Systeme Daten sehr nahe an der Stelle, an der sie erstellt wurden — am Rand des Netzwerks.

Der Vorteil eines Edge-Computing-Systems besteht darin, dass es die Informationsmenge reduziert, die über das Netzwerk übertragen werden muss, wodurch der Netzwerkverkehr und die damit verbundenen Kosten reduziert werden. Es verringert auch die Anforderungen an Rechenzentren oder Cloud-Computing-Einrichtungen, wodurch Kapazität für andere Workloads freigesetzt und ein potenzieller Single Point of Failure eliminiert wird.

Während sich der Markt für Edge Computing und insbesondere für Edge Computing Analytics noch entwickelt, haben einige Analysten und Risikokapitalgeber begonnen, die Technologie als „next Big Thing“ zu bezeichnen.“

Blockchain

Blockchain ist auch bei zukunftsorientierten Analysten und Risikokapitalgebern beliebt und die verteilte Datenbanktechnologie, die der digitalen Währung Bitcoin zugrunde liegt. Das einzigartige Merkmal einer Blockchain-Datenbank ist, dass einmal geschriebene Daten nicht mehr gelöscht oder nachträglich geändert werden können. Darüber hinaus ist es sehr sicher, was es zu einer ausgezeichneten Wahl für Big-Data-Anwendungen in sensiblen Branchen wie Banken, Versicherungen, Gesundheitswesen, Einzelhandel und anderen macht.

Die Blockchain-Technologie steckt noch in den Kinderschuhen und Anwendungsfälle entwickeln sich noch. Mehrere Anbieter, darunter IBM, AWS, Microsoft und mehrere Startups, haben jedoch experimentelle oder einführende Lösungen auf Basis der Blockchain-Technologie eingeführt.

Blockchain ist eine verteilte Ledger-Technologie, die ein großes Potenzial für die Datenanalyse bietet.

Prescriptive Analytics

Viele Analysten unterteilen Big Data-Analysetools in vier große Kategorien. Die erste, deskriptive Analyse, erzählt einfach, was passiert ist. Der nächste Typ, die Diagnoseanalyse, geht noch einen Schritt weiter und liefert einen Grund dafür, warum Ereignisse aufgetreten sind. Der dritte Typ, Predictive Analytics, der oben ausführlich erörtert wurde, versucht zu bestimmen, was als nächstes passieren wird. Dies ist so anspruchsvoll wie die meisten derzeit auf dem Markt befindlichen Analysetools.

Es gibt jedoch eine vierte Art von Analyse, die noch ausgefeilter ist, obwohl derzeit nur sehr wenige Produkte mit diesen Funktionen verfügbar sind. Prescriptive Analytics bietet Unternehmen Ratschläge, was sie tun sollten, um ein gewünschtes Ergebnis zu erzielen. Während Predictive Analytics einem Unternehmen beispielsweise eine Warnung geben kann, dass der Markt für eine bestimmte Produktlinie kurz vor dem Rückgang steht, analysiert Prescriptive Analytics verschiedene Handlungsoptionen als Reaktion auf diese Marktveränderungen und prognostiziert die wahrscheinlichsten Ergebnisse.

Derzeit haben nur sehr wenige Unternehmen in Prescriptive Analytics investiert, aber viele Analysten glauben, dass dies der nächste große Investitionsbereich sein wird, nachdem Unternehmen die Vorteile von Predictive Analytics genutzt haben.

Der Markt für Big Data Technologien ist vielfältig und verändert sich ständig. Aber vielleicht werden eines Tages prädiktive und präskriptive Analysetools Ratschläge geben, was als nächstes für Big Data kommt — und was Unternehmen dagegen tun sollten.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.