Big Data Technologies

ほとんどの専門家は、ビッグデータ技術への支出が残りの10年間で猛烈なペースで継続すると予想している。 IDCのWorldwide Semiannual Big Data and Analytics支出ガイドによると、企業は2017年にビッグデータとビジネス分析に1508億ドルを費やす可能性が高く、2016年よりも12.4%増加します。 また、同社は、2020年までの市場で11.9%の複合年間成長率(CAGR)を予測しており、売上高は2100億ドルを超えると予測しています。

IdcのグループバイスプレジデントであるDan Vesset氏は、「採用のS曲線を何年も横断した後、ビッグデータとビジネス分析ソリューションが最終的に主流にな 意思決定支援と意思決定の自動化を可能にするものとして、今ではトップエグゼクティブのレーダーにしっかりとなっています。 このカテゴリのソリューションは、業界やビジネスプロセス全体でデジタル変革の取り組みを可能にするための重要な柱の1つでもあります。”同社は、今後数年間で、非リレーショナル分析データストアと認知ソフトウェアプラットフォームのために特に強い成長を予測しています。 それは、2020年までに企業がビッグデータソフトウェアに$70億を費やすことになると考えています。

データ管理リソース:Forrester Wave–マスターデータ管理

ITリーダーや幹部の調査は、企業がビッグデータ技術にかなりの金額を費やしているという考えにも信憑性を NewVantage Partners Big Data Executive Survey2017では、フォーチュン1000の幹部の95%が、過去5年間に企業がビッグデータ技術に投資していたと回答していることがわかりました。 いくつかのケースでは、これらの投資は37で、大きかったです。回答者の2%は、自分の企業がビッグデータプロジェクトに100万ドル以上を費やしていたと言っており、6.5は1億ドル以上を投資していた。

とIDG Enterprise2016のデータ&分析調査では、この支出は継続する可能性が高いことがわかりました。 調査対象者のうち、89%は、今後12-18ヶ月以内に、企業がビッグデータからビジネス価値を引き出すために設計された新しいソリューションを購入すると予想していました。

あなたの企業のためのビッグデータソリューションの市場にいる場合は、トップビッグデータ企業のリストを読んでください

ビッグデータテクノロジーズ:業界別投資

ほぼすべての業界がビッグデータ分析に投資を開始していますが、一部は他の業界よりも多額の投資を行っています。 IDCによると、銀行業、個別製造業、プロセス製造業、連邦/中央政府、および専門的サービスが最大の浪費家の1つです。 これらの産業を合わせると、2017年にはビッグデータとビジネス分析に724億ドルを費やし、101ドルに上昇する可能性があります。2020年までに50億。

ビッグデータ技術への支出の最も速い成長は、銀行、ヘルスケア、保険、証券および投資サービス、および通信内で発生しています。 注目すべきは、これらの3つの業界が金融部門にあり、詐欺の検出、リスク管理、顧客サービスの最適化など、ビッグデータ分析のための多くの特に強力な

IDCのプログラムディレクター、Jessica Goepfert氏は、「金融サービス以外にも、他のいくつかの業界が魅力的な機会を提供している」と述べた。 “例えば、電気通信の中では、ビッグデータと分析は、ネットワーク容量の計画と最適化のためだけでなく、新しい顧客を保持し、獲得するために適用されます。 一方、メディア業界は、デジタル化とコンテンツの大量消費のおかげで、近年、大規模な混乱に悩まされています。 ここでは、ビッグデータと分析は、企業が読者の習慣、好み、感情を理解し、監視するのに役立ちます。 ビッグデータと分析の機会をターゲットにしたベンダーは、これらの業界の優先事項、問題点、およびユースケースに関するメッセージを作成するのに適してい”

地理的な観点から見ると、支出のほとんどは米国で発生し、2017年のビッグデータと分析支出の約52%を占める可能性が高い。 西ヨーロッパは、支出のほぼ四分の一と二番目に大きい地域市場です。 しかし、最も速い成長はラテンアメリカとアジア/太平洋地域で起こっています。

idcによると、ビッグデータ技術への支出の大部分は、1,000人以上の従業員を持つ企業から来ており、市場の60%を占めています。 それでも、中小企業は、ビッグデータとビジネス分析の支出のほぼ4分の1を占めているため、トレンドを通過させていません。

では、これらの企業はどのようなビッグデータ技術を購入していますか?

非リレーショナル分析システムは、認知ソフトウェアと同様に、ビッグデータ技術投資のための好まれた領域です。

見るべき15の大きいデータ技術

大きいデータ解決を提供する技術の売り手のリストは一見無限である。

Hadoopエコシステム

Apache Hadoopはかつてほど支配的ではないかもしれませんが、大きなデータセットの分散処理のためのこのオープンソースのフレームワーク 昨年、Forresterは、「すべての大企業の100%が、今後2年以内にビッグデータ分析にit(HadoopおよびSparkなどの関連技術)を採用するでしょう。”

長年にわたり、Hadoopは関連ソフトウェアのエコシステム全体を包含するように成長しており、多くの商用ビッグデータソリューションはHadoopに基づいています。 実際、Zion Market Researchは、Hadoopベースの製品とサービスの市場は、2016年の76億9000万ドルから871億4000万ドルの価値がある2022年までに50%のCAGRで成長し続けると予測しています。

主要なHadoopベンダーにはCloudera、Hortonworks、MapRなどがあり、主要なパブリッククラウドはすべてこの技術をサポートするサービスを提供しています。

Spark

Apache SparkはHadoopエコシステムの一部ですが、その使用は非常に普及しており、独自のカテゴリに値するものです。 Hadoop内でビッグデータを処理するためのエンジンであり、標準のHadoopエンジンであるMapReduceよりも最大100倍高速です。

AtScale2016Big Data Maturity Surveyでは、回答者の25%がすでにSparkを本番環境に導入しており、33%が開発中のSparkプロジェクトを導入していると回答しました。 明らかに、技術への関心はかなり大きく、成長しており、Hadoop製品を提供する多くのベンダーもSparkベースの製品を提供しています。

R

rは、別のオープンソースプロジェクトであり、統計を扱うために設計されたプログラミング言語とソフトウェア環境です。 データ科学者の最愛の人、それはR財団によって管理され、GPL2ライセンスの下で利用可能です。 EclipseやVisual Studioを含む多くの一般的な統合開発環境(Ide)がこの言語をサポートしています。

様々なプログラミング言語の人気をランク付けするいくつかの組織は、Rが世界で最も人気のある言語の一つになったと言います。 たとえば、IEEEはRが5番目に人気のあるプログラミング言語であり、TiobeとRedMonkの両方が14番目にランク付けしていると述べています。 これらのチャートの上部に近いプログラミング言語は、通常、多くの異なる種類の作業に使用できる汎用言語であるため、これは重要です。 ビッグデータプロジェクトのためにほぼ独占的に使用されている言語がトップに近いことは、ビッグデータの重要性とその分野におけるこの言語の

データレイク

膨大なデータストアへのアクセスを容易にするために、多くの企業がデータレイクを設定しています。 これらは、多くの異なるソースからデータを収集し、その自然な状態で保存する巨大なデータリポジトリです。 これは、データウェアハウスとは異なり、異なるソースからデータを収集しますが、それを処理してストレージ用に構造化します。 この場合、湖と倉庫の比喩はかなり正確です。 データが水のようなものであれば、データレイクは自然でろ過されていない水のようなものですが、データウェアハウスは棚に保管されている水のボトルの集合体のようなものです。

データレイクは、企業がデータを保存したいが、それをどのように使用するかはまだわからない場合に特に魅力的です。 多くのモノのインターネット(IoT)データがそのカテゴリに収まる可能性があり、IoTの傾向はデータレイクの成長につながっています。

MarketsandMarketsは、data lakeの収益が2.53億ドルから2016年に8ドルに成長すると予測しています。2021年までに810億。

NoSQLデータベース

従来のリレーショナルデータベース管理システム(RDBMSes)は、構造化された定義済みの列と行に情報を格納します。 開発者とデータベース管理者は、SQLと呼ばれる特別な言語を使用して、これらのRdbms内のデータを照会、操作、および管理します。

NoSQLデータベースは、非構造化データの格納と高速なパフォーマンスを提供することに特化していますが、RDBMSesと同じレベルの一貫性は提供しません。 人気のあるNoSQLデータベースには、MongoDB、Redis、Cassandra、Couchbaseなどがあります; OracleやIBMのような主要なRDBMSベンダーでさえ、NoSQLデータベースも提供しています。

NoSQLデータベースは、ビッグデータの傾向が高まるにつれてますます人気が高まっています。 Allied Market Researchによると、NoSQL市場は2020年までに42億ドルの価値がある可能性があります。 しかし、Rdbmseの市場は、NoSQLの市場よりもはるかに大きく、依然として大きくなっています。

MonboDBは、いくつかのよく知られているNoSQLデータベースの一つです。

予測分析

予測分析は、過去のデータに基づいて将来のイベントや行動を予測しようとするビッグデータ分析のサブセットです。 次に何が起こるかを予測するために、データマイニング、モデリング、機械学習技術を活用しています。 これは、多くの場合、詐欺の検出、クレジットスコアリング、マーケティング、財務およびビジネス分析の目的のために使用されます。

近年、人工知能の進歩により、予測分析ソリューションの機能が大幅に改善されています。 その結果、企業は予測機能を備えたビッグデータソリューションに多くの投資を開始しました。 Microsoft、IBM、SAP、SAS、Statistica、RapidMiner、KNIMEなどを含む多くのベンダーが予測分析ソリューションを提供しています。 Zion Market Researchによると、予測分析市場は2016年に34億9000万ドルの収益を生み出し、その数は2022年までに109億5000万ドルに達する可能性があります。

インメモリデータベース

どのコンピュータシステムでも、RAMとも呼ばれるメモリは、長期保存よりも桁違いに高速です。 ビッグデータ分析ソリューションが、ハードドライブに保存されたデータではなく、メモリに保存されたデータを処理できる場合、大幅に高速に実行できます。 そして、それはまさにインメモリデータベース技術が何をすべきかです。

SAP、Oracle、Microsoft、IBMを含む主要なエンタープライズソフトウェアベンダーの多くは、現在、インメモリデータベース技術を提供しています。 さらに、Teradata、Tableau、Volt DB、DataStaxのようないくつかの小規模企業は、インメモリデータベースソリューションを提供しています。 MarketsandMarketsの調査によると、インメモリ技術の総売上高は2ドルだったと推定されています。2016年には720億ドル、2021年には65億8000万ドルに成長する可能性があります。

ビッグデータセキュリティソリューション

ビッグデータリポジトリはハッカーや高度な永続的な脅威に魅力的なターゲットを提示するため、ビッグデータセキ AtScaleの調査では、セキュリティはビッグデータに関連する懸念の二番目に急速に成長している分野でした。

IDGレポートによると、最も一般的なタイプのビッグデータセキュリティソリューションには、idとアクセス制御(回答者の59%が使用)、データ暗号化(52%)、データ分離(42%) 数十のベンダーがビッグデータセキュリティソリューションを提供しており、HadoopエコシステムのオープンソースプロジェクトであるApache Rangerも注目を集めています。

ビッグデータガバナンスソリューション

セキュリティの考え方と密接に関連しているのはガバナンスの概念です。 データガバナンスは、データの可用性、使いやすさ、整合性に関連するすべてのプロセスを網羅する幅広いトピックです。 これは、ビッグデータ分析に使用されるデータが正確かつ適切であることを確認するための基礎を提供するだけでなく、ビジネスアナリストや幹部がデー

NewVantage Partners調査では、調査対象となったFortune1000の幹部の91.8%が、ビッグデータの取り組みにとってガバナンスが非常に重要(52.5%)または重要(39.3%)であると回答し ビッグデータガバナンスツールを提供するベンダーには、Collibra、IBM、SAS、Informatica、Adaptive、SAPなどがあります。

セルフサービス機能

データサイエンティストやその他のビッグデータ専門家が不足しており、大量の給与を指揮しているため、多くの組織は、ビジネスユー 実際、Research and Marketsのレポートによると、セルフサービスビジネスインテリジェンス市場は2016年に36億1000万ドルの収益を生み出し、2021年までに73億1000万ドルに成長する可能性があると推定されています。 そして、ガートナーは、”最新のBIおよび分析プラットフォームは、アクセシビリティ、俊敏性、より深い分析洞察のための新しい組織要件を満たすためにここ数年Tableau、Microsoft、IBM、SAP、Splunk、Syncsort、SAS、TIBCO、Oracleなどの複数のビジネスインテリジェンスおよびビッグデータ分析ベンダーが、この傾向を活用することを期待して、セルフサービス機能をソリューションに追加しています。 時間は、製品の一部またはすべてが非専門家によって本当に使用可能になるかどうか、彼らは組織が彼らのビッグデータの取り組みで達成することを望んでいるビジネス価値を提供するかどうかを教えてくれます。

人工知能

人工知能(AI)の概念はコンピュータとほぼ同じくらい長い間存在していましたが、この技術はここ数年で本当に使用可能になりました。 多くの点で、ビッグデータの傾向は、特に機械学習とディープラーニングという分野の二つのサブセットで、AIの進歩を牽引してきました。

機械学習の標準的な定義は、”コンピュータに明示的にプログラムされずに学習する能力を与える技術であるということです。「ビッグデータ分析では、機械学習技術により、システムは履歴データを見て、パターンを認識し、モデルを構築し、将来の結果を予測することができます。 また、予測分析と密接に関連しています。

ディープラーニングは、人工ニューラルネットワークに依存し、データを分析するためにアルゴリズムの複数の層を使用する機械学習技術の一種です。 フィールドとして、分析ツールが画像やビデオのコンテンツを認識し、それに応じて処理できるようにするための多くの約束を保持しています。

専門家は、ビッグデータツールのこの分野は劇的な離陸の態勢を整えているようだと言います。 IDCは、「2018年までに、企業およびISV開発の75%が、すべてのビジネス分析ツールを含む少なくとも1つのアプリケーションに認知/AIまたは機械学習機能を含”

ビッグデータに関連するツールを持つ大手AIベンダーには、Google、IBM、Microsoft、Amazon Web Servicesが含まれており、数十の小規模なスタートアップがAI技術を開発しています(そして大規模な技術ベンダーによって買収されています)。

ストリーミング分析

組織はビッグデータ分析ソリューションの機能に精通しているため、洞察へのより迅速かつ迅速なアクセスを要求し始めています。 これらの企業にとって、作成中のデータを分析する機能を備えたストリーミング分析は、聖杯のようなものです。 彼らは、複数の異なるソースからの入力を受け入れ、それを処理し、すぐに、または可能な限りそれに近い洞察を返すことができる解決策を探しています。 これは、ビッグデータ分析のストリーミングへの関心を促進するのに役立っている新しいIoT展開に関しては特に望ましいことです。

いくつかのベンダーは、ストリーミング分析機能を約束する製品を提供しています。 それらはIBM、ソフトウェアAG、SAP、TIBCO、Oracle、DataTorrent、SQLstream、Cisco、Informaticaおよび他を含んでいる。 MarketsandMarketsはstreaming3で持って来られる流出のanalyticsの解決を信じる。2016年の売上高は080億ドルで、2021年までに137億ドルに増加する可能性があります。

エッジコンピューティング

ストリーミング分析への関心を喚起するだけでなく、IoTの傾向はエッジコンピューティングへの関心を生み出しています。 いくつかの点で、エッジコンピューティングはクラウドコンピューティングの反対です。 エッジコンピューティングシステムは、分析のために集中型サーバーにデータを送信する代わりに、ネットワークのエッジで、作成された場所に非常に近い

エッジコンピューティングシステムの利点は、ネットワークを介して送信する必要がある情報の量を削減し、ネットワークトラフィックと関連するコ また、データセンターやクラウドコンピューティング施設への要求を削減し、他のワークロードの容量を解放し、潜在的な単一障害点を排除します。

エッジコンピューティング、より具体的にはエッジコンピューティングアナリティクスの市場はまだ発展しているが、一部のアナリストやベンチャーキャピタリストはこの技術を”次の大きなもの”と呼び始めている。”

Blockchain

また、将来を見据えたアナリストやベンチャーキャピタリストのお気に入りであるblockchainは、Bitcoinデジタル通貨の基礎となる分散データベース技術です。 ブロックチェーンデータベースのユニークな特徴は、データが書き込まれると、事実の後に削除または変更することができないということです。 さらに、それはそれに銀行業、保険、ヘルスケア、小売りおよび他のような敏感な企業の大きいデータ適用のための優秀な選択をする非常に安全である。

ブロックチェーン技術はまだ初期段階にあり、ユースケースはまだ発展しています。 しかし、IBM、AWS、Microsoft、複数の新興企業を含むいくつかのベンダーは、blockchain技術に基づいて構築された実験的または入門的なソリューションを展開しています。

Blockchainは、データ分析のための大きな可能性を提供する分散元帳技術です。

規範的分析

多くのアナリストは、ビッグデータ分析ツールを四つの大きなカテゴリに分けています。 最初の記述的分析は、単に何が起こったのかを伝えます。 次のタイプである診断分析は、さらに一歩進んで、イベントが発生した理由を示します。 第三のタイプ、予測分析は、上記の深さで説明し、次に何が起こるかを決定しようとします。 これは、現在市場に出回っているほとんどの分析ツールが得ることができるほど洗練されています。

しかし、これらの機能を備えた製品は現時点ではほとんどありませんが、さらに洗練された第四のタイプの分析があります。 規範的な分析は、望ましい結果を実現するために何をすべきかについて企業にアドバイスを提供します。 たとえば、予測分析は、特定の製品ラインの市場が減少しようとしているという警告を企業に与えるかもしれませんが、規範的分析は、これらの市場の変

現在、規範的分析に投資している企業はごくわずかですが、多くのアナリストは、組織が予測分析の利点を経験し始めた後、これが投資の次の大きな領域になると考えています。

ビッグデータ技術の市場は多様で絶えず変化しています。 しかし、いつかすぐに予測的かつ規範的な分析ツールは、ビッグデータのために次に何が来るのか、そして企業がそれについて何をすべきかについてのア

コメントを残す

メールアドレスが公開されることはありません。