ビッグデータ分析ツール : 概要

cyber_c-624x404_R

このページではビッグデータの分析を行うツールにはどうのようなものがあるか、概要をまとめます。

ビッグデータの採取・管理・分析の、ツール・システム・分析内容の概要

どのようなシステムに対してどのようなツールや手法を用いて、ビッグデータは扱われるのでしょうか。ビッグデータの処理を意識したツールで現在出回っているものはどのようなものでしょうか。 オージス総研のサイトで下記の図の形でビッグデータの分析に関連する事柄がまとめられています。

ogis-ri_001 (http://www.ogis-ri.co.jp/rad/r-01dsc.html より)

データを取得するデバイスやERPシステムなどは「データソース層」のシステムです。図の一番下の段になります。これらの「データソース層」の個別のシステムから得られるデータは、「DWH(データウェアハウス)層」(*1)の各ツールで管理されます。図の下から二番目の段です。図ではDWH層の中にBIツールなどを含む構成となっていますが、DWHをより狭義にとらえる場合もあります。 DWH層の中のETL (Extract Transform Load)とは基幹系システムからのデータをDWHのデータベースやデータマート(*2)へ書き出すという、データどうしの行き来をさせるツールです。同じくDWH層のESB (Enterprise Service Bus)とはSOA(Service Oriented Architecture)を実現するためのミドルウェアです。基幹系サービスの間のデータのやり取りを行うためのプロトコル変換、データ変換機能やルーティング機能、リポジトリ機能を持ったツールです。 ETLの例、ESBの例はこちらのページをご参照ください。 DWH層の中のデータベース様の図形の書かれた部分では、大規模データの分散処理のフレームワークであるHadoopや、データベースを実行するためのプラットフォームであるOracle Exadataなどを組み合わせたデータベースが表現されています。 そのように管理されたデータに対して、BAツール、BIツールを用いた分析を施し、企業にとって意味のある情報を得るということが行われます。BAツール、BIツールの例として、統計解析言語「R」や、BIツールであるJaspersoft BIが図中には記載されています。どのような観点で分析するかによって、様々な異なる分析の手法が用いられます。一般的BIツールでは対応しない場合は、データサイエンティストごとに工夫して、様々な分析手法とツールを用います。人工知能や制御理論、OR(オペレーションズ・リサーチ)の技術などが用いられることがあります。これは図の中ではAnalytics層に描かれています。 BA、BIツールの例はこちらのページをご参照ください。

(*1)データウェアハウス(DWH)とは?

データウェアハウス(DWH)とは、データの倉庫という意味で、時系列データを格納して蓄積しておくことのできるシステムのことです。提唱者の定義では、、「データウェアハウスは、意志決定(Decision)のため、目的別(Purpose-oriented)に編成され、統合(Integrate)された時系列で、削除(Delete)や更新(Update)しないデータの集合体」となっています。複数の基幹系システム(製造管理システム、販売管理システム、会計システムなど)から、トランザクション(取引)を抽出して、再構成・再蓄積したシステムを指すことが多いです。

(*2)データマートとは?

データマートとは、データウェアハウスの中から特定の目的に合わせた部分を取り出したものです。必要なものだけを取り出したデータに対して処理を行わせることで、処理するデータ容量を減らし、レスポンスを早める目的で用います。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です