目次
データサイエンティストはITエンジニアXデータ分析官X経営コンサルタント
データサイエンティストはただデータを分析するだけではありません。どのように分析してどのような結論を導くかという事には経営の視点が必要になります。
データ・サイエンティストとは、人の処理能力をはるかに超える膨大なデータを、情報処理基盤を駆使して最適な解を発見するだけでなく、さらにそこから現実の成果へとつなげる者。いわば、ITエンジニアとデータ分析官を組み合わせ、さらに経営コンサルタントを掛け合わせたような存在といえる。
(http://engineer.typemag.jp/article/accenture-kudou より)
データサイエンティスト、データマイナー、データ分析官の違いは?
まだあまり区別して呼ばれていませんが、データサイエンティストは経営コンサルティングにも踏み込んだ仕事をこなす仕事のようです。
データサイエンティストは新しい職種です。日本ではデータサイエンティスト協会が2013年に発足しています。統計解析ソフト会社SAS社や、電通、IBM、博報堂、ヤフーなどがメンバーとなっています。
データサイエンティストは需要不足。アメリカでは2018年に19万人不足するとの予想
米McKinsey & CompanyがMcKinsey Global Instituteのレポートで公表した見通しがよく引き合いに出される。2018年に米国のIT労働市場で19万人のデータサイエンティストが不足する
(http://itpro.nikkeibp.co.jp/article/IDG/20130522/478663/ より)
データマイニングとは何をすること?
単純に言えば、統計解析(パラメタ間の相関の検出など)を行って、意味のある情報をデータから掘り起こしてくることです。「マイニング」とは英語のminingで、採掘するという意味です。
類似の言葉にテキストマイニングという言葉がありますが、これは元データを文字列に絞ったデータマイニングです。テキストマイニングは自然言語の意味の理解という問題になってくるので、人工知能の研究者の取り組むテーマの一つでもあります。
データマイニングの事例
ビールと紙おむつ
スーパーでで客の買った物を分析したら、紙おむつを買う人はビールを買うことが多い、という傾向が出てきた、ということです。この、「紙おむつを買う人はビールを買うことが多い」というのがある種の知識なのです。このような知識をデータの中から機械的に、自動的に見つけよう、というのがデータマイニングです。(http://research.nii.ac.jp/~uno/datamine.htm より)
(http://www.shlab.jp/?p=43 より)
オークションサイトの不正利用を検出
普段は低額商品の落札ばかりで出品経験がないユーザーが突然ノートPC 30台を出品した場合、「他人によるIDの不正利用」「高評価を得る偽装工作をした上で詐欺出品」の可能性が高い、と判断する。
(http://www.itmedia.co.jp/news/articles/0511/14/news068.html より)
ローン審査の支援
スコアリングを行なうことで融資可否の判定を行うシステム(http://pr.fujitsu.com/jp/news/2001/12/14-1.html より)
未知のウィルス、ワームを検出
NECは4月16日、通常のパターンから外れる異常行動を分析し、未知のワームやなりすまし行為、障害を高精度で検出するデータマイニングエンジン「AccessTracer」を開発したことを発表
(http://www.itmedia.co.jp/enterprise/0404/16/epn17.html より)
データサイエンティストはどこにいるの?
データサイエンティストの一部は統計解析ソフトなどを用いて、よりよいマーケティングを行うために情報を分析する仕事ですので、企業のマーケティング部門にそのスキルを持った方々がいます。広告関連の部門も広告とその効果の分析を行うことからその部門にもその技術をお持ちの方々がいます。また、製造や開発に関連する部分では、品質保証関連部門にも解析を行う方々がいます。また、経営コンサルタントは事業に関するデータを分析して提案を行うお仕事ですのでその領域でスキルをお持ちの方がいます。
スキルのコアがデータの分析であったとしても、このようにばらばらの部門に分散して存在しており、統一的な呼び名がなかったのがデータサイエンティストであるといえるでしょう。
IoTで世界の情報がデータ化され、データ分析者の扱うべきデータの量と種類が増え、この職種に求められるものが、より横断的で経営的な観点と、より高い分析技術となってゆくでしょう。その流れの中ではデータを分析する仕事を行う人が「データサイエンティスト」としてある一つの職種として認知さてゆくことでしょう。
今後はデータサイエンティスト部門を持つ企業が増えてゆくかもしれません。
データサイエンティストに関連する資格
統計検定
2011年に発足した、総務省後援の資格です。4級から1級までがあります。大学の教養レベルが2級とありますので、それよりも低い4級などはかなり挑戦しやすい資格といえるでしょう。
データサイエンティスト協会による講座
資格ではありませんが、データサイエンティスト協会では勉強会を開催しています。
データマイニングのためのソフトウェアや言語
統計解析を行うソフトとして下記のようなものがあります。データサイエンティストはこのようなものを駆使してデータを活用してゆきます。
- SPSS
- R
- Hadoop