データ工学の歴史と今後

巷ではビッグデータが何年も注目を浴びています。ある大学の先生は2013年時点で「もうビッグデータは古い。」と言っていましたが、2017年になっても熱は冷めません、むしろ加速しています

ただ、ブームに飛びつくのはいいですが、『データを集めて分析して、で、それからどうするの?』という声もよく耳にします。

ちょうどいい機会だと思って、ビッグデータに至るまでのデータ工学の歴史を調査してみました。それが下の図です。


もともとマイニングとは『採掘』という意味の言葉で、データマイニングやテキストマイニングは『知識を取り出す』試みです。

2010年以降はデータマイニングを試みるものの、公知である当たり前の知識抽出しかできず、学会には『研究の結果、ラーメンの伸び具合と、麺のゆで時間には強い相関があるとわかった。』みたいな発表が散見される時期もありました。

ただ、IoT等の技術発展によりデータ量が爆発的に増加している近年では、データマイニングによって今までなかったような知識発掘への期待が高まっています。製造業や物流業界ではデータマイニングによって、気づかなかった無駄を発見&削減によって効率化を図ったりと、実績が出ています。

このような最適化が現在のデータマイニングの目指すところですね。




では、今後のデータ工学はどのような方向に進むのか?

有識者の方々からは自律社会、パブリックデータ(オープンデータ)などがキーワードとして挙げられています。が、私個人としてはデータの質を重視する流れが高まり、質の高いデータを収集する仕組み作りとデータクレンジング技術に注力するのではないかと思っています。

データの質と量についての議論はよくされていますが、結局両方必要です。ずいぶんデータ量が確保できるようになってきたので、そろそろ質も伴わねばならないフェーズに移行して来ていると私は考えています。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください