IoT技術テキスト -MCPC IoTシステム技術検定 対応
今回はIoTシステム技術検定の試験対策として「第5章 IoTデータ活用技術」を中心にまとめます
Hadoop
大規模データの蓄積・分析を分散処理技術によって実現するフレームワーク
MapReduce
データを分類・仕分けするのがMap処理、仕分けされたデータごとに処理を施すのがReduce。
CEP
複合イベント処理。時系列に生み出されるデータを次々とリアルタイム処理する方式。
NoSQL(Key/Value型)
保存するデータをValueとして、ペアとなる一意のKeyを使ってValueの追加と呼出しを行う
NoSQL(ドキュメント)
JSON、XMLなどのフォーマットで記述されたデータを管理する。
NoSQL(グラフ)
データ間の関連性を管理可能。グラフ理論に基づくNoSQL。SNSなどの「ある人の友だちの友達」など互いの関連性を管理するときに利用されている。
Spark
Hadoopの後発として期待されるビッグデータ処理基盤。分散処理フレームワーク。