変化点検出ChangeFinderのインストール＆動かしてみた①

こんばんは、ロードローラーです。

今日は変化点検出を試したので紹介します。

IoTでデータを取得できる場面は広がりました。特に多いのが正常／異常を検出したいといった取り組みですが、いずれも「What is 異常？」を定義できずに悩んでいるようです。

そんな状況で私が注目したのが変化点検出のChangeFinder。これは「具体的にはわからないけど何かしら変化があった。」という瞬間を検出をする処理です。閾値処理のように高周波な変化やノイズに反応しにくく、傾向の変化を捉えるので、サンプルデータを入手しにくく定義困難な異常の検出に向いています。

インストール方法

私が実行した環境はUbuntu14.04です。以下を実行すればOKです。

pip install changefinder

1	pip install changefinder

が、しかし、これだけでは動かないこともあります。だいたいこのあたりを追加すれば動きます。（うろ覚えでスイマセン。。。）

<span class="go">pip install numpy</span>
<span class="go">pip install scipy
</span>pip install matplotlib

<span class="go">pip install numpy</span>

<span class="go">pip install scipy

</span>pip install matplotlib

サンプルソースと実行結果

ガウス分布で疑似的にデータを作り出してChangeFinderするサンプルがよく公開されてます。ソースと実行結果は以下の通り。

※ChangeFinder.py

import matplotlib.pyplot as plt
import changefinder
import numpy as np
data=np.concatenate([
np.random.normal(0.6, 0.05, 300),
np.random.normal(1.7, 0.05, 300),
np.random.normal(0.5, 0.05, 300),
np.random.normal(1.2, 0.05, 300)
])

cf = changefinder.ChangeFinder(r=0.01, order=1, smooth=7)

ret = []
for i in data:
    score = cf.update(i)
    ret.append(score)

fig = plt.figure()
ax = fig.add_subplot(111)
ax.plot(ret)
ax2 = ax.twinx()
ax2.plot(data,'r')
plt.show()

※ChangeFinder.py

import matplotlib.pyplot as plt

import changefinder

import numpy as np

data=np.concatenate([

np.random.normal(0.6, 0.05, 300),

np.random.normal(1.7, 0.05, 300),

np.random.normal(0.5, 0.05, 300),

np.random.normal(1.2, 0.05, 300)

])

cf = changefinder.ChangeFinder(r=0.01, order=1, smooth=7)

ret = []

for i in data:

score = cf.update(i)

ret.append(score)

fig = plt.figure()

ax = fig.add_subplot(111)

ax.plot(ret)

ax2 = ax.twinx()

ax2.plot(data,'r')

plt.show()

赤色がデータ値、青色がChangeFinder結果。データ値（赤色）の高周波な変動には反応せず、元となるガウス分布が変化しときにChangeFinder（青色）が反応しているのがわかります。こういった「そもそものデータ発生源の傾向変化」は単純な閾値処理では検出できません。

手持ちのデータに適用してみた

これだけじゃ面白くないので適当に採取したデータにChangeFinderを実行してみました。csvファイルを読み込んで実行するようにpythonプログラムを少々変更しています。

※ChangeFinderCSV.py import matplotlib.pyplot as plt import changefinder import numpy as np import csv import pandas as pd import datetime data=[] time=[] f = open('data20170422.csv', 'rb') dataReader = csv.reader(f) fieldnames = next(dataReader) for row in dataReader: #print row data.append(float(row[0])) time.append(datetime.time(int(row[5]),int(row[6]),0,0)) cf = changefinder.ChangeFinder(r=0.01, order=1, smooth=15) ret = [] for i in data: score = cf.update(i) ret.append(score) fig = plt.figure() #１画面フルに表示する ax1 = fig.add_subplot(111) ax1.set_title('Change Finder') ax1.plot(time, ret, color = 'g', label='ChangeFinder') #ax2をax1に関連付ける ax2 = ax1.twinx() ax2.plot(time,data,color = 'r', label = 'Noise') plt.subplots_adjust(hspace=0.7,bottom=0.2) plt.show()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

※ChangeFinderCSV.py
import matplotlib.pyplot as plt
import changefinder
import numpy as np
import csv
import pandas as pd
import datetime

data=[]
time=[]
f = open('data20170422.csv', 'rb')
dataReader = csv.reader(f)
fieldnames = next(dataReader)
for row in dataReader:
#print row
data.append(float(row[0]))
time.append(datetime.time(int(row[5]),int(row[6]),0,0))

cf = changefinder.ChangeFinder(r=0.01, order=1, smooth=15)

ret = []
for i in data:
score = cf.update(i)
ret.append(score)

fig = plt.figure()

#１画面フルに表示する

ax1 = fig.add_subplot(111)
ax1.set_title('Change Finder')
ax1.plot(time, ret, color = 'g', label='ChangeFinder')
#ax2をax1に関連付ける
ax2 = ax1.twinx()
ax2.plot(time,data,color = 'r', label = 'Noise')

plt.subplots_adjust(hspace=0.7,bottom=0.2)
plt.show()

対象データは、とある楽曲演奏時のdB値を加工したものです。イントロ⇒メロ⇒サビといった雰囲気の変化を「やかましさの傾向変化」でキャッチできないかなという実験です。

う～ん、微妙。。。07:00:00と22:00:00にサビで盛り上がる場面がくるのですが、捉えられているといえば捉えられてる・・・か？？

ここから先はChangeFinderの３パラメータ調節が必要そうですね。このあたりはまた次回に調べてみます。

それではまた

2017年5月6日2017年5月21日

クラウドの対義語「オンプレ」とは？　～その１～

こんにちは、ロードローラーです。今日は「オンプレ」について整理してみました。

普段からIoTやデータ分析に携わっている私ですが、あるとき「で？オンプレとクラウドとどっちが適切なの？」と質問されてΣ(ﾟдﾟ) ｴｯ!?っとなった次第です。

まずは、オンプレの定義から確認しますね。

オンプレミス【 on-premises 】自社運用：
組織における情報システムの設置形態の分類。クラウドの普及に伴って対義語として広まった呼称がオンプレ。

想像ですが、一昔前はなんでもかんでもオンプレ型で運用していて、クラウドの登場によって皆がどんどんクラウド型に移行した。しかしその後、やはりクラウド型だけでなくオンプレ型も使いこなさなければならない事情が出てきたのだと思います。クラウドとオンプレをハイブリッドに使いこなすためのサービスも次々と登場しているくらいですからね。

そしておそらく、大きな理由は①セキュリティと②データ量の増大かと。。。IoTやセンシング技術の発展によってデータ量は膨大になりましたし、個人情報を含んだデリケートな情報も増えてますからね。

企業様は導入や拡張が容易なクラウドを活用したいものの、セキュリティ観点や従量課金制の料金モデルを背景にオンプレも使いこなさなければならない状態なのだと思います。

＜クラウドとオンプレの比較＞

クラウド型
・外部の事業者が用意した機材やソフトウェアを通信回線を経由して利用する
・遠隔地の機器との通信に伴う通信遅延や通信障害が発生する
・機密情報を他社の機器上に保管することになる
・提供される構成や機能でしか利用できない
・導入が用意
・初期費用が低い
・拡張しやすい

オンプレミス型
・自社に機器を設置してシステム運用する
・自社内の機器を利用するので通信遅延等の心配なし。
・機密情報を自社の機器上に保管できるので安心
・構成や機能を自由にカスタマイズ可能
・導入に時間がかかる
・初期費用が高くつきやすい
・拡張や変更に手間がかかる

とりあえず今日はここまで

2017年5月4日2017年5月21日

XREAへのWordPress設置方法と「500 Internal Server Error」への対応方法

XREAへのWordPress設置もずいぶんと簡単になったもので、わざわざ公式サイトからzipを落としたりせずとも、XREAサイトからボタンクリックで設置できるようになってしまった。手順は次の通り

XREA.COMの旧コンパネへアクセス
管理メニューから「データベース」を選択
事前にデータベースを作成しておく（※７で必要になる）
管理メニューから「CGIインストール」を選択
設置場所・パスを指定してWordPressインストール
インストール先のURLを開く
設定画面が表示されるのでユーザ名やデータベースやパスワードを設定

たったのこれだけである

が、しかし

どうやら手順７にて「500 Internal Server Error」が表示されるとの被害届が続出らしい。だいたいは”.htaccess”が原因なので編集すれば解決らしいが私の場合はパターンが異なった。”.htaccess”関連をいじっても解決されなかった人々に参考にしてほしい。では対処法を記す。

XREA.COMの旧コンパネへアクセス
管理メニューから「マイドメイン利用」「└PHP設定」を選択
「バージョン選択」でPHPのバージョンを新しいものに変更する
「PHP設定」ボタンを押下するのを忘れないこと

どうやらPHPバージョンが古いと「500 Internal Server Error」が出るようである。

以上。

2017年5月3日2017年5月21日

ベルリン観光　～実際に行って思ったオススメ観光地～

こんにちは、ロードローラーです。
今回はドイツの観光都市”ベルリン”についてご紹介します。

ググれば観光スポットが大量に紹介されますが、むしろ多すぎて「どないしょ(´・ω・`)？」となりますよね。そこで、私が実際に行ってみて気に入った場所を紹介します。旅のプランニングに役立てて頂ければ幸いです。

①ベルリン中央駅

ガラス張りの立体構造の施設で非常に美しい。
日本からの旅行者は改札機がないことに驚く。
人通りが多く治安もよい。夜食など安心して買いに来れる。

いきなり１発目が公共施設で「なんでやねん！」となるかもしれませんが絶対に見て頂きたいスポットです。そもそも、ヨーロッパでは駅そのものが観光地であることは珍しくないのです。例えば有名建築家によるリノベーションを受けたアントワープ駅＠ベルギーは「世界一美しい」の称号を得ています。同様にベルリン中央駅もガラス張りで立体的な構造が非常に美しく、そこらの観光地に引けを取りません（主観込）。

また、ベルリン中央駅は最も”商業施設との融合”に成功した例としても注目されています。立体的構造ゆえの見渡しの良さ、スムーズな人の流れ、店舗の並び、全てが計算されている様は芸術的です。

中央駅のためベルリン観光時はここを経由することがほとんどです。どうか出発を急ぐ気持ちをグッとこらえて、目の前に広がる構内の美しさを感じてください。
f:id:RoadrollerDA:20170423125615j:plain 　 f:id:RoadrollerDA:20170423120744j:plain

余談ですが同伴者の第一声は「ファイナルファンタジーに出てきそう！」でした。( ´_ゝ｀)ﾇｰﾝ

②ブランデンブルク門

ベルリン中央駅から観光地に向かうとき、おそらく必然的に経由する場所です。朝と夜で雰囲気が大違いのため、行きと帰りで２度見れるようにプランを立ててください。ブランデンブルク門の周辺は大通りばかりで人通りも多いため、夜の姿となったブランデンブルク門も安心して見られます。

f:id:RoadrollerDA:20170423120755j:plain 　　 f:id:RoadrollerDA:20170423122736j:plain

③ベルリン大聖堂

さて、ブランデンブルク門を抜けてどこに向かうかというとベルリン大聖堂がおすすめです。近所には世界遺産登録された博物館もありますが事前予約しないとチケット購入にずいぶん並ぶ、期間によっては工事修復中で一部の展示物が見られないなど、ちょっぴりリスキーで面倒です。

一方でベルリン大聖堂は入場もスムーズで、美しいステンドグラスの観賞や高所からベルリンの街並みを一望できるなど、事前知識なしでも楽しみやすい要素が一杯です。

f:id:RoadrollerDA:20170423120817j:plain 　 f:id:RoadrollerDA:20170423123547j:plain

ちなみにベルリン大聖堂のトイレは有料でした、博物館では無料だったのに……（※チップ制なのでトイレは基本的に有料が多い）

④ニコライ協会(テディベア)

やっぱりベルリンで人気のお土産はテディベア。赤の市庁舎から近くにあるニコライ教会付近はテディベア激戦区となっており数々のテディベアが販売されています（写真左は私が実際に購入したクマさん）。10EUR～200EURといった具合に値段も質もサイズも、もちろん種類も様々。お土産用にも自分用にもお気に入りのテディベアを探してください。

なお、中にはベルリン出身ではないテディベアを扱っている店舗もあります。ベルリン観光のお土産にベルリンベアをお求めの方はご注意ください。ホントかどうか半信半疑ですが店員さん曰く「冠をしているクマさんがベルリンベア」とのこと。

f:id:RoadrollerDA:20170423125957j:plain 　 f:id:RoadrollerDA:20170423120827j:plain

⑤ベルリンの壁（イーストサイドギャラリー）

ベルリンといえばこちらを思い浮かべる方も多いかもしれません。私としては「せっかくベルリンに来たのだから見ておきたい」という方にのみオススメします。というのも川沿いでイベントをたまにやっているくらいで他には特に何もなく、他観光地に比べてここだけ非常に遠いからです。アクセスには徒歩ではなく電車等をご検討ください。

f:id:RoadrollerDA:20170423120837j:plain

読んでくださりありがとうございました。

京都の技術者ロードローラーさんのブログ

投稿