京都の技術者ロードローラーさんのブログ

2018年12月5日2018年12月5日

Pythonでテキストを１行ずつ読み込む

なんかいっつもググってる気がするのでメモしておく

with open(src_file,'r') as f:
    for row in f:
        print(row)
        data = row.split(",") #csvの場合
        print(data)

with open(src_file,'r') as f:

for row in f:

print(row)

data = row.split(",") #csvの場合

print(data)

以上

2018年11月14日2018年11月14日

ValueError: An operation has `None` for gradient. Please make sure that all of your ops have a gradient defined (i.e. are differentiable). Common ops without gradient: K.argmax, K.round, K.eval.

Q.「kerasで次のErrorがでるときの対処」

ValueError: An operation has `None` for gradient. Please make sure that all of your ops have a gradient defined (i.e. are differentiable). Common ops without gradient: K.argmax, K.round, K.eval.

1	ValueError: An operation has `None` for gradient. Please make sure that all of your ops have a gradient defined (i.e. are differentiable). Common ops without gradient: K.argmax, K.round, K.eval.

A.「原因はlossを計算するときに通過していないlayerが存在すること」

特に分岐型のネットワークを組んだときに発生しやすいです。Classificationタスクのニューラスネットワークを組んで、自己教示学習やAutoencoderで中間層を事前に学習するときに、classificationのlossを設定していないとClassification部分で「勾配が計算できません！」と怒られるわけです。

とはいっても、事前学習のときにはClassification部分を学習せさたくないのどうするか？

こんなときはloss-weightをゼロにしたり、常にゼロをreturnするダミーのloss関数を用意しておきましょう。

2018年8月2日2018年8月2日

How to Display image as grayscale using matplotlib ??

# image data shape (7438, 1, 28, 28)  
# 7438samples, 1ch, 28x28

import cv2
n = train_x[0][0].astype(np.float_)
n = np.log(n + 1.) * (255. / math.log(256))
n = n.astype(np.uint8) # float to uint8
plt.gray()    
plt.imshow(n, cmap='gray')    
plt.show()

# image data shape (7438, 1, 28, 28)

# 7438samples, 1ch, 28x28

import cv2

n = train_x[0][0].astype(np.float_)

n = np.log(n + 1.) * (255. / math.log(256))

n = n.astype(np.uint8) # float to uint8

plt.gray()

plt.imshow(n, cmap='gray')

plt.show()

2018年8月2日2018年8月2日

(MNIST) How to read ‘mnist.pkl.gz’ ?

f = gzip.open('../data/mnist.pkl.gz', 'rb')
training_data, validation_data, test_data = cPickle.load(f,encoding='latin1')
f.close()

f = gzip.open('../data/mnist.pkl.gz', 'rb')

training_data, validation_data, test_data = cPickle.load(f,encoding='latin1')

f.close()

2018年8月2日

How to install cPickle on Python3 ? # NameError: name ‘cPickle’ is not defined

# NameError: name ‘cPickle’ is not defined

‘cPickle’ can work only on Python2. It doesn’t work on Python3. You should do like this.

#import cPickle 
import _pickle as cPickle

1 2	#import cPickle import _pickle as cPickle

2018年8月1日2018年8月1日

UserWarning: Discrepancy between trainable weights and collected trainable weights, did you set `model.trainable` without calling `model.compile` after ? ‘Discrepancy between trainable weights and collected trainable’

UserWarning: Discrepancy between trainable weights and collected trainable weights, did you set model.trainable without calling model.compile after ? 'Discrepancy between trainable weights and collected trainable'

Solution: You should define layers before define models, and setting ‘trainable’ each time

# F: FeatureExtractor (=G: Generator)
f1_dense = Dense(emb_dim, input_shape=(128,vocab_size,), name='F_1')
f2_activation = Activation('relu') 
f3_lstm = LSTM(hid_dim,return_sequences=False, name='F_3')
f4_activation = Activation('relu')
# D: Discriminator
d1_dense = Dense(1, input_shape=(hid_dim,))
d2_activation = Activation('sigmoid')
  
def design_model_GAN_for_train_F():
    f1_dense.trainable = True
    f3_lstm.trainable = True
    d1_dense.trainable = False
    
    inputs  = Input(shape=(128,vocab_size,))    
    y       = f1_dense(inputs)
    y       = f2_activation(y)
    y       = f3_lstm(y)
    y       = f4_activation(y)
    y       = d1_dense(y)
    outputs = d2_activation(y)
    
    model = Model(inputs=inputs, outputs=outputs)
    model.compile(optimizer=Adam(lr=1e-3, beta_1=0.1), loss='binary_crossentropy')
    return model

def design_model_GAN_for_train_D():
    f1_dense.trainable = False
    f3_lstm.trainable = False
    d1_dense.trainable = True

    inputs  = Input(shape=(128,vocab_size,))    
    y       = f1_dense(inputs)
    y       = f2_activation(y)
    y       = f3_lstm(y)
    y       = f4_activation(y)
    y       = d1_dense(y)
    outputs = d2_activation(y)
    
    model = Model(inputs=inputs, outputs=outputs)
    model.compile(optimizer=Adam(lr=1e-3, beta_1=0.1), loss='binary_crossentropy')    
    return model

# F: FeatureExtractor (=G: Generator)

f1_dense = Dense(emb_dim, input_shape=(128,vocab_size,), name='F_1')

f2_activation = Activation('relu')

f3_lstm = LSTM(hid_dim,return_sequences=False, name='F_3')

f4_activation = Activation('relu')

# D: Discriminator

d1_dense = Dense(1, input_shape=(hid_dim,))

d2_activation = Activation('sigmoid')

def design_model_GAN_for_train_F():

f1_dense.trainable = True

f3_lstm.trainable = True

d1_dense.trainable = False

inputs = Input(shape=(128,vocab_size,))

y = f1_dense(inputs)

y = f2_activation(y)

y = f3_lstm(y)

y = f4_activation(y)

y = d1_dense(y)

outputs = d2_activation(y)

model = Model(inputs=inputs, outputs=outputs)

model.compile(optimizer=Adam(lr=1e-3, beta_1=0.1), loss='binary_crossentropy')

return model

def design_model_GAN_for_train_D():

f1_dense.trainable = False

f3_lstm.trainable = False

d1_dense.trainable = True

inputs = Input(shape=(128,vocab_size,))

y = f1_dense(inputs)

y = f2_activation(y)

y = f3_lstm(y)

y = f4_activation(y)

y = d1_dense(y)

outputs = d2_activation(y)

model = Model(inputs=inputs, outputs=outputs)

model.compile(optimizer=Adam(lr=1e-3, beta_1=0.1), loss='binary_crossentropy')

return model

2018年8月1日2018年8月1日

Pytorchをpipでインストール

次のサイトにいって、自身の環境を入力すれば、条件に合わせたpipコマンドが発行されます

Pytorch Install （https://pytorch.org/）

2018年7月31日2018年7月31日

kerasで複数の出力とLOSS関数を持つモデルを生成

ClassificationだったりReconstructionだたり１つのモデルで２つ以上の出力やLOSS関数を適応したモデルが近年は増えてきました。となると次のような実装が必要になってきます。

・１つのモデルで複数の値を出力したい

・モデルの複数出力に異なるLOSS関数を設けたい

Kerasだと簡単に実装できます。

inputs = Input(shape=(128,input_dim,))    
      ~~中略~~
y = Dense(PREDICT_DIM, input_shape=(hid_dim,))(y)
outputs1 = Activation('sigmoid')(y)
outputs2 = Activation('softmax')(y)

model = Model(inputs=inputs, outputs=[outputs1, outputs2])
model.compile(optimizer=Adam(lr=0.005, beta_1=0.5), 
              loss=(['mean_squared_error', 'mean_squared_error']),
              loss_weights=([0.7, 0.3]),
              metrics=['accuracy'])

model, history = estimate_model(model, train_x, [train_y, train_x], test_x, [test_y, test_x])

inputs = Input(shape=(128,input_dim,))

~~中略~~

y = Dense(PREDICT_DIM, input_shape=(hid_dim,))(y)

outputs1 = Activation('sigmoid')(y)

outputs2 = Activation('softmax')(y)

model = Model(inputs=inputs, outputs=[outputs1, outputs2])

model.compile(optimizer=Adam(lr=0.005, beta_1=0.5),

loss=(['mean_squared_error', 'mean_squared_error']),

loss_weights=([0.7, 0.3]),

metrics=['accuracy'])

model, history = estimate_model(model, train_x, [train_y, train_x], test_x, [test_y, test_x])

2018年7月30日2018年7月30日

XREAサーバのSSL化

条件

XREAサーバを利用中
VALUE-DOMAINで独自ドメインを登録済
WordPressを使用

設定その１

XREA.COMの旧コンパネのメニューから「ドメインウェブ」を開く
Mainに「blank」、SSL用ドメインのSub6に独自ドメインを設定（私の場合は「r2d.info」）
「すべてのドメインでAレコードのチェックを行わない(強制設定)」のチェックを外す
「ドメイン設定」

設定その２

XREA.COMの新コンパネのメニューから「サイト設定」を開く
独自ドメインの方で「サイト設定の変更」
同期設定⇒「する」
SSL⇒「無料SSL」
「サイト設定を変更する」
20分ほど待つ

最後に、WordPressプラグインのReally Simple SSLをインストールして有効化すれば完了です

2018年7月28日2018年7月28日

ICML2018読み会に参加しました

DeNA主催のICML2018読み会に参加してきました（https://connpass.com/event/92705/）

感想を３行でまとめると

・GANが大人気

・NAS（neural architecture search）も人気

・パラメータ黒魔術な研究がちょいちょいある

渋谷ヒカリエのDeNA様のオフィスで開催

特に気になった発表が２つ、１つ目はコチラ

Learning Semantic Representations for Unsupervised Domain Adaptation

Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介 from Tsukasa Takagi

Domain Adaptationの手法で、Source-DomainのClassificationのLOSSや、抽出した特徴量に対するAdversarial Lossなどを用いるあたりは従来通りですが、異なるドメインの同じクラス同士で重心が似通うようにLOSS関数を追加した点がキーアイデアです。

が、各LOSSについて学習する順番や、学習する量など、ハイパーパラメータがむっちゃ重要なのでは？と思って質問してみたら、やはり想像通りというか、再現実装をしているけども思い通りには行っていないとのこと。

やはりちょっと黒魔術の香りがしますね。

あと、重心を近づけるという話でしたが、クラス数が多くなると提案手法の有効性が弱まるのではと思いました。これについてもディスカッションしましたが、論文では明確な実験検証は特になかったのでクローズ。

ICML2018読み会でLearning Semantic Representations for Unsupervised Domain Adaptationを紹介します。 #icml2018jp https://t.co/aebMUNXZLX

— t2kasa (@__t2kasa__) 2018年7月28日

#icml2018jp
質問させていただいた。やはりパラメータに黒魔術の香りが、、、

おおむね想像通りで納得。丁寧な解説と回答、ディスカッションに感謝申し上げます。（まだアカウントフォローできてませんが）

— 岡本大和 on ﾛｰﾄﾞﾛｰﾗｰ (@RoadRoller_DESU) 2018年7月28日

もう１件がコチラ

Efficient Neural Architecture Search via Parameters Sharing

Efficient Neural Architecture Search via Parameters Sharing @ ICML2018読み会 from tomohiro kato

Neural Networkを生成するNeural Networkの話ですね。もともとはNeural Architecture Search with reinforcement learning（NAS）という手法で、複数種類の異なる構造を持つネットワークを量産してはどの構造が最適なのか探索していくという手法で、計算時間が膨大過ぎて、それを解消する方向で検証が進んできたというものです。

NASについてはコチラに自分でまとめた資料があります、奇しくもちょうど私も勉強中でした。。。

neural architecture search with reinforcement learning from Yamato OKAMOTO

これ、Controllerについて大きな誤解をしていたんですが、INPUTは無しで、学習可能なパラメータとして用意されているんですね。

そしてネットワーク構造を決める確率分布がLSTMから決定論的に算出されて、算出された分布から確率論的にネットワークを量産するという仕組みでした。

私はてっきりGANのようにNoiseをINPUTするものとばかり…

なぜ入力をランダムにするのではなく、確率分布に基づいてネットワークを量産するのかというと、後者の方が学習した結果「コレがよさそうだ」と思われる構造を中心に、近い構造を持つ亜種が量産されるからです。ランダムに生成して期待外れのネットワークが生成されるよりも遥かに探索が効率的です。

アーキテクチャをサンプルするときが確率的ということだったんですね、そこを誤解していました。フォローありがとうございます。

— 岡本大和 on ﾛｰﾄﾞﾛｰﾗｰ (@RoadRoller_DESU) 2018年7月28日

こういう質疑応答ができるのが勉強会のありがたいところですね。「聞くは一時の恥聞かぬは一生の恥」です。質問してよかった。

普段は慣れない音声合成の研究論文も紹介して頂き、後から気になった点をTwitterで質問させて頂きました。

入力も出力も、同じ波形の時刻違いです。公式ブログの図が分かりやすいかと思います。背景は、途中で紹介した@nanTosaka2さんの図が分かりやすいですが、音響特徴量を波形に戻すのが主です。https://t.co/gbk2wRpvoa

— dhgrs (@__dhgrs__) 2018年7月28日

月	火	水	木	金	土	日
« 1月
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28