Hyper Parameters Optimization を使用してディープラーニングのハイパーパラメータを自動調整する#
ディープラーニングでは、最良の結果を得るために多くの調整パラメータが必要です。この問題を解決するために、Tree of Parzen Estimators (TPE)、Random Search、Grid Search、Bayesian Optimization など、さまざまなアルゴリズムを使用してハイパーパラメータを自動調整するチームがあります。
偶然にも、Python には hyperopt というパッケージがあり、Keras ニューラルネットワークフレームワークでhyperasとして実装されています。
使用方法は以下の通りです。
from __future__ import print_function
from hyperopt import Trials, STATUS_OK, tpe
from keras.datasets import mnist
from keras.layers.core import Dense, Dropout, Activation
from keras.models import Sequential
from keras.utils import np_utils
from hyperas import optim
from hyperas.distributions import choice, uniform, conditional
def data():
"""
データ提供関数：
この関数はmodel()とは別に分離されているため、hyperoptは各評価ランにデータを再読み込みしないようになっています。
"""
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(60000, 784)
x_test = x_test.reshape(10000, 784)
x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
nb_classes = 10
y_train = np_utils.to_categorical(y_train, nb_classes)
y_test = np_utils.to_categorical(y_test, nb_classes)
return x_train, y_train, x_test, y_test
def model(x_train, y_train, x_test, y_test):
"""
モデル提供関数：
必要に応じて二重中括弧を使用してKerasモデルを作成します。
戻り値は、次の2つの標準的なキーを持つ有効なPython辞書である必要があります：
- loss：最小化する数値評価メトリックを指定します
- status：実現不可能な場合はSTATUS_OKを使用し、hyperoptのドキュメントを参照してください
最後のものはオプションですが、お勧めです：
- model：後で再利用できるように、作成したモデルを指定します。
"""
model = Sequential()
model.add(Dense(512, input_shape=(784,)))
model.add(Activation('relu'))
model.add(Dropout({{uniform(0, 1)}}))
model.add(Dense({{choice([256, 512, 1024])}}))
model.add(Activation({{choice(['relu', 'sigmoid'])}}))
model.add(Dropout({{uniform(0, 1)}}))
# 'four'を選択した場合、追加の第4層を追加します
if conditional({{choice(['three', 'four'])}}) == 'four':
model.add(Dense(100))
# レイヤーの完全なセットからも選択できます
model.add({{choice([Dropout(0.5), Activation('linear')])}})
model.add(Activation('relu'))
model.add(Dense(10))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', metrics=['accuracy'],
optimizer={{choice(['rmsprop', 'adam', 'sgd'])}})
model.fit(x_train, y_train,
batch_size={{choice([64, 128])}},
epochs=1,
verbose=2,
validation_data=(x_test, y_test))
score, acc = model.evaluate(x_test, y_test, verbose=0)
print('Test accuracy:', acc)
return {'loss': -acc, 'status': STATUS_OK, 'model': model}
if __name__ == '__main__':
best_run, best_model = optim.minimize(model=model,
data=data,
algo=tpe.suggest,
max_evals=5,
trials=Trials())
X_train, Y_train, X_test, Y_test = data()
print("最も性能の良いモデルの評価:")
print(best_model.evaluate(X_test, Y_test))
print("最も性能の良いモデルの選択されたハイパーパラメータ:")
print(best_run)
モデル中には {{}} に似た書き方があり、ハイパーパラメータの設定ができます。最後の optim.minimize では、最大で 5 回の完全なトレーニング評価が実行され、自動調整された最適なパラメータの結果が出力されます。非常に簡単な使用方法です。
調整できる項目は非常に多く、機械がレイヤーを追加したり削除したりすることもできます。また、さまざまな最適化関数を設定することもできます。システムがニューラルネットワークのために自動的に選択します。