Early Stopping in Tensorflow
Early Stopping in Tensorflow
- 이번 Post에서는 Tensorflow의 Callbadk중 하나인, EarlyStopping에 대해서 알아보도록 하겠습니다.
0. Callback
Tensorflow에서 Train을 시작하는 함수인 .fit()을 호출하면 Tensorflow는 마치 브레이크 고장한 폭주 기관차와 같은 상태가 됩니다.
지정한 Epoch을 다 끝마칠 때까지 멈출수도 없고, 현재 상태가 어떤지 알수도 없으며
각종 Training관련 지표들(Loss , Accuracy 등등)이 어떻게 바뀌고 있는지 확인할 방법이 없습니다.
그래서 Tensorflow에서는 이렇게 Train이 진행되는 동안 다양한 제어 및 관찰을 할 수 있도록 다양한 Callback 기능을 구현해 두었습니다.
Tensorflow에서 지원하는 다양한 Callback들은 아래 Link에서 확인할 수 있습니다.
https://www.tensorflow.org/api_docs/python/tf/keras/callbacks
1. Early Stopping
그 중에서 이번 Post에서 알아볼 Callback은 EarlyStopping이라는 Callback입니다.
앞서 말했듯이, Train이 시작되면 Tensorflow는 .fit()에서 지정한 Epoch을 다 진행할 때까지 Train을 멈추지 않습니다.
그래서 어느 정도 Model의 성능이 나오는 시점이 되더라도 Train 중간에 멈출 수가 없습니다.
이 때 필요한 것이 Early Stopping Callback입니다.
EarlyStopping은 우리가 지정해준 특정 지표가 기준치에 도달하면 Train을 멈추도록 하는 역할을 합니다.
아래가 EarlyStopping Class입니다.
tf.keras.callbacks.EarlyStopping(
monitor='val_loss',
min_delta=0,
patience=0,
verbose=0,
mode='auto',
baseline=None,
restore_best_weights=False,
start_from_epoch=0
)
- monitor
- Monitoring할 값. 기본값은 ‘val_loss’
- min_delta
- 개선으로 간주될 Monitoring된 수량의 최소 변화량. 즉, min_delta보다 적은 절대적인 변화는 개선으로 간주되지 않습니다.
- 기본값은 0
- patience
- 개선이 없는 상태로 지속되는 Epoch 횟수. 이 횟수 이후에 훈련이 중단됩니다.
- 기본값은 0
- verbose
- 메시지 출력 모드, 0 또는 1. 0이면 아무런 메시지를 출력하지 않고, 1이면 Callback이 작동할 때 메시지를 출력합니다.
- 기본값은 0
- mode
- {“auto”, “min”, “max”} 중 하나.
- “min” 모드에서는 Monitoring되는 수량의 감소가 멈출 때 훈련이 중단됩니다.
- “max” 모드에서는 증가가 멈출 때 중단됩니다.
- “auto” 모드에서는 Monitoring되는 수량의 이름으로부터 방향이 자동으로 추론됩니다.
- 기본값은 ‘auto’
- baseline
- Monitoring되는 수량에 대한 기준값. 모델이 기준값보다 향상되지 않으면 훈련이 중단됩니다.
- 기본값은 None
- restore_best_weights
- Monitoring된 수량의 최적값을 가진 에폭에서 모델의 가중치를 복원할지 여부.
- False인 경우 훈련의 마지막 단계에서 얻은 모델 가중치가 사용됩니다.
- 기준에 상대적인 성능과 관계없이 Epoch이 복원됩니다.
- 어떤 Epoch도 기준을 향상시키지 않으면 훈련은 Patience Epoch동안 실행되고 해당 세트에서 최적의 Epoch의 가중치가 복원됩니다.
- 기본값은 False
- start_from_epoch
- 개선을 Monitoring하기 시작하기 전에 대기할 Epoch의 횟수.
- 이를 통해 초기에는 개선이 기대되지 않는 Warming Up 기간을 설정할 수 있으며, 이 기간 동안 훈련이 중단되지 않습니다.
- 기본값은 0
2. Example
MNIST Dataset의 Classification Example로 실제로 어떻게 사용하는지 확인해 보도록 하겠습니다.
- 필요한 Package를 Load합니다.
import tensorflow as tf
import tensorflow_datasets as tfds
- Train에 사용할 2개의 Dataset을 MNIST로 만듭니다.
(ds_train, ds_test), ds_info = tfds.load(
'mnist',
split=['train', 'test'],
shuffle_files=True,
as_supervised=True,
with_info=True,
)
print(type(ds_train))
[1mDownloading and preparing dataset Unknown size (download: Unknown size, generated: Unknown size, total: Unknown size) to C:\Users\Moon\tensorflow_datasets\mnist\3.0.1...[0m
Dl Completed...: 0 url [00:00, ? url/s]
Dl Size...: 0 MiB [00:00, ? MiB/s]
Extraction completed...: 0 file [00:00, ? file/s]
Generating splits...: 0%| | 0/2 [00:00<?, ? splits/s]
Generating train examples...: 0 examples [00:00, ? examples/s]
Shuffling C:\Users\Moon\tensorflow_datasets\mnist\3.0.1.incompleteXYPQ2U\mnist-train.tfrecord*...: 0%| …
Generating test examples...: 0 examples [00:00, ? examples/s]
Shuffling C:\Users\Moon\tensorflow_datasets\mnist\3.0.1.incompleteXYPQ2U\mnist-test.tfrecord*...: 0%| …
[1mDataset mnist downloaded and prepared to C:\Users\Moon\tensorflow_datasets\mnist\3.0.1. Subsequent calls will reuse this data.[0m
<class 'tensorflow.python.data.ops.dataset_ops.PrefetchDataset'>
- Image를 Preprocessing해서 Label과 같이 Return해주는 Mapping 함수를 만듭니다.
def normalize_img(image, label):
return tf.cast(image, tf.float32) / 255., label
- Train & Val. Dataset을 만듭니다. 좀 전에 만든 Mapping Function을 적용해 줍니다.
dataset_train = ds_train.map(normalize_img)
dataset_train = ds_train.batch(128)
dataset_test = ds_test.map(normalize_img)
dataset_test = ds_test.batch(128)
- Model 구조는 Simplie하게 만들어 줍시다.
model = tf.keras.models.Sequential([
tf.keras.layers.Flatten(input_shape=(28, 28)),
tf.keras.layers.Dense(128, activation='relu'),
tf.keras.layers.Dense(10)
])
- 작성한 Model을 Optimizer와 Loss Function 등을 정의해서 Compile해 줍니다.
model.compile(
optimizer=tf.keras.optimizers.Adam(0.006),
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=[tf.keras.metrics.SparseCategoricalAccuracy()],
)
- 자, 이제 드디어 Early Stopping을 정의합니다.
- 아래의 Example에서는 Monitoring할 값을 ‘loss’를 선택했습니다.
- 이 값은 Train Loss를 말합니다.
- ‘patience’값은 2로 설정했으며, 이는 2 Epoch이 지나도 Train Loss가 나아지지 않는다면 Train을 종료하라는 의미입니다.
callback = tf.keras.callbacks.EarlyStopping(monitor='loss', patience=2)
- ‘monitor’ 값에 들어갈 수 있는 값들은 다음과 같은 것들이 있습니다.
- loss : Train Dataset의 Loss 값
- val_loss : Validation Dataset의 Loss 값
- acc : Train Dataset의 Accuracy 값
- val_acc : Validation Dataset의 Accuracy 값
- 저는 주로 val_loss을 많이 사용하는데, 상황에 맞게 적절한 값을 사용하시면 됩니다.
- 이제 fit()을 호출할 때, callback=[] 이라는 Parameter에 사용할 Callback들을 추가해 주면 됩니다.
- 이번 Example에서는 EarlyStopping만 사용했기 때문에 EarlyStopping Callback만 추가된 모습을 볼 수 있습니다.
history = model.fit(
dataset_train,
epochs=100,
validation_data=dataset_test,
callbacks=[callback]
)
print(len(history.history['loss']))
Epoch 1/100
469/469 [==============================] - 4s 5ms/step - loss: 4.8275 - sparse_categorical_accuracy: 0.7964 - val_loss: 0.5860 - val_sparse_categorical_accuracy: 0.8636
Epoch 2/100
469/469 [==============================] - 2s 4ms/step - loss: 0.4836 - sparse_categorical_accuracy: 0.8838 - val_loss: 0.4888 - val_sparse_categorical_accuracy: 0.8925
Epoch 3/100
469/469 [==============================] - 2s 4ms/step - loss: 0.3803 - sparse_categorical_accuracy: 0.9041 - val_loss: 0.4292 - val_sparse_categorical_accuracy: 0.9078
Epoch 4/100
469/469 [==============================] - 2s 4ms/step - loss: 0.3369 - sparse_categorical_accuracy: 0.9140 - val_loss: 0.3596 - val_sparse_categorical_accuracy: 0.9195
Epoch 5/100
469/469 [==============================] - 2s 4ms/step - loss: 0.3433 - sparse_categorical_accuracy: 0.9141 - val_loss: 0.3465 - val_sparse_categorical_accuracy: 0.9153
Epoch 6/100
469/469 [==============================] - 2s 4ms/step - loss: 0.3428 - sparse_categorical_accuracy: 0.9160 - val_loss: 0.4269 - val_sparse_categorical_accuracy: 0.8972
6
- 각 Epoch마다 Train Loss를 잘 보시면, 4번째 Epoch에서 Loss가 0.3369를 기록하고 그 다음 2번의 Epoch에서 더 이상 Loss가 줄어들지 않았습니다.
- 이 조건이 Early Stopping 조건을 만족했기 때문에 Train이 자동으로 멈추었습니다.