Epochs 와 Batch Size

epochs와 batch_size는 신경망을 훈련할 때 사용되는 두 가지 중요한 하이퍼파라미터입니다.
이들의 역할은 다음과 같습니다:

Epochs

• 정의: 한 epoch은 전체 데이터 세트가 신경망을 통해 한 번 전달되는 과정을 의미합니다. 다시 말해, 모든 훈련 데이터가 신경망을 한 번 통과하고 가중치가 업데이트되는 과정이 하나의 epoch입니다.
• 용도: epochs=100이라는 설정은 전체 훈련 데이터 세트를 신경망을 통해 총 100번 전달하겠다는 것을 의미합니다. 이를 통해 모델이 훈련 데이터로부터 패턴을 학습하고 성능을 개선할 기회를 제공합니다.
• 중요성: 너무 적은 수의 epoch는 모델이 데이터에서 충분한 패턴을 학습하지 못하게 할 수 있으며, 너무 많은 epoch는 과적합(overfitting)을 일으킬 수 있습니다. 과적합은 모델이 훈련 데이터에만 너무 잘 맞추어져 새로운 데이터에 대해 일반화하지 못하는 현상을 의미합니다.

Batch Size

• 정의: batch_size는 한 번의 가중치 업데이트를 위해 네트워크를 통과하는 샘플의 수를 의미합니다. 예를 들어, batch_size=16은 모델이 가중치를 한 번 업데이트하기 전에 16개의 훈련 샘플을 처리한다는 것을 의미합니다.
• 용도: 이는 메모리 사용량을 조절하고, 훈련 과정을 안정화시키며, 가중치 업데이트를 더 자주 하여 수렴 속도를 높이는 데 도움을 줍니다.
• 중요성: batch_size는 훈련의 효율성과 성능에 큰 영향을 미칩니다. 너무 큰 배치 크기는 메모리 오버헤드를 초래할 수 있으며, 너무 작은 배치 크기는 모델이 불안정해질 수 있습니다. 적절한 배치 크기는 모델의 수렴 속도와 일반화 능력을 균형 있게 유지하는 데 중요합니다.

이러한 하이퍼파라미터들은 모델의 학습 과정과 최종 성능을 결정짓는 데 중요한 역할을 합니다. 따라서, 이들을 적절히 설정하는 것은 모델을 효과적으로 훈련시키기 위해 필수적입니다.