Lecture 6 | Training Neural Networks I

The Stanford School of Engineering has been at the forefront of innovation for nearly a century, creating pivotal technologies that have transformed the worlds of information technology, communications, medicine, energy, business and beyond. 

The faculty, students and alumni of Stanford Engineering have established thousands of companies and laid the technological and business foundations for Silicon Valley. Founded in 1925, the school has a tradition of pursuing multidisciplinary collaboration aimed at solving the most pressing global problems.

Stanford University School of Engineering

신경망 훈련 시 활성화 함수 선택은 매우 중요하며, 시그모이드는 기울기 소실 및 0-중심성 부족으로 비효율적인 업데이트를 유발하므로 ReLU와 그 변형(Leaky ReLU, PReLU, ELU)이 일반적으로 더 나은 성능을 보인다.

데이터 전처리는 네트워크 성능에 필수적이며, 특히 이미지 데이터의 경우 영평균 중심화(평균 이미지 또는 채널별 평균 빼기)를 통해 가중치 업데이트의 비효율성을 줄일 수 있다.

가중치 초기화는 신경망 훈련의 핵심으로, 가중치가 너무 작으면 활성화가 붕괴되고 너무 크면 포화되어 기울기 소실을 유발하므로, Xavier 초기화와 같은 방법을 사용하고 배치 정규화를 통해 활성화 분포를 안정화하여 훈련 효율성을 크게 향상시킬 수 있다.

신경망 훈련 개요 및 관리 사항

이번 강의에서는 신경망을 훈련하는 방법에 대한 **몇 가지 세부 사항을 살펴볼 예정**입니다. 과제 1은 오늘 마감이며, 과제 2가 새로 발표됩니다. 4월 25일까지 프로젝트 제안서를 제출해야 합니다. 아직 프로젝트를 결정하지 못했다면 TA 오피스 아워에 참여하여 TA에게 제안을 구하거나, 스탠포드와 관련된 프로젝트 아이디어 목록을 Piazza에서 찾아볼 수 있습니다. 또한 Justin이 작성한 선형 레이어 및 벡터와 텐서 미분에 대한 역전파 메모는 역전파의 작동 방식을 이해하는 데 도움이 될 것입니다.

지난 강의에서 우리는 함수를 계산 그래프로 표현하는 방법, 특히 **신경망이 비선형성을 사이에 두고 선형 레이어를 쌓아 올린 그래프**임을 논의했습니다. 컨볼루션 레이어는 가중치 필터를 슬라이딩하여 공간 구조를 보존하며, 각 필터는 별도의 활성화 맵을 생성합니다. 우리는 손실 지형에서 음의 기울기 방향으로 이동하여 네트워크 매개변수를 최적화하며, 이 과정은 미니 배치 확률적 경사 하강법으로 불립니다. 데이터를 샘플링하고 네트워크를 통해 전달하여 손실을 얻고, 역전파를 통해 기울기를 계산한 다음 이를 사용하여 매개변수를 업데이트합니다.

향후 몇 강의 동안 신경망 훈련의 세부 사항, 즉 **네트워크 설정, 활성화 함수, 데이터 전처리, 가중치 초기화, 정규화, 기울기 검사** 등을 다룰 예정입니다. 또한 학습 과정 감독, 매개변수 업데이트, 하이퍼파라미터 최적화, 평가 및 모델 앙상블과 같은 훈련 역학에 대해서도 논의할 것입니다. 오늘은 활성화 함수, 데이터 전처리, 가중치 초기화, 배치 정규화, 학습 과정 감독 및 하이퍼파라미터 최적화에 중점을 둘 것입니다.

활성화 함수는 신경망에서 데이터가 가중치에 곱해진 후 비선형성을 통해 전달되는 중요한 부분입니다. 과거에는 시그모이드와 ReLU 비선형성을 사용했으며, **다양한 비선형성 선택과 그 장단점**에 대해 자세히 알아볼 것입니다.

시그모이드 함수(`1/(1+e^(-x))`)는 입력값을 0에서 1 사이의 범위로 압축합니다. 높은 입력값은 1에 가깝게, 낮은 입력값은 0에 가깝게 출력되며, 0 근처에는 선형 영역이 있습니다. 역사적으로 시그모이드는 뉴런의 발화율로 해석될 수 있어 인기가 있었지만, **실제로는 몇 가지 문제점**을 가지고 있습니다.

시그모이드의 첫 번째 문제는 **포화된 뉴런이 기울기를 죽일 수 있다**는 것입니다. 입력 x가 매우 크거나 매우 작을 때 시그모이드 함수의 기울기는 0에 가까워집니다. 이는 역전파 시 업스트림 기울기에 0에 가까운 값을 곱하게 되어 기울기 흐름을 멈추게 하고 다운스트림 노드로 전달되는 기울기가 0이 되기 때문입니다. 이는 가중치가 업데이트되지 않는 결과를 초래합니다.

두 번째 문제는 시그모이드 출력이 **0을 중심으로 하지 않는다**는 것입니다. 모든 뉴런의 입력이 항상 양수일 경우, 가중치 W에 대한 기울기는 항상 같은 부호를 갖게 되어 모든 가중치가 항상 같은 방향으로 업데이트됩니다. 이는 기울기 업데이트를 매우 비효율적으로 만들어 최적의 W에 도달하기까지 많은 단계가 필요하게 됩니다. 이러한 이유로 입력 X가 0평균을 갖도록 하는 것이 일반적으로 바람직합니다.

시그모이드의 세 번째 문제는 **지수 함수를 포함하여 계산 비용이 약간 비싸다**는 점입니다. 신경망 전체에서 주로 컨볼루션 및 점곱 연산이 더 많은 비용을 차지하지만, 이 또한 고려해야 할 사소한 문제입니다.

tanh 함수는 시그모이드와 유사하지만, 출력을 [-1, 1] 범위로 압축하여 **0을 중심으로 하는 문제점을 해결**했습니다. 하지만 여전히 포화되면 기울기를 죽이는 문제를 가지고 있어, 시그모이드보다 약간 나은 성능을 보이지만 여전히 한계가 있습니다.

ReLU(Rectified Linear Unit) 함수는 `f(x) = max(0, x)`로 정의되며, 입력이 음수이면 0으로, 양수이면 그대로 전달합니다. ReLU는 **양수 영역에서 포화되지 않고 계산적으로 매우 효율적**입니다. 시그모이드 및 tanh보다 훨씬 빠르게 수렴하며, 생물학적으로도 더 그럴듯하다고 알려져 있습니다. AlexNet에서 좋은 성능을 보이며 널리 사용되기 시작했습니다.

하지만 ReLU에도 단점이 있습니다. 첫째, **0을 중심으로 하지 않습니다.** 둘째, 입력이 음수일 때 기울기가 0이 되어 **'죽은 ReLU' 현상**이 발생할 수 있습니다. 이는 잘못된 초기화나 너무 높은 학습률로 인해 ReLU 유닛이 데이터 매니폴드에서 벗어나 활성화되지 않고 업데이트를 받지 못하는 경우에 발생합니다. 실제로 훈련된 네트워크의 10~20%가 죽은 ReLU인 경우가 많지만, 이는 일반적으로 네트워크 학습에 큰 문제가 되지는 않습니다.

Leaky ReLU는 음수 영역에 작은 음의 기울기를 주어 **ReLU의 죽은 ReLU 문제를 해결**했습니다. 이는 포화되지 않고 계산적으로 효율적이며, 시그모이드 및 tanh보다 빠르게 수렴합니다. PReLU(Parametric ReLU)는 이 음수 기울기(`알파`)를 역전파를 통해 학습하는 매개변수로 처리하여 유연성을 높였습니다. ELU(Exponential Linear Unit)도 ReLU의 장점을 가지면서 출력을 0평균에 더 가깝게 만들지만, 음수 포화 영역을 다시 만듭니다. 이는 노이즈에 대한 강력한 내성을 제공한다는 주장이 있습니다.

Maxout 뉴런은 두 개 이상의 선형 함수의 최댓값을 취하는 방식으로, ReLU와 Leaky ReLU를 일반화합니다. 이는 **선형 영역에서 작동하여 포화되거나 죽지 않는다**는 장점이 있습니다. 그러나 뉴런당 매개변수 수가 두 배로 늘어나 계산 비용이 증가합니다.

일반적으로 **ReLU를 사용하는 것이 좋은 경험 법칙**입니다. 학습률 조정에 주의하면서 Leaky ReLU, Maxout, ELU와 같은 고급 활성화 함수도 시도해 볼 수 있습니다. tanh는 시도해 볼 만하지만, ReLU 계열이 더 나은 경향이 있습니다. 시그모이드는 가장 오래된 활성화 함수 중 하나이며, ReLU와 그 변형들이 일반적으로 더 좋은 성능을 보이므로 **시그모이드를 사용하지 않는 것이 좋습니다.**

신경망을 훈련하기 전에 **데이터를 항상 전처리해야 합니다.** 표준적인 방법은 데이터를 0평균으로 만들고 표준 편차로 정규화하는 것입니다. 0평균화는 모든 입력이 양수일 때 발생하는 비효율적인 가중치 업데이트 문제를 해결하는 데 도움이 됩니다. 데이터 정규화는 모든 특징이 동일한 범위에 있도록 하여 균등하게 기여하도록 합니다.

이미지의 경우, **주로 0평균화만 수행**하고 픽셀 값을 크게 정규화하지 않습니다. 이미지는 일반적으로 각 위치에서 상대적으로 유사한 스케일과 분포를 가지므로 일반적인 머신러닝 문제처럼 복잡한 전처리(PCA, 화이트닝 등)를 수행할 필요가 적습니다. 컨볼루션 네트워크는 원래 이미지의 공간 구조를 보존하려는 경향이 있기 때문에 복잡한 차원 축소는 피합니다.

전처리는 **훈련 단계에서 계산된 평균을 테스트 데이터에도 동일하게 적용**합니다. 이미지의 경우 전체 평균 이미지를 빼는 방식을 사용하며, 이 평균 이미지는 모든 훈련 이미지로부터 계산됩니다. 때로는 채널별 평균(예: RGB 채널별 평균)을 빼는 방식을 사용하기도 하는데, 이는 구현이 더 간단하면서도 유사한 효과를 얻을 수 있기 때문입니다. 이러한 방식은 AlexNet 이후 VGG Network에서도 사용되었습니다.

데이터 전처리는 신경망의 첫 번째 레이어에 대한 입력이 0평균이 되도록 도와주지만, **더 깊은 네트워크에서는 0이 아닌 평균 문제가 여전히 발생**할 수 있습니다. 이는 특히 깊은 네트워크에서 활성화 함수의 출력이 0을 중심으로 하지 않을 때 더욱 심각해집니다.

신경망의 가중치를 0으로 초기화하면 **모든 뉴런이 동일한 연산을 수행하고 동일한 기울기를 얻게 되어** 서로 다른 것을 학습하지 못하게 됩니다. 이는 네트워크에 대칭성이 없어 원하는 대로 뉴런이 개별적인 특징을 학습하지 못하게 하는 문제입니다.

작은 난수로 가중치를 초기화하는 것은 작은 네트워크에서는 잘 작동하지만, **깊은 네트워크에서는 문제가 발생**합니다. 예를 들어 표준편차 0.01의 가우시안 분포로 초기화된 10개 레이어의 신경망에서 tanh 비선형성을 사용하면, 각 레이어를 통과할수록 활성화 값의 표준편차가 빠르게 0으로 줄어들어 모든 활성화가 0이 됩니다. 이는 순방향 및 역방향 패스 모두에서 기울기가 0이 되어 가중치가 업데이트되지 않는 '기울기 소멸' 문제를 야기합니다.

반대로 가중치를 큰 난수로 초기화하면 (예: 표준편차 1) **활성화가 tanh 비선형성의 포화 영역에 갇히게 됩니다.** 이 경우 모든 활성화는 -1 또는 +1이 되어 기울기가 0이 되고 가중치가 업데이트되지 않는 '기울기 폭주' 문제를 일으킵니다. 따라서 가중치 초기화를 제대로 하는 것은 매우 어렵습니다. 너무 작으면 붕괴되고, 너무 크면 포화됩니다.

**Xavier 초기화**는 Glorot의 2010년 논문에서 제안되었으며, 표준 가우시안 분포에서 가중치를 샘플링한 후 입력 개수로 스케일링하여 분산을 제어합니다. 이는 입력의 분산이 출력의 분산과 동일하도록 하여 각 레이어에서 활성화가 단위 가우시안 분포를 갖도록 합니다. 하지만 이 방법은 선형 활성화를 가정하므로 ReLU와 같은 비선형성을 사용할 때는 문제가 됩니다. ReLU는 절반의 유닛을 0으로 만들어 분산을 절반으로 줄이기 때문입니다.

ReLU를 사용할 때 발생하는 분산 감소 문제를 해결하기 위해, 초기화 시 2로 나누어 이를 보정합니다. 즉, **`표준 가우시안 / sqrt(입력 개수 / 2)`**와 같이 초기화하면 네트워크의 모든 레이어에서 활성화 분포가 양호하게 유지됩니다. 이러한 올바른 가중치 초기화는 네트워크가 전혀 훈련되지 않거나 제대로 작동하는 것 사이의 큰 차이를 만들 수 있으며, 여전히 활발한 연구 분야입니다.

배치 정규화의 핵심 아이디어는 **활성화를 항상 단위 가우시안 범위 내에 유지**하는 것입니다. 각 레이어에서 활성화 배치가 나올 때, 현재 미니 배치의 평균과 분산을 계산하여 이를 정규화합니다. 이는 가중치 초기화만으로는 훈련 중 활성화 분포가 유지되지 않는 문제를 해결하며, 네트워크의 순방향 패스에서 명시적으로 이 정규화를 수행합니다.

배치 정규화는 미분 가능한 함수이므로 역전파가 가능합니다. 각 차원에 대해 독립적으로 평균과 분산을 계산하고 이를 정규화합니다. 완전 연결 계층이나 컨볼루션 계층 뒤에 삽입되어 가중치 곱셈으로 인한 잘못된 스케일링 효과를 되돌립니다. 컨볼루션 계층의 경우, **활성화 맵당 하나의 평균과 하나의 표준 편차를 계산하여 모든 훈련 예제에서 정규화**합니다. 이는 컨볼루션 속성을 유지하기 위함입니다.

배치 정규화는 단순히 단위 가우시안으로 만드는 것을 넘어, 정규화 연산 후에 **추가적인 스케일링 및 이동 연산을 수행**합니다. 즉, 정규화된 값을 학습 가능한 `감마`로 스케일링하고 `베타`로 이동시킵니다. 이를 통해 네트워크는 원한다면 항등 함수를 복구할 수 있으며, tanh와 같은 비선형성의 포화 정도를 제어하는 유연성을 확보할 수 있습니다. 이는 기울기 흐름을 개선하고, 더 넓은 범위의 학습률과 초기화에 강건하게 만들어 학습을 더 쉽게 만듭니다.

배치 정규화는 각 레이어의 출력을 현재 배치에서 샘플링된 다른 예제에 따라 정규화하므로, **일종의 정규화 효과**도 제공합니다. 이는 주어진 훈련 예제에 대해 더 이상 결정론적인 값을 생성하지 않고 입력의 표현을 약간 흔들어주는 효과를 줍니다.

강화 학습과 같이 배치 크기가 매우 작은 경우 배치 정규화의 효과가 떨어질 수 있으며, 이는 여전히 활발한 연구 분야입니다. 테스트 시에는 **훈련 데이터에서 추정된 이동 평균과 분산을 사용**하며, 이를 다시 계산하지 않습니다. 따라서 테스트 시에도 훈련 시와 동일한 방식으로 스케일링을 적용합니다.

학습 과정 관리 및 하이퍼파라미터 최적화

신경망 훈련을 시작할 때, 가장 먼저 **데이터를 0평균으로 전처리**해야 합니다. 그 다음 네트워크 아키텍처를 선택하고, 가중치를 초기화한 후 순방향 패스를 수행하여 **손실이 합리적인지 확인**해야 합니다. 예를 들어, Softmax 분류기의 손실은 일반적으로 클래스 수에 따라 예상되는 값이 있습니다. 초기 손실이 예상대로라면 정규화 강도를 0으로 설정하고, 정규화 강도를 높여 손실이 증가하는지 확인하는 것이 좋은 건전성 검사 단계입니다.

훈련을 시작할 때, **아주 적은 양의 데이터로 시작**하여 네트워크가 해당 데이터를 완벽하게 과적합할 수 있는지 확인해야 합니다. 정규화를 끄고 손실이 0으로 떨어지고 훈련 정확도가 1까지 올라가는지 확인합니다. 이 건전성 검사를 통과한 후에는 전체 훈련 데이터를 사용하여 적은 양의 정규화와 함께 적절한 학습률을 찾는 작업을 시작합니다.

학습률은 가장 중요한 하이퍼파라미터 중 하나이며 가장 먼저 조정해야 합니다. 학습률이 너무 작으면 손실이 거의 변하지 않고, 너무 크면 손실이 폭발하여 NaN 값을 반환합니다. 일반적으로 **1e-3에서 1e-5 사이의 학습률 범위가 적합**합니다. Softmax의 경우 손실이 크게 변하지 않아도 정확도는 빠르게 향상될 수 있는데, 이는 가중치가 올바른 방향으로 움직이면서 올바른 클래스의 확률이 높아지기 때문입니다.

하이퍼파라미터 최적화는 학습률과 같은 모든 하이퍼파라미터에 대해 **교차 검증을 수행**하여 최적 값을 선택하는 과정입니다. 먼저 넓은 범위에서 대략적인 검색을 수행하고 몇 번의 에포크만 학습하여 어떤 값이 좋은지 파악한 후, 그 범위 내에서 값을 더 세밀하게 샘플링하고 더 오래 실행합니다. 학습률은 기울기 업데이트에 곱해지므로 **로그 공간에서 샘플링하는 것이 더 효과적**입니다.

하이퍼파라미터 검색 시 그리드 검색보다는 **랜덤 샘플링이 더 효과적**입니다. 이는 함수가 일반적으로 하나의 변수에 더 민감하게 반응하여 유효 차원이 더 낮기 때문입니다. 랜덤 샘플링은 중요한 변수의 다양한 값에 대한 샘플을 더 많이 얻을 수 있어 전반적으로 더 유용한 신호를 얻을 수 있습니다.

조정할 수 있는 하이퍼파라미터에는 학습률, 감쇠 일정, 업데이트 유형, 정규화 강도, 네트워크 아키텍처(숨겨진 유닛 수, 깊이) 등이 있습니다. 이 모든 것을 적절히 조정하여 **원하는 손실 함수 출력을 얻는 것이 신경망 전문가의 역할**입니다. 학습률 곡선을 모니터링하여 학습률이 너무 높거나(손실 폭발) 너무 낮거나(손실 평탄) 너무 높아서 정체되는 경우를 파악하고 조정해야 합니다. 손실 곡선이 잠시 평탄하다가 갑자기 학습이 시작되는 경우는 잘못된 초기화가 원인일 수 있습니다.

학습 정확도와 검증 정확도를 모니터링하여 **과적합 여부를 판단**할 수 있습니다. 차이가 크면 과적합이므로 정규화 강도를 높여야 하고, 차이가 없으면 모델 용량을 늘릴 수 있습니다. 또한 가중치 업데이트 크기와 가중치 크기의 비율을 추적하여 이 비율이 0.001 정도 되도록 유지하는 것이 좋습니다. 이는 업데이트가 너무 크거나 작지 않아 디버깅에 도움이 됩니다.

요약하자면, 신경망 훈련 시 **ReLU 활성화 함수 사용, 데이터 0평균 전처리, Xavier 초기화, 배치 정규화 적용, 하이퍼파라미터 랜덤 샘플링**이 중요합니다. 다음 강의에서는 신경망 학습에 대한 더 많은 주제를 계속 다룰 예정입니다.

신경망 훈련 시 활성화 함수로 ReLU를 사용하는 것이 시그모이드 함수보다 선호되는 주된 이유는 무엇이며, ReLU의 단점인 '죽은 ReLU' 문제는 어떻게 해결할 수 있나요?

신경망 학습 과정에서 데이터 전처리가 왜 중요한가요? 특히 이미지 데이터의 경우 어떤 전처리 방법이 일반적으로 사용되며, 이러한 전처리가 신경망에 어떤 영향을 미 미치나요?

가중치 초기화가 신경망 훈련에 미치는 영향은 무엇이며, 가중치를 0으로 초기화하거나 너무 작거나 크게 초기화할 때 발생하는 문제점은 무엇인가요? 그리고 이를 해결하기 위한 'Xavier 초기화'와 '배치 정규화'는 각각 어떤 원리로 작동하나요?

신경망 훈련 시 학습률과 같은 하이퍼파라미터를 최적화하는 과정에서 '거친 탐색'과 '미세 탐색'은 각각 무엇을 의미하며, 이러한 탐색 시 주의해야 할 점은 무엇인가요?

훈련 중 손실 곡선과 정확도 변화를 모니터링하여 학습률 문제를 진단하는 방법은 무엇이며, 과적합 또는 모델 용량 부족과 같은 문제를 어떻게 식별하고 해결할 수 있나요?

과제 1 제출 마감은 목요일 밤 11시 59분이며, 과제 2가 곧 발표됩니다.

프로젝트 제안서 마감은 4월 25일 화요일이며, TA 오피스 아워 및 Piazza의 프로젝트 목록을 통해 아이디어를 얻을 수 있습니다.

Justin이 작성한 선형 레이어 역전파 및 벡터/텐서 미분 관련 자료가 강의 계획서 강의 4에 링크되어 있습니다.

함수는 계산 그래프로 표현될 수 있으며, 신경망은 비선형성을 포함하는 선형 레이어가 쌓인 그래프의 한 유형입니다.

컨볼루션 신경망은 컨볼루션 레이어를 사용하여 네트워크 계층 구조에서 공간 구조를 보존합니다.

네트워크 매개변수는 손실 함수를 최적화하여 학습되며, 미니 배치 확률적 경사 하강법을 통해 기울기를 계산하고 업데이트합니다.

향후 강의에서는 신경망 설정, 활성화 함수, 데이터 전처리, 가중치 초기화, 정규화, 기울기 확인 및 훈련 역학을 다룰 예정입니다.

활성화 함수는 선형 레이어의 출력에 적용되는 비선형성입니다. 시그모이드와 ReLU가 예시로 언급됩니다.

시그모이드 함수는 출력을 [0,1] 범위로 압축하며, 과거에는 뉴런의 발화율로 해석되어 인기가 있었습니다.

시그모이드의 문제점은 포화된 뉴런이 기울기를 죽여(gradient vanishing) 학습을 방해하고, 출력이 0을 중심으로 하지 않아 비효율적인 가중치 업데이트를 초래하며, 계산 비용이 비싸다는 것입니다.

tanh 함수는 시그모이드와 유사하지만 출력이 [-1,1] 범위로 0을 중심으로 하므로 두 번째 문제를 해결하지만, 여전히 포화 시 기울기를 죽입니다.

ReLU(Rectified Linear Unit) 함수는 양수 입력은 그대로 통과시키고 음수 입력은 0으로 설정하여, 양수 영역에서 포화되지 않고 계산 효율적이며, 시그모이드나 tanh보다 수렴이 빠릅니다.

ReLU의 문제점은 여전히 출력이 0을 중심으로 하지 않고, 음수 영역에서 기울기가 0이 되어 '죽은 ReLU' 현상이 발생할 수 있다는 것입니다.

Leaky ReLU는 음수 영역에 작은 기울기를 주어 '죽은 ReLU' 문제를 해결하고, PReLU는 이 음수 기울기를 학습 가능한 파라미터로 설정합니다.

ELU(Exponential Linear Unit)는 ReLU의 장점을 가지면서 평균을 0에 가깝게 만들고 음수 영역에서 포화를 다시 만듭니다.

Maxout 뉴런은 여러 선형 함수의 최댓값을 취하여 ReLU 및 Leaky ReLU를 일반화하지만, 뉴런당 매개변수 수가 두 배가 됩니다.

일반적으로 ReLU를 사용하는 것이 좋으며, Leaky ReLU, Maxout, ELU와 같은 고급 함수도 시도해 볼 수 있지만, 시그모이드는 사용하지 않는 것이 좋습니다.

일반적으로 데이터를 0으로 평균(zero-centering)하고 표준 편차로 정규화(normalization)하여 최적화를 돕습니다.

이미지의 경우, 주로 0-평균 중심화를 수행하며, 픽셀 값 정규화나 PCA/화이트닝과 같은 복잡한 전처리는 잘 사용하지 않습니다.

훈련 단계에서 계산된 평균은 테스트 데이터에도 동일하게 적용됩니다. 이미지의 경우 전체 평균 이미지를 빼거나 채널별 평균을 빼는 방식을 사용합니다.

전처리는 훈련 시작 전에 전체 훈련 세트에 대해 한 번 수행되며, 배치별로 수행하지 않습니다.

데이터 전처리는 네트워크의 첫 번째 레이어에서 0-평균 문제를 해결하는 데 도움이 되지만, 더 깊은 네트워크에서는 다른 문제(배치 정규화 필요)가 발생할 수 있습니다.

가중치를 모두 0으로 초기화하면 모든 뉴런이 동일한 연산을 수행하고 동일한 기울기를 얻어 학습이 불가능해집니다.

작은 난수로 가중치를 초기화하면 깊은 네트워크에서 활성화 값이 빠르게 0으로 수렴하여 '기울기 소실(vanishing gradient)' 문제가 발생합니다.

큰 난수로 가중치를 초기화하면 tanh와 같은 활성화 함수가 포화되어 기울기가 0이 되고 가중치 업데이트가 되지 않습니다.

Xavier 초기화(Glorot 초기화)는 입력 분산과 출력 분산을 동일하게 유지하도록 가중치 크기를 조정하여 기울기 소실/폭발 문제를 완화합니다.

ReLU를 사용할 경우, 절반의 유닛이 0이 되므로 Xavier 초기화가 정확히 작동하지 않아 분산이 절반으로 줄어듭니다.

ReLU 문제 해결을 위해 입력 개수를 2로 나누어 초기화하는 방법이 제안되었으며, 이는 분포를 더 잘 유지하는 데 도움이 됩니다.

배치 정규화는 각 레이어의 활성화가 단위 가우시안 분포를 따르도록 명시적으로 강제하여 훈련 중 활성화 값이 발산하거나 소실되는 것을 방지합니다.

각 뉴런의 입력에 대해 미니 배치 평균과 분산을 계산하여 정규화하며, 이는 미분 가능한 함수입니다.

완전 연결 레이어와 컨볼루션 레이어 모두에 적용 가능하며, 컨볼루션 레이어의 경우 활성화 맵당 하나의 평균과 표준 편차를 사용하여 정규화합니다.

정규화 후 추가적인 스케일링(감마) 및 시프트(베타) 연산을 통해 네트워크가 원하는 경우 항등 함수를 복구하여 포화 정도를 제어할 수 있는 유연성을 제공합니다.

배치 정규화는 기울기 흐름을 개선하고, 더 넓은 범위의 학습률과 초기화에 강건하며, 정규화 효과를 제공하여 훈련을 더 쉽게 만듭니다.

테스트 시 배치 정규화는 훈련 데이터에서 추정된 (이동) 평균과 분산을 사용합니다.

훈련 시작 전 데이터 전처리, 아키텍처 선택, 가중치 초기화 후 합리적인 초기 손실(예: Softmax의 경우 약 2.3)을 확인하는 것이 중요합니다.

정규화를 0으로 설정한 후 훈련을 시작하고, 소량의 데이터로 과적합하여 손실이 0으로 떨어지는지 확인합니다.

학습률은 가장 중요한 하이퍼파라미터이며, 너무 작으면 손실이 거의 변하지 않고(NaN), 너무 크면 손실이 폭발합니다.

하이퍼파라미터 최적화는 교차 검증을 통해 수행되며, 먼저 넓은 범위에서 대략적인 검색을 수행한 후 더 좁은 범위에서 세밀하게 검색합니다.

학습률과 같은 하이퍼파라미터는 로그 공간에서 최적화하는 것이 더 효과적입니다.

하이퍼파라미터 검색 시 그리드 검색 대신 무작위 샘플링이 더 효율적이며, 이는 중요한 변수에 더 많은 샘플을 제공합니다.

학습률, 감쇠 일정, 업데이트 유형, 정규화, 네트워크 아키텍처(숨겨진 유닛 수, 깊이) 등 다양한 하이퍼파라미터를 조정할 수 있습니다.

손실 곡선 모니터링을 통해 학습률이 너무 높거나(폭발) 너무 낮거나(정체) 적절한지 판단할 수 있습니다.

훈련 정확도와 검증 정확도 간의 차이가 크면 과적합이므로 정규화를 늘리고, 차이가 없으면 모델 용량을 늘릴 수 있습니다.

가중치 업데이트 크기와 가중치 크기의 비율(약 0.001)을 추적하여 디버깅에 활용할 수 있습니다.

ReLU 사용, 데이터 평균 0으로 전처리, Xavier 초기화, 배치 정규화, 하이퍼파라미터 무작위 샘플링이 중요합니다.

Lecture 6 | Training Neural Networks I

스크립트