신경망 훈련하기: 활성화 함수, 전처리 및 초기화

일괄 정규화는 각 레이어에서 평균 및 분산 정규화를 통해 단위 가우스 활성화를 보장함으로써 네트워크 학습을 개선합니다.

### 신경망 훈련하기: 활성화 함수, 데이터 전처리 및 가중치 초기화
* 🔘 "활성화 함수는 신경망에 비선형성을 도입하고 뉴런의 출력을 결정하는 데 사용됩니다." 일반적으로 **시그모이드, 탄, ReLU 함수**가 선택됩니다.
* 시그모이드 함수는 **"평평한 영역으로 인해 소실 그라데이션 문제가 있는"** 반면, **"탄은 영 중심이지만 여전히 채도 문제가 있습니다."**
* 🚀 ReLU는 **"빠른 수렴, 효율성, 생물학적 타당성으로 인해 가장 널리 사용되는 활성화 함수"**입니다.
* 📊 데이터 사전 처리에는 일반적으로 **"편향 문제를 해결하기 위해 데이터를 영중심으로 조정하고 기능이 동일한 범위에 있는지 확인하기 위해 정규화하는 작업"**이 포함됩니다.
* 🎚 "가중치 초기화는 대칭을 깨고 **소실 그라데이션 문제를 방지**하는 데 매우 중요합니다." 작은 임의의 값으로 초기화하면 얕은 네트워크에서는 도움이 되지만 더 깊은 네트워크에서는 '소실 그라데이션 문제'가 발생합니다.
* 🦠 소실 그라디언트 문제를 해결하기 위한 일반적인 기술로는 **"효율성과 빠른 수렴을 유지하면서 솔루션을 제공하는 누수 ReLU, 파라메트릭 ReLU 및 ELU"**를 사용하는 것이 있습니다.
* 📉 "죽어가는 ReLU 문제는 **네거티브 레짐의 뉴런이 활성화 및 업데이트되지 않을 때** 발생합니다." 이 문제는 누수 ReLU와 같은 변형을 사용하여 완화할 수 있습니다.
* 📷 이미지 데이터 전처리에서는 이미지의 스케일과 분포가 이미 비교적 균일하기 때문에 **"채널별 평균을 빼는 영점 센터링이 일반적으로 사용됩니다."**

### 신경망 훈련하기: 모범 사례 및 팁
* 🔥 더 빠른 컨버전스와 소실 그라데이션 문제를 피하기 위해 **ReLU를 활성화 함수**로 사용합니다.
* 전처리 단계로 데이터에서 **평균을 빼서** 데이터 분포를 중앙에 맞춥니다.
* 🌱 웨이트 초기화에 자비에 초기화를 사용하면 **그라데이션이 사라지거나 폭발하는 것을 방지**할 수 있습니다.
* 🥛 각 레이어에 **일괄 정규화**를 적용하여 학습을 안정화하고 속도를 높입니다.
* 👶 "학습 속도와 같은 하이퍼파라미터를 정기적으로 점검하고 조정하여 학습 과정을 **'베이비시팅'**합니다.
* 🎯 교차 검증과 같은 기술을 사용하여 **하이퍼파라미터 최적화**를 수행하여 **최상의 하이퍼파라미터 집합**을 찾습니다.
* 📈 손실 곡선, **훈련 및 검증 정확도, 가중치 업데이트 크기**를 모니터링하여 과적합, 과소적합, 기울기 폭발과 같은 문제를 진단하고 해결합니다.

Lecture 6 | Training Neural Networks I

The Stanford School of Engineering has been at the forefront of innovation for nearly a century, creating pivotal technologies that have transformed the worlds of information technology, communications, medicine, energy, business and beyond. 

The faculty, students and alumni of Stanford Engineering have established thousands of companies and laid the technological and business foundations for Silicon Valley. Founded in 1925, the school has a tradition of pursuing multidisciplinary collaboration aimed at solving the most pressing global problems.

Stanford University School of Engineering

신경망 훈련: 세부 사항 및 프로세스

과제 마감일과 프로젝트 제안서 마감일이 발표되며, 프로젝트에 대한 생각을 시작하라는 알림이 함께 제공됩니다.

향후 강의에서는 활성화 함수, 데이터 전처리, 가중치 초기화, 배치 정규화, 훈련 역학 및 하이퍼파라미터 최적화에 대해 다룰 예정입니다.

이 강의에서는 시그모이드 함수와 특히 매우 음의 영역에서의 기울기 포화 문제부터 시작하여 다양한 활성화 함수 간의 상충 관계에 초점을 맞출 것입니다.

또한 시그모이드를 뉴런의 발화율로 해석하는 방법과 생물학적으로 더 그럴듯한 비선형성인 ReLU에 대해 논의할 예정입니다.

시그모이드, 탄의 문제점과 ReLU 활성화 기능의 우수성

시그모이드 및 탄 활성화 함수는 포화 영역에서 그라데이션 흐름이 죽고 0 중심이 아니기 때문에 비효율적인 그라데이션 업데이트가 발생하는 문제가 있습니다.

이에 반해 ReLU 활성화 함수는 양의 영역에서 포화되지 않기 때문에 그라디언트 흐름 문제를 방지하는 데 탁월합니다.

또한 ReLU는 최대 연산이 간단하여 계산 효율이 높기 때문에 시그모이드와 탄에 비해 상당한 이점이 있습니다.

신경망에서 ReLU 활성화 기능의 우수성

ReLU는 시그모이드와 탄보다 6배 빠르게 수렴하기 때문에 뉴런에 생물학적으로 더 타당합니다.

제로 중심과 데드 ReLU를 유발하는 문제에도 불구하고 여전히 네트워크 훈련에 널리 사용되고 있습니다.

누수 ReLU의 도입은 네거티브 레짐에서 약간의 음의 기울기를 제공함으로써 해결책을 제시했습니다.

ReLU 활성화 함수는 계산적으로 효율적이며 시그모이드와 탄보다 빠르게 수렴합니다.

Leaky ReLU, PReLU, ELU, Maxout Neuron과 같은 다른 변형은 평균 출력 제로, 음수 영역의 유연성, 죽어가는 문제 방지 등 다양한 이점을 제공합니다.

실제로는 ReLU가 가장 일반적으로 사용되지만, 특정 문제에 따라 다른 활성화 함수를 실험해 보는 것도 도움이 될 수 있습니다.

제로 센터링과 정규화를 포함한 데이터 전처리는 특히 머신러닝 문제에서 학습 과정을 최적화하는 데 필수적이며, 이미지 관련 작업에서는 특징의 규모와 분포가 이미 비교적 비슷하기 때문에 픽셀 값의 정규화가 크게 강조되지는 않습니다.

컨볼루션 네트워크를 위한 이미지 데이터 전처리

특히 컨볼루션 네트워크의 이미지 데이터 전처리에는 평균 이미지 또는 채널별 평균을 빼는 제로 평균 전처리가 포함되며, 이는 학습 데이터와 테스트 데이터 모두에 적용됩니다.

이는 원본 이미지의 공간 구조를 유지하는 데 도움이 되며 VGG와 같은 네트워크에서 일반적으로 사용됩니다.

사전 처리는 네트워크의 첫 번째 레이어에 대한 제로 평균 문제를 해결하지만, 네트워크가 깊어질수록 충분하지 않아 평균이 0이 아닌 문제가 발생할 수 있습니다.

신경망에서 모든 가중치를 0으로 초기화하면 모든 뉴런이 동일한 연산을 수행하고, 동일한 기울기를 받으며, 동일한 방식으로 업데이트하는 대칭 문제가 발생하여 서로 다른 특징을 학습하지 못하게 됩니다.

대칭이 깨지면 뉴런이 동일하게 작동하게 되는데, 이는 네트워크의 학습 과정에서 바람직하지 않습니다.

기울기는 마지막 레이어의 손실에 따라 달라질 수 있지만 전체적인 대칭은

작은 무작위 가중치로 신경망 훈련 개선하기

표준 편차가 조정된 표준 가우스 분포에서 작은 무작위 가중치를 사용하면 작은 네트워크에서는 대칭이 깨질 수 있지만, 더 깊은 네트워크에서는 문제가 발생합니다.

더 깊은 네트워크에서 작은 무작위 가중치를 사용하면 활성화가 빠르게 줄어들고 0으로 붕괴되어 소실 그라데이션 문제가 발생한다는 문제가 있습니다.

큰 가중치를 사용하여 이 문제를 해결하려고 하면 탄 활성화 함수가 포화 상태가 되어 또 다른 문제가 발생합니다.

신경망의 가중치 초기화 및 일괄 정규화

신경망 가중치 초기화는 적절한 훈련을 위해 매우 중요하며, 자비에 초기화는 입력 수에 따라 가중치를 조정하여 기울기가 사라지거나 폭발하는 문제를 해결하는 좋은 경험 법칙을 제공합니다.

그러나 이 방법은 ReLU 활성화를 사용할 때는 뉴런의 절반이 비활성화되어 발생하는 분산 감소를 고려하기 위해 스케일을 2로 나누어 조정해야 합니다.

배치 정규화는 각 활성화 배치의 평균과 분산을 경험적으로 계산하고 네트워크의 순방향 통과 중에 정규화하여 단위 가우시안 활성화를 강제하는 방법으로 도입되었습니다.

이 접근 방식은 훈련 프로세스 전반에 걸쳐 모든 레이어에서 원하는 활성화 분포를 유지하는 것을 목표로 하며, 단위 가우스 활성화의 목표를 달성하는 기능적인 방법을 제공합니다.

신경망에서 일괄 정규화의 개념

일괄 정규화에는 입력 데이터의 각 특징 차원에 대한 평균과 분산을 계산하고 데이터를 정규화한 다음 스케일링 및 이동 요인을 적용하는 작업이 포함됩니다.

이 프로세스는 기울기 흐름을 개선하여 학습을 더욱 강력하게 만들고 더 넓은 범위의 학습 속도와 초기화 방법을 허용합니다.

또한 일괄 정규화는 주어진 훈련 예제에 대해 비결정적 값을 생성하고 모든 입력을 일괄적으로 묶어 정규화의 한 형태로 작동합니다.

신경망에서 일괄 정규화의 유연성

일괄 정규화를 사용하면 뉴런의 정규화를 유연하게 제어할 수 있어 탄 활성화 함수와 같은 이상적이지 않은 상황에 유용합니다.

표준 컨볼루션 신경망의 일반적인 관행이며 작은 배치 크기에서도 여전히 효과적일 수 있지만, 다양한 유형의 네트워크에 대한 정규화는 여전히 활발한 연구 분야입니다.

일괄 정규화는 입력을 가우시안으로 강제하는 것이 아니라 데이터를 이동하고 스케일을 조정하여 특히 컨볼루션 레이어에서 구조를 보존합니다.

신경망의 일괄 정규화 이해하기

일괄 정규화 레이어는 테스트 시간 동안 학습 데이터의 경험적 평균과 분산을 사용합니다.

훈련 모니터링 프로세스에는 데이터 영점화, 아키텍처 선택, 네트워크 초기화 등이 포함됩니다.

소량의 데이터로 정규화 및 훈련을 조정하면 적절한 학습 속도를 결정하는 데 도움이 됩니다.

학습 속도가 너무 작으면 손실 변화가 최소화되고, 너무 크면 비용에서 NaN이 발생할 수 있으므로 적절한 학습 속도를 선택하는 것이 중요합니다.

신경망용 하이퍼파라미터 최적화하기

학습 속도를 조정하는 것은 훈련 중 비용 폭발을 제어하는 데 매우 중요합니다.

교차 검증은 최적의 하이퍼파라미터 값을 찾는 데 필수적이며, 일반적으로 처음에는 넓은 범위의 값으로 단계적으로 수행한 다음 더 세밀한 샘플링을 수행합니다.

비용 함수의 폭발을 감지하면 하이퍼파라미터를 실시간으로 조정하는 데 도움이 될 수 있습니다.

로그 공간에서 최적화하고 값의 범위가 하이퍼파라미터에 대한 최적의 범위를 포함하는지 확인하는 것이 좋습니다.

하이퍼파라미터 최적화를 위해서는 그리드 검색보다 하이퍼파라미터를 무작위로 샘플링하는 것이 더 실용적입니다.

신경망 하이퍼파라미터 최적화를 위한 팁

중요한 변수의 샘플이 많을수록 하이퍼파라미터 최적화에서 전반적으로 더 유용한 신호를 제공합니다.

집중해야 할 하이퍼파라미터에는 학습 속도, 감쇠 일정, 업데이트 유형, 정규화 및 네트워크 아키텍처가 포함됩니다.

손실 곡선을 모니터링하면 적절한 학습 속도와 잘못된 초기화의 잠재적 문제를 파악하는 데 도움이 될 수 있습니다.

학습과 검증 정확도 간의 격차를 추적하면 정규화 강도와 모델 용량을 조정하는 데 도움이 되며, 가중치 업데이트 비율을 모니터링하면 잠재적인 문제를 디버깅하는 데 도움이 됩니다.

하이퍼파라미터 최적화를 위한 핵심 사항에는 ReLU 사용, 데이터 전처리를 위한 평균 빼기, 자비에 초기화 사용, 일괄 정규화 사용, 무작위 샘플링 하이퍼파라미터가 포함됩니다.