역전파와 신경망: 그라데이션과 계산 그래프

세레나 영은 역전파와 신경망에 대해 설명하면서 그래디언트를 효율적으로 계산하기 위한 계산 그래프의 사용을 강조했습니다.

### 역전파 및 계산 그래프
* 역전파는 계산 그래프로 표현되는 복잡한 함수의 기울기를 계산하기 위해 **체인 규칙을 재귀적으로 적용**하는 방법입니다.
* 📊  계산 그래프에서 **노드는 계산 단계**를 나타내고 가장자리는 데이터 흐름을 나타냅니다. 각 노드는 **로컬 그래디언트를 계산**합니다.
* 체인 규칙은 역전파 중에 **그래프를 통해 그라디언트를 전파**하는 데 사용됩니다.
* 더하기 게이트는 입력에 균등하게 그라데이션을 분배하고, **최대 게이트는 최대값을 가진 분기**로 그라데이션을 라우팅하며, **곱하기 게이트는 다른 입력에 따라 그라데이션의 스케일**을 조정합니다.
* 📈  로컬 그라데이션만 정의할 수 있다면 **계산 노드를 더 높은 수준의 노드로 그룹화**하여 간단하게 만들 수 있습니다.
* 그래디언트를 계산해야 하는 표현이 정말 털이 많고 무섭더라도 **계산 그래프로 생각**하면 되니 매우 위안이 됩니다.
* 🔄  그라데이션이 계산되면 **최적화 알고리즘과 함께 사용하여 모델의 가중치를 업데이트**할 수 있습니다.

### 신경망: 심층 분석
* 신경망은 선형 레이어와 비선형 활성화 함수를 사용하여 계층적으로 쌓인 **단순한 함수들로 구성된 함수 클래스**입니다.
* 계산 그래프를 통해 체인 규칙을 재귀적으로 적용하는 **역전파는 신경망 학습을 위한 기울기를 계산**하는 핵심 기법입니다.
* 신경망을 구현하려면 **계산 노드(게이트)의 순방향 및 역방향 함수를 정의**하고 그래프를 통해 그래디언트를 전파해야 합니다.
* 🧠  실제로 심층 신경망은 **선형 변환과 비선형성을 여러 층**으로 쌓아 구현할 수 있습니다.
* 🧠  레이어의 가중치는 **네트워크가 분류를 위해 결합하는 방법**을 학습하는 템플릿으로 해석할 수 있습니다.
* 신경망과 뇌 사이에는 느슨한 비유가 있지만, **실제 생물학적 뉴런은 훨씬 더 복잡**합니다.
* 🔥   ReLU와 같은 활성화 함수는 **신경망에 비선형성을 도입하는 데 중요한 역할**을 합니다.
* 신경망을 훈련할 때 기울기를 효율적으로 계산하려면 **네트워크를 통과하는 전진 및 후진 경로**를 이해하는 것이 중요합니다.
* 🧠  레이어를 추상화하면 효율적인 벡터화 계산이 가능하며, 다음에는 컨볼루션 신경망( CNN)에 대해 알아보겠습니다.

Lecture 4 | Introduction to Neural Networks

The Stanford School of Engineering has been at the forefront of innovation for nearly a century, creating pivotal technologies that have transformed the worlds of information technology, communications, medicine, energy, business and beyond. 

The faculty, students and alumni of Stanford Engineering have established thousands of companies and laid the technological and business foundations for Silicon Valley. Founded in 1925, the school has a tradition of pursuing multidisciplinary collaboration aimed at solving the most pressing global problems.

Stanford University School of Engineering

역전파는 함수의 기울기를 찾는 데 사용되며, 합성곱 신경망과 같은 복잡한 함수에 특히 유용합니다.

계산 그래프는 함수를 표현하는 데 사용되며, 체인 규칙을 재귀적으로 적용하여 모든 변수에 대한 기울기를 계산할 수 있습니다.

역전파 과정은 네트워크의 정방향 패스로 시작한 다음 역방향 패스로 기울기를 계산하여 모델의 매개변수를 업데이트합니다.

계산 그래프의 역전파: 단계별 가이드

역전파는 연쇄 규칙의 재귀적 적용으로, 계산 그래프의 모든 중간 변수에 대한 최종 출력의 기울기를 찾는 데 사용됩니다.

이 과정에는 그래프를 역방향으로 작업하고 체인 규칙을 적용하여 각 단계의 기울기를 계산하는 것이 포함됩니다.

핵심 아이디어는 복잡한 미적분 식을 간단한 계산 노드로 분해하여 그래디언트를 더 쉽게 계산할 수 있도록 하는 것입니다.

역전파 과정에는 계산 그래프를 역방향으로 작업하여 각 노드에서 로컬 기울기를 계산하고 체인 규칙을 사용하여 입력 값에 대한 기울기를 찾는 과정이 포함됩니다.

역전파는 복잡한 함수에서 초기 입력값에 대한 최종 출력값의 기울기를 효율적으로 계산하는 데 필수적입니다.

먼저 마지막 변수에 대한 최종 출력의 기울기를 구한 다음 체인 규칙을 사용하여 각 노드의 로컬 기울기를 고려하여 그래프를 통해 기울기를 역방향으로 전파합니다.

이 단계별 접근 방식을 사용하면 복잡한 함수에 대한 기울기를 체계적으로 계산할 수 있으므로 머신 러닝 및 최적화 분야에서 강력한 기법이 됩니다.

계산 그래프에서 그라데이션 계산하기

이 프로세스에는 각 노드의 업스트림 및 로컬 그라데이션을 찾은 다음 체인 규칙을 사용하여 그라데이션을 역으로 곱하는 과정이 포함됩니다.

각 변수에 대한 최종 기울기는 각 값을 연결하고 체인 규칙을 적용하여 얻습니다.

계산 노드는 다양한 세부 단위로 정의할 수 있으며, 로컬 그라데이션을 결정할 수 있는 한 노드를 더 복잡한 노드로 그룹화할 수 있는 옵션도 있습니다.

계산 그래프와 그라데이션 이해하기

계산 그래프는 공통의 로컬 그라데이션을 가진 노드를 그룹화하여 복잡한 그라데이션 계산을 단순화하는 데 도움이 됩니다.

로컬 그래디언트를 사용하면 역전파 및 체인 규칙을 쉽게 적용하여 그래디언트를 효율적으로 계산할 수 있습니다.

계산 그래프에서 추가 게이트와 최대 게이트와 같은 다양한 유형의 게이트는 그래디언트 흐름과 분포 측면에서 직관적으로 해석할 수 있습니다.

그라데이션 라우팅 및 역전파 이해하기

최대 게이트는 그라데이션을 최대값을 가진 분기로 라우팅하여 그라데이션 라우터 역할을 합니다.

곱셈 게이트는 다른 분기의 값에 따라 업스트림 그라데이션을 스케일링하는 그라데이션 전환기 역할을 합니다.

한 지점에 연결된 여러 노드의 그라데이션은 다변량 체인 규칙을 사용하여 합산되어 총 업스트림 그라데이션이 해당 노드로 다시 흐르게 됩니다.

자코비안 행렬은 특히 여러 개의 입력 배치로 작업할 때 매우 커질 수 있어 계산이 비실용적일 수 있습니다.

실제로 자코비안 행렬은 대각선 구조를 갖는 경우가 많으므로 전체 행렬을 공식화하지 않고 입력값이 출력에 미치는 영향을 사용할 수 있습니다.

W에 대한 기울기를 구하기 위해 역전파를 수행할 때는 W의 각 요소에 대한 q의 각 요소의 영향을 고려하여 W에 대한 q의 국부적 기울기를 계산해야 합니다.

W-1-1에 대한 q의 첫 번째 요소의 기울기는 X-1입니다.

연쇄 규칙을 사용하면 각 W-i, j에 대한 f의 기울기는 q-i 곱하기 x-j의 2 배입니다.

x에 대한 기울기는 자코비안의 전치와 같으며 x와 같은 모양을 갖습니다.

체인 규칙 및 그라데이션 계산을 위해 포워드 패스의 값을 캐시하여 백워드 패스에서 사용하는 것이 중요합니다.

많은 딥러닝 프레임워크는 모듈화된 구조를 따르며, 서로 다른 계산 노드가 포워드 및 백워드 패스를 구현합니다.

역전파는 신경망에서 기울기를 계산하는 핵심 기술로, 체인 규칙을 재귀적으로 적용하여 모든 중간 변수에 대한 기울기를 계산합니다.

신경망에서 선형 레이어와 비선형 함수의 역할

신경망은 비선형 함수를 사이에 두고 선형 레이어를 쌓아올려 복잡한 계층적 계산 프로세스를 만듭니다.

이 구조 덕분에 채점 함수에서 여러 템플릿과 모드를 사용할 수 있어 하나의 템플릿만 사용할 수 있는 한계를 극복할 수 있습니다.

두 번째 레이어에 있는 템플릿의 가중치 합계(W-two)는 점수 조합을 허용하여 동일한 클래스의 다양한 변형을 채점할 수 있는 유연성을 제공합니다.

신경망은 2계층 시스템을 사용하며, 이를 확장하여 임의의 깊이를 가진 심층 신경망을 만들 수 있습니다.

2계층 신경망의 구현은 비교적 간단하며 약 20줄로 구현할 수 있습니다.

신경망을 생물학적 뉴런에 비유하면 신호의 통합, 충동의 전달, 뉴런의 발화 속도를 나타내는 활성화 함수의 역할이 포함됩니다.

ReLU 함수와 신경망 아키텍처의 역할

ReLU 함수는 뉴런의 행동과 유사한 핵심 비선형성으로 강조되지만, 생물학적 뉴런에 비유하는 것은 훨씬 더 복잡하다는 주의를 기울여야 합니다.

뉴런의 레이어를 효율적으로 평가하기 위해 완전히 연결된 레이어와 숨겨진 레이어를 포함한 다양한 유형의 활성화 함수와 신경망 아키텍처가 논의됩니다.

다음 논의에서는 컨볼루션 신경망을 다룰 계획으로, 신경망에서 생물학으로부터의 느슨한 영감이 강조됩니다.