선형 회귀: 기초 및 확률적 그라데이션 하강

### 선형 회귀 및 그라데이션 하강 이해
* 🏠 선형 회귀는 회귀 문제에 사용되는 간단한 지도 학습 알고리즘으로, **집값과 같은 연속적인 값을 예측**하는 것이 목표입니다.
* 📊 이 알고리즘은 주택 크기 및 가격과 같은 입력 특징(X)과 목표 값(Y)의 데이터 세트에 **직선을 맞추는 작업**을 포함합니다.
* 📝 선형 회귀에 대한 가설 함수는 **h(x) = θ₀ + θ₁x₁ + θ₂x₂ + ... + θₙxₙ**로 정의되며, 여기서 θ는 매개변수 벡터이고 x는 특징 벡터입니다.
* 선형 회귀의 비용 함수는 **J(θ) = 1/2m ∑(h(x) - y)²**이며, 여기서 m은 학습 예제 수입니다.
* 🔄 그라디언트 하강은 **파라미터 θ를 반복적으로 업데이트**하여 비용 함수를 최소화하는 데 사용됩니다.
* 🔢 경사 하강에 대한 업데이트 규칙은 **θⱼ := θⱼ - α * ∂J(θ) / ∂θⱼ**이며, 여기서 **α는 학습 속도**입니다.
* 📉 선형 회귀에서 비용 함수 J(θ)는 **볼록한 보울 모양**을 형성하므로 기울기 하강은 **전역 최소값**으로 수렴합니다.
* 📈 학습 속도(α)는 **수렴 속도와 안정성의 균형**을 맞추기 위해 신중하게 선택해야 하는 하이퍼파라미터입니다.

### 선형 회귀에서 그라데이션 하강과 정규 방정식 이해하기
* 📉 경사 하강은 **음의 경사 방향으로 매개 변수를 업데이트**하여 머신 러닝 모델의 비용 함수를 최소화하는 데 사용되는 반복 알고리즘입니다.
* 🔢 일괄 경사 하강은 전체 학습 집합을 사용하여 경사를 계산하므로 **각 매개변수 업데이트에 대해 전체 데이터 집합을 스캔**해야 하므로 대규모 데이터 집합의 경우 속도가 느립니다.
* 🔄 확률적 기울기 하강은 **한 번에 하나의 훈련 예제의 기울기만 사용**하여 매개변수를 업데이트하므로 대규모 데이터 세트의 경우 더 빠르지만 정확도는 떨어집니다.
* 🏆 정규 방정식은 선형 회귀를 위한 폐쇄형 솔루션을 제공하여 **반복적인 업데이트 없이 최적의 매개변수를 직접 계산**합니다.
* 📊 일반 방정식에서 최적의 세타는 **세타 = (X^T*X)^(-1)*X^T*y**로 계산되며, 여기서 X는 디자인 행렬이고 y는 레이블의 벡터입니다.
* 정규 방정식은 **선형 회귀에만 작동**하며 신경망과 같은 더 복잡한 모델에는 적용되지 않습니다.
* 🔍 행렬 도함수와 추적 연산자를 이해하면 **세타에 대한 비용 함수의 도함수를 0으로 설정하는 정규 방정식의 도출**을 단순화할 수 있습니다.
* 📈 경사 하강에서 학습 속도를 선택하는 것은 종종 경험적으로 이루어지며, 실무자는 **다양한 값을 시도**하고 특정 문제에 가장 적합한 값을 선택합니다.

선형 회귀는 일괄 또는 확률적 기울기 하강을 사용하여 데이터에 직선을 맞추는 지도 학습 알고리즘입니다.

Stanford CS229: Machine Learning - Linear Regression and Gradient Descent |  Lecture 2 (Autumn 2018)

You can gain access to a world of education through Stanford Online, the Stanford School of Engineering’s portal for academic and professional education offered by schools and units throughout Stanford University.  https://online.stanford.edu/

Our robust catalog of degree programs, credit-bearing education, professional certificate programs, and free and open content is developed by Stanford faculty, enabling you to expand your knowledge, advance your career, and enhance your life.

Stanford Online is operated and managed by the Stanford Center for Professional Development (SCPD), the global and online education unit within Stanford Engineering. SCPD works closely with Engineering departments, programs, and centers to design and deliver engaging, high quality online, in-person, and blended learning experiences to both matriculated students and a worldwide audience of learners. SCPD collaborates with many Stanford schools & centers to expand university-wide offerings available online.


Stanford Online

선형 회귀는 크기와 침실 수와 같은 특징을 기반으로 집값을 예측하는 등 지도 학습 및 회귀 문제에 사용되는 기본적인 학습 알고리즘입니다.

이 알고리즘은 입력된 특징의 선형 함수를 나타내는 가설을 사용하여 데이터 세트에 직선을 맞추는 방식으로 작동합니다.

입력 특징이 여러 개인 경우, 상수 값이 1인 더미 특징을 사용하여 알고리즘의 표기법을 단순화하면 가설을 더욱 간결하게 표현할 수 있습니다.

선형 회귀의 매개변수 및 표기법 이해하기

학습 알고리즘의 임무는 정확한 집값 예측을 가능하게 하는 매개변수(세타)를 선택하는 것입니다.

표기법에는 훈련 예제 수를 나타내는 M, 입력/특징을 나타내는 X, 출력/목표 변수를 나타내는 Y, 특징의 수를 나타내는 N이 포함됩니다.

선형 회귀 알고리즘의 목표는 세타 값을 선택하여 예측된 집값과 실제 집값의 제곱 차이를 최소화하는 것입니다.

선형 회귀 및 그라데이션 하강 이해

기울기 하강 알고리즘을 통해 선형 회귀에서 매개변수 Theta를 사용하여 세타의 비용 함수 J를 최소화합니다.

기울기 하강은 지역 최적값에 도달하는 것을 목표로 세타의 비용 함수 J를 줄이기 위해 세타 값을 반복적으로 변경하는 것을 포함합니다.

선형 회귀에서는 기울기 하강 알고리즘을 사용하여 각 단계에서 매개변수 세타를 업데이트하여 점차 최적값에 접근합니다.

세타의 그라데이션 하강과 부분 도함수 이해하기

그라데이션 하강에서는 파라미터 세타 j에 대한 세타의 비용 함수 J의 부분 미분을 기반으로 각 피처 j에 대해 세타 값이 업데이트됩니다.

부분 미분 계산에는 미분 연쇄 규칙이 포함되며 합의 각 항에 대해 H 세타 X에서 Y를 곱한 XJ로 단순화됩니다.

부분 도함수를 이해하는 것은 경사 하강 알고리즘에서 세타 값을 효과적으로 업데이트하는 데 매우 중요합니다.

선형 회귀에서 그라디언트 하강 이해하기

기울기 하강 알고리즘은 비용 함수의 미분을 기반으로 세타를 업데이트하며, 모든 특징값에 대해 수렴할 때까지 반복합니다.

선형 회귀의 비용 함수는 이차 함수를 형성하며, 그라데이션 하강은 항상 전역 최소값에 수렴합니다.

경사 하강에서 학습 속도를 선택하는 것은 매우 중요하며, 속도가 크면 오버슈팅이 발생할 가능성이 있고 속도가 작으면 수렴이 느려질 수 있습니다.

머신 러닝에서 그라데이션 하강 시각화하기

그라데이션 하강에는 반복할 때마다 데이터에 더 잘 맞도록 세타 매개변수를 변경하는 작업이 포함됩니다.

일괄 경사 하강 방법은 각 단계마다 전체 데이터 집합을 스캔해야 하므로 속도가 느리고 계산 비용이 많이 듭니다.

반면 확률적 경사 하강은 내부 루프에서 단 하나의 예제의 미분으로 파라미터를 업데이트하므로 더 빠르고 계산 집약적인 대안입니다.

확률적 경사 하강은 각 훈련 예제에 대한 파라미터를 업데이트해야 하므로 대규모 데이터 세트에서 더 빠르게 진행할 수 있습니다.

글로벌 최소값으로 수렴하지는 않지만 최신 머신 러닝에 일반적으로 사용됩니다.

시간이 지남에 따라 학습 속도를 낮추는 것은 진동을 줄이고 글로벌 최소값에 가까워지기 위한 일반적인 기법입니다.

그라디언트 하강과 정규 방정식 이해하기

경사 하강은 다양한 머신러닝 알고리즘에서 사용되는 반복 알고리즘이며, 정규 방정식은 선형 회귀에서 최적의 파라미터를 단 한 단계로 푸는 방법을 제공합니다.

정규 방정식은 선형 회귀에만 적용되며 이 강좌에서 다루는 다른 알고리즘에는 적용할 수 없습니다.

행렬 미분 표기법은 도출 과정을 단순화하기 위해 도입되어 학습 알고리즘을 도출할 때 더욱 편리합니다.

정규 방정식 도출 및 행렬 트레이스의 속성

정규방정식은 매개변수 세타에 대한 비용 함수 J의 미분을 취하고 이를 0으로 설정한 다음 세타를 풀어서 J의 전역 최소값에 도달하는 공식을 제공함으로써 유도됩니다.

대각선 항목의 합으로 표시되는 행렬의 트레이스는 그 전위의 트레이스와 같고, 고정 행렬 B에 대한 A의 트레이스의 미분은 B 전위와 같다는 등의 유용한 속성을 가지고 있습니다.

세타의 J에 대한 정규 방정식과 행렬 표기법에는 세타에 대한 미분을 구하고 비용 함수를 행렬 연산으로 표현하여 세타의 값을 푸는 것이 포함됩니다.

선형 회귀를 위한 정규 방정식 도출

설계 행렬 X는 훈련 예제의 열 벡터를 전치하여 구할 수 있습니다.

세타의 비용 함수 J는 X 세타에서 y를 뺀 값의 절반, X 세타에서 y를 뺀 값의 전치, 즉 오차의 제곱의 합으로 나타낼 수 있습니다.

세타의 최적 값은 정규 방정식에 의해 주어집니다: 세타는 X 역전 X, X 역전 y와 같으며, 이를 사용하여 세타의 글로벌 최소값을 구할 수 있습니다.