Machine Learning Frameworks <7-1>

<< 7주차 Lecture Note 1번째>>

• Problems of Linear Regression Inference
• Gradient Calculation

---

Problems of Linear Regression Inference

 

2024.05.25 - [KOOC/DataScience Programming] - Linear Regression Advanced <6-1>

Linear Regression Advanced <6-1>

 

 

Multivariate에는 단순 선형만 있는 것은 아니고,Non-linear한 모델도 존재한다.

앞에서 Multivariate Linear Regression 모델의 파라미터 추정 방법에 대해 배웠는데,

이 떄 optimize 하는 방식은 equality로 이루어진 방정식이었다.

 

파라미터 추정 공식을 다시 써보면,

 

$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y$

 

이것은 추정값을 정확하게 딱 찝어 계산하는 Closed form 이었다.

 

이러한 파라미터 추정법에는 문제가 있다.

• matrix를 inverse 하는 부분이 매우 어려운 경우가 존재한다.
• Non-linear 한 모델에서 사용하기 어렵다.

 

이런 문제때문에, 모든 데이터에서 close form인 파라미터 추정법을 사용하기엔 한계가 있다.

그래서 그 대안으로 나온 방법이 Gradient Calculation 이다.

 

---

Gradient Calculation

 

Gradiendt Calculation 이란,

closed form 처럼 equlity로 구성된 추정 방정식이 아니라,

optimize한 파라미터값에 Approximate 하는 방법이다.

그러니까, 초기에 주어진 모델과 임의의 파라미터값으로부터 그 모델이 최적화 되는 파라미터가 될 때 까지

파라미터를 미세하게 업데이트 하며 optimize 한 값을 찾는 거다.

 

 

파라미터를 추정할 때에는 $Y$ 와 $\hat{Y}$ 의 deviation으로부터 시작한다.

closed form에서는 $\hat{\theta }=argmi{n}_{\theta }(Y-X\theta {)}^2$ 를 matrix 형태로 미분해서 계산하지만,

Approximated form 에서는 모든 $\theta$ 에 대해 편미분 후 가중값(weight)을 부여해 optimize 한 $\theta$에 근사 시킨다.

 

유도 식은 아래와 같다.

 

 

 

${\theta }_k^{t+1}$ 은 t 시점의 ${\theta }_k^t$ 과 가중값 $h$ 와 ${\theta }_k^t$의 곱의 차이로 계산된다.

Gradient Calculation은 이 과정을 $\theta$가 수렴할 때까지 반복한다.