[Coursera] 머신러닝 2주차 강의정리

Linear Regression

Linear Regression 은 우리 말로 선형 회귀(?) 라고 하는데 별로 와닿지 않습니다.

간단히 말하면, Linear Regression이란 어떤 두 개의 변수 사이의 선형 상관관계를 모델링하는 것입니다.

Andrew Ng이 말했던 집 값의 상관관계를 예로 들어 보겠습니다.

일반적으로 집의 크기가 클 수록 가격이 높게 나타납니다.

위의 그래프와 같은 데이터가 있다면 상관관계를 우측 상향하는 직선으로 표현할 수 있습니다.

그렇다면 저 직선은 어떻게 해야 정확하게 그릴 수 있을까요?

(직선을 정확하게 그린다는 말은 실제와 비슷한 예측모델을 만든다는 말을 의미합니다)

바로 경사하강법(Gradient Descent)을 통해 조정할 수 있습니다.

Gradient Descent

Gradient Descent 알고리즘은 다음과 같은 식으로 표현됩니다.

만일 alpha 값이 작다면 조금씩 이동하고, alpha 값이 크다면 가파르게 이동합니다.

그런데 만약 그래프가 2차원이 아니라 3차원이라면?

변곡점이 여러 개 생기게 되므로 다음과 같은 local optima에 빠질 수 있습니다.

이렇게 되면 실제 값과 더 가까운 예측 값을 놓치게 되는 것입니다.

이처럼 Gradient Descent 에서는 항상 기울기가 작은 쪽으로 이동하기 때문에

위와 같은 문제가 발생할 수 있습니다.