[Coursera] 머신러닝 3주차 강의정리

Logistic Regression

Logistic Regression이란, 우리말로 로지스틱 회귀라고 하는데, 역시 전혀 감이 안옵니다.

간단히 설명하자면, Logistic Regression은 분류(Classification)를 위한 예측모델입니다.

특히 Negative 또는 Positive, 즉 0 또는 1로 정의되는 이항형 문제에서 사용됩니다.

Anderw Ng이 들었던 예시는 다음과 같습니다.

어떤 암 환자의 종양의 크기에 따라 이것이 악성인지 아닌지를 판단하는 문제입니다.

만일 Linear Regression 처럼 선형 모델을 만들게 되면,

종양이 아주 큰 경우에 대해 예측 값이 틀리게 되며, 이러한 오버피팅이 자주 발생하게 됩니다.

따라서 No를 0, Yes를 1로 가정했을 때, feature를 어떻게 0과 1의 범위에 포함시켜야 할까요?

규칙은 다음과 같습니다. h(x)가 0.5보다 크면 1, 작으면 0으로 수렴하는 것입니다.

그래프를 그려보면 곡선형태를 보이는데, 이를 시그모이드 함수(Sigmoid Function)라고 합니다.

Cost Function

Sigmod Function은 다음과 같은 식으로 정의됩니다.

이를  h(x) 함수에 적용시켜보면 다음과 같은 로지스틱 함수가 나타납니다.

Cost Function 또한 Linear Regression과 조금 다르게 바뀝니다.

Logistic Regression도 최적화를 위해 Gradient Descent 알고리즘을 사용합니다.

후 이제 점점 어려워지는 느낌...