[단단한 머신러닝 - 연습문제 참고 답안]Chapter3 - 선형 모델 3.1 - 3.2

3장 해답은 코드가 많아 한번에 올리지 않고 분할해서 업로드하겠습니다.

 

3.1 식 3.2에서 바이어스 항 b에 대해 고려하지 않아도 되는 상황을 설명하라.

샘플 x의 어떤 속성 xi가 고정값일 경우, wixi+b는 편향항과 동일하기 때문에 wibi+b 는 b가 된다.

 

 

3.2 파라미터 w에 대해, 로지스틱 회귀의 목표 함수 식 3.18은 넌컨벡스non-convex이지만, 해당 로그 우도 함수는 컨벡스convex라는 것을 증명하라.

 

만약 어떤 다변수 함수(다변량 함수)가 컨벡스(convex)라면, Hessian 행렬은 positive semi-definite 행렬이다.

$xx^T$는 단위 행렬과 합동이기 때문에 $xx^T$는 positive semi-definite 행렬이다.

y값의 영역이(0,1) 이고 y ∈ (0.5, 1)일때 y(y-1)(1-2y)<0은 $d/dw^T(dy/dw)$ negative semi-definite 를 도출 가능하기 때문에, $y = 1/(1+e^-(w^Tx+b)$)는 non-convex이다.

확률 p1 ∈ (0,1) 일 때, p1(x; β)(1-p1(x;β)) ≥ 이기 때문에,

는 컨벡스이다.