[단단한 머신러닝 - 연습문제 참고 답안]Chapter12 - 젠센Jensen 부등식(식 12.4)을 증명하라.

젠센 부등식 증명 (Jensen's Inequality)

젠센 부등식은 모든 컨벡스 함수(convex function)에 대해 다음과 같은 식을 만족합니다.

\[
f(\mathbb{E}(x)) \leq \mathbb{E}(f(x))
\]

이를 증명해보겠습니다.

증명

컨벡스 함수 \( f \)의 정의에 따르면, \( f \)는 다음 조건을 만족합니다.

\[
f(\theta x_1 + (1-\theta) x_2) \leq \theta f(x_1) + (1-\theta) f(x_2)
\]
여기서 \( 0 \leq \theta \leq 1 \)입니다.

이를 수학적 기댓값을 이용하여 일반화하면,

\[
f\left(\sum_{i=1}^{n} \theta_i x_i\right) \leq \sum_{i=1}^{n} \theta_i f(x_i)
\]
여기서 \(\sum_{i=1}^{n} \theta_i = 1\)이고, 각 \(\theta_i \geq 0\)입니다.

이제, \( x \)가 확률 변수이고, \(\theta_i\)가 확률 변수 \( x \)가 \( x_i \) 값을 가질 확률이라고 가정합니다. 그러면 \(\mathbb{E}(x) = \sum_{i=1}^{n} \theta_i x_i\)입니다.

따라서, 컨벡스 함수의 정의에 따라,

\[
f\left(\mathbb{E}(x)\right) = f\left(\sum_{i=1}^{n} \theta_i x_i\right) \leq \sum_{i=1}^{n} \theta_i f(x_i) = \mathbb{E}(f(x))
\]

즉, 젠센 부등식이 성립함을 알 수 있습니다.

\[
f(\mathbb{E}(x)) \leq \mathbb{E}(f(x))
\]

따라서, 젠센 부등식은 증명되었습니다.