Inequality - Cauchy, Hölder Minkowski, Young

대소 비교는 해석학에서 가장 중요한 기술이다. 따라서 다수의 부등식을 익혀야 하는데 생각나는대로 정리해 두자.

많은 중요 부등식은 서로 동치이고 증명의 방법도 많다. 여기에 소개하는 증명은 취향에 의해 선택된 경우가 많다.

처음 등장하는 부등식은 코시 부등식이다.

코시 부등식

Cauchy's Inequality $$ \left(\sum_{i=1}^n a_i^2\right) \left(\sum_{i=1}^n b_i^2\right) \ge \left(\sum_{i=1}^n a_i b_i\right)^2 $$

코시 부등식은 가장 많은 증명이 제시된 부등식이기도 한데 일단 라그랑제 항등식을 이용하는 것부터 살펴보자.

Lagrange's Identity $$ \left(\sum_{i=1}^n a_i^2\right) \left(\sum_{i=1}^n b_i^2\right) - \left(\sum_{i=1}^n a_i b_i\right)^2 = \frac12 \sum_{i=1}^n \sum_{j=1}^n \left(a_ib_j -a_jb_i\right)^2 $$

증명은 글로 쓰려니 괴로워서 동영상으로 대체한다.

. . . . . . . . . . . . . . . . . .

얀센 부등식 ( Jensen's Inequality )

볼록성(convexity)의 정의부터 소개해야 한다. 이 글에서는 볼록이라고 하면 '아래로' 볼록을 뜻한다.

Convexity

A function $ f : [a,b] \longrightarrow \mathbb{R} $ is called convex if for all $x,y \in [a,b] $ and $\forall p, \; 0 \le p \le 1$, it satisfies $$ f(px+(1-p)y) \le pf(x) + (1-p)f(y). $$

볼록성을 확장하면 얀센 부등식을 얻게 된다.

Suppose that $f : [a,b] \longrightarrow \mathbb{R} $ and nonnegative real numbers $p_i$ , $i=1,2,\cdots,n$ with $$ p_1+p_2+\cdots+p_n=1. $$ For all $x_i \in [a,b] $, $i=1,2,\cdots,n$, one has $$ f(p_1x_1+p_2x_2 + \cdots + p_nx_n) \le p_1f(x_1)+p_2f(x_2)+\cdots+p_nf(x_n) $$

증명은 귀납법을 이용한다.

볼록성은 두 값에 관한 이야기이니 다수의 변수를 두 변수로 압축해보자. $$ p_1x_1+p_2x_2 + \cdots + p_nx_n = p_1x_1 + (1-p_1)\left\{ \frac{p_2}{1-p_1} x_2 + \cdots + \frac{p_n}{1-p_1} x_n\right\} $$ 를 이용하면 $$ f(p_1x_1+p_2x_2 + \cdots + p_nx_n) \le p_1f(x_1) + (1-p_1) f\left( \frac{p_2}{1-p_1} x_2 + \cdots + \frac{p_n}{1-p_1} x_n \right) $$ 을 얻는다. 이제 $f$ 내부에 변수가 $n-1$ 개로 줄었음에 주목하자. 그리고 $$ \frac{p_2}{1-p_1} + \frac{p_3}{1-p_1}+\cdots+\frac{p_n}{1-p_1} = 1$$ 이 성립하므로 귀납가정을 적용하면 원하는 결과를 얻는다.

. . . . . . . . . . . . . . . . . .

멱평균 부등식

멱평균 부등식(Power Mean Inequality) 양수 가중치 $(p_k)_{k=1}^n : p_1+p_2+\cdots+p_n=1$ 에 대해서 $-\infty \lt s \lt t \lt \infty $이면 임의의 음이 아닌 실수열 $(x_k)_{k=1}^n$ 이 $$ \left\{ \sum_{k=1}^n p_k x_k^s \right\}^{\frac1{s}} \le \left\{ \sum_{k=1}^n p_k x_k^t \right\}^{\frac1t} $$ 을 만족한다.

범위 $-\infty \lt s \lt t \lt \infty $를 살펴보면 두 실수 $s\lt t$는 양의 실수일 필요는 없지만, 증명은 $0 \lt s \lt t $ 인 경우만 하겠다.

앞서 증명한 얀센 부등식을 활용해보자. $\alpha=\frac{t}{s} \gt 1$ 라 두면 $f(z)=z^{\alpha} $는 볼록함수이다. 따라서 $$ \left\{ \sum_{i=1}^n p_kz_k \right\}^{\alpha} \le \sum_{i=1}^n p_k z_k^{\alpha} $$ 가 성립한다. $z_k=x_k^s $ 로 치환하면 원하는 결과를 얻는다.

. . . . . . . . . . . . . . . . . .

영(Young)의 부등식

Young's inequality

$p \gt 1$ 과 $q \gt 1$ 이 $\frac1{p}+\frac1{q}=1$ 을 만족시킬 때, 음이 아닌 두 실수 $A,B$에 대해서 $$ AB \le \frac{A^p}{p} + \frac{B^q}{q} $$ 이 성립한다.

영 부등식을 역함수의 그래프를 이용하여 증명해보자.

. . . . . . . . . . . . . . . . . .

정규화(Normalization) - 헬더 부등식과 민코프스키 부등식

학부 해석학과 기하학에서는 주로 '거리'가 정의된 공간을 다루는데 거리는 다양한 방식으로 정의할 수 있다. 그리고 많은 경우 Norm 을 이용해서 거리를 정의한다.

헬더(Hölder) 부등식과 민코프스키(Minkowski) 부등식은 norm 과 관련된 중요한 부등식이다. 출현 빈도가 높지는 않지만 이들 부등식의 증명을 보는 것은 '정규화'가 어떻게 사용되는지를 알게 해주는 좋은 기회가 된다.

Hölder's inequality

$p \gt 1$ 과 $q \gt 1$ 이 $\frac1{p}+\frac1{q}=1$ 을 만족시킬 때, 음이 아닌 실수열 $ (a_k)_{k=1} $, $(b_k)_{k=1}$에 대해서 부등식 $$ \sum_{k=1}^n a_kb_k \le \left(\sum_{k=1}^n a_k^p \right)^{\frac1{p}} \left(\sum_{k=1}^n b_k^q \right)^{\frac1{q}} $$ 이 성립한다.

헬더 부등식의 우변은 두 항이 곱해져 있음에 유의하자. 다음 민코프스키 부등식은 우변 두 항이 더해져 있다.

Minkowski's inequality

$p\ge 1$ 일 때, 실수열 $ (a_k)_{k=1} $, $(b_k)_{k=1}$에 대해서 부등식 $$ \sum_{k=1}^n |a_k+b_k|^p \le \left(\sum_{k=1}^n |a_k|^p \right)^{\frac1{p}} + \left(\sum_{k=1}^n |b_k|^p \right)^{\frac1{p}} $$ 이 성립한다.

벡터 $ \mathrm{x} = (x_1, x_2, \cdots, x_n) $에 대해서 $p$ norm 을 다음으로 정의한다. $$ \lVert \mathrm{x} \rVert_{p} = \left(x_1^p+x_2^p+\cdots +x_n^p\right)^{\frac1{p}} $$

$p\lt q$ 이면 $\lVert \mathrm{x} \rVert_{p} \ge \lVert \mathrm{x} \rVert_{q}$ 가 성립한다. 증명은 살짝 기교적이다.

일단 다음 식으로 시작한다. $$\left(x_1^p+x_2^p+\cdots+ x_n^p \right)^{\frac{q}{p}} = \left(x_1^p+x_2^p+\cdots+x_n^p \right)^{\frac{q-p}{p}} \left(x_1^p+x_2^p+\cdots+ x_n^p \right) $$ 식이 복잡해지니 $ A=\left(x_1^p+x_2^p+\cdots+x_n^p \right)^{\frac{q-p}{p}} $ 로 두자.

우변에 분배 법칙을 적용하면 $$ A \cdot x_1^p + A \cdot x_2^p + \cdots + A \cdot x_n^p \;\;\;\cdots \;\;\; (*) $$ 이 된다. 그리고 각 $i\in \left\{ 1,2,\cdots,n\right \}$ 에 대해서 $$ A= \left(x_1^p+x_2^p+\cdots+x_n^p \right)^{\frac{q-p}{p}} \ge \left(x_i^p \right)^{\frac{q-p}{p}} $$ 이 성립함을 이용하자.

(*) 에서 $$ \begin{eqnarray} A \cdot x_1^p + A \cdot x_2^p + \cdots + A \cdot x_n^p & \ge & \left(x_1^p \right)^{\frac{q-p}{p}} \cdot x_1^p + \left(x_2^p \right)^{\frac{q-p}{p}} \cdot x_2^p + \cdots + \left(x_1^p \right)^{\frac{q-p}{p}} \cdot x_n^p \\ & = & x_1^q + x_2^q + \cdots + x_n^q \end{eqnarray} $$

이제 거슬러 가서 최초의 식과 비교하면 $$ \left(x_1^p+x_2^p+\cdots+ x_n^p \right)^{\frac{q}{p}} \ge x_1^q + x_2^q + \cdots + x_n^q $$ 을 얻는다.

. . . . . . . . . . . . . . . . . .

The number $e$

밑과 지수가 같이 변화하는 형태 $ \lim\limits_{t->\alpha} a(t)^{b(t)} $ 의 극한은 시험에도 자주 나온다. 관련된 것 중에서 으뜸은 자연로그의 밑이다.

자연로그의 밑

다음의 식 \begin{eqnarray} \left(1+\frac1n \right)^n & = & 1+1+ \frac1{2!}\left(1-\frac1{n}\right)+ \cdots + \frac1{k!}\left(1-\frac1{n}\right)\left(1-\frac2{n}\right)\cdots\left(1-\frac{k-1}{n}\right) + \cdots \nonumber\\ & \lt & 1+1+\frac1{2!}+\frac1{3!}+\cdots+\frac1{k!}+\cdots+\frac1{n!} \nonumber\\ & \lt & 1+1+\frac12+\frac1{2^2}+\cdots+\frac1{2^{k-1}}+\cdots+ = 3 \end{eqnarray} 은 여러 가지를 말해준다. 등식의 왼쪽항 $(1+1/n)^n$이 증가하지만, 증가하는데 한계가 있음을 모두 보여준다.

종종 등장하는 다음의 결과들과 함께 기억하는 것이 좋다. $n > 3$일 때, \begin{eqnarray} \left(1+\frac1n\right)^{n} & \lt & n\ \Leftrightarrow (n+1)^n \ & \lt & n^{n+1}\ \Leftrightarrow (n+1)^{\frac1{n+1}} & \lt & n^{\frac1n} \end{eqnarray} 가 성립한다.

또한 중간과정을 변형하여 \begin{eqnarray} n+1 & \lt & n^{\frac{n+1}n} \ \Leftrightarrow 1 & \lt & n\left(n^{1/n} - 1\right) \ \Leftrightarrow \frac1n & \lt & \left(n^{1/n} - 1\right) \end{eqnarray} 을 얻는다.

Summation By Parts

Abel에게 credit이 있는 것으로 간주되는 다음의 식 $$ \sum_{k=1}^n a_k b_k = \sum_{k=1}^n s_k(b_k - b_{k+1}) + s_n b_{n+1} $$ 은 숙지하는 편이 좋다. 싫다면 이 사이트를 빠르게 벗어나길 바란다. 이 식은 복잡한 급수의 수렴을 판단하는

Dirichlet's Test

Let $\sum_{n=1}^\infty a_n$ be a series whose sequence of partial sum $S_n$ is bounded.
If $\sum_{n=1}^\infty |b_n - b_{n+1}|$ converges and $\lim_{n \rightarrow \infty} b_n = 0$, then $\sum_{n=1}^\infty a_n b_n$ converges.

Abel's Test

Let $\sum_{n=1}^\infty a_n$ be a series whose sequence of partial sum $S_n$ converges.
If $\{b_n\}$ is bounded and monotone sequence, then $\sum_{n=1}^\infty a_n b_n$ converges.

가 성립함을 증명하는데 사용될 수 있다.

$\sum$이 적분의 일종이라는 점을 생각하면서 위의 식을

(잘 들여다)

보면 부분적분이 보인다.

. . . . . . . . . . . . . . . . . .

재배열 부등식(The Rearrangement Inequality) $ -\infty \lt a_1 \le a_2 \le \cdots \le a_n \lt \infty $ 이고 $ -\infty \lt b_1 \le b_2 \le \cdots \le b_n \lt \infty $ 일 때, $$ \sum_{i=1}^n a_i b_{n-i+1} \le \sum_{i=1}^n a_i b_{\sigma(i)} \sum_{i=1}^n a_i b_i $$