Blame

9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
1
# Subgradient a subdiferenciál a Fenchelova transformace
2
3
<div style="visibility:hidden;height:0;overflow:hidden;margin:0;padding:0">
4
5
```math
6
\newcommand{\LetThereBe}[2]{\newcommand{#1}{#2}} \newcommand{\letThereBe}[3]{\newcommand{#1}[#2]{#3}}
7
\letThereBe{\addTag}{2}{\cssId{#1-#2}{\tag{#2}}} \letThereBe{\addLabel}{2}{\cssId{#1-#2}{\text{#2}}} \letThereBe{\refTag}{2}{\href{###1-#2}{(\text{#2})}}
8
\letThereBe{\eqT}{1}{\addTag{eq}{#1}}\letThereBe{\secT}{1}{\addLabel{sec}{#1}}
9
\letThereBe{\eqRef}{1}{\refTag{eq}{#1}} \letThereBe{\secRef}{1}{\refTag{sec}{#1}}
10
\letThereBe{\eqRefAt}{2}{\href{#2\#eq-#1}{(\text{#1})}}
11
\letThereBe{\secRefAt}{2}{\href{#2\#sec-#1}{(\text{#1})}}
12
\LetThereBe{\R}{\mathbb{R}} \LetThereBe{\N}{\mathbb{N}}
13
\letThereBe{\rcases}{1}{\left.\begin{align}#1\end{align}\right\}}
14
\letThereBe{\rcasesAt}{2}{\left.\begin{alignat}{#1}#2\end{alignat}\right\}}
15
\letThereBe{\lcases}{1}{\begin{cases}#1\end{cases}}
16
\letThereBe{\lcasesAt}{2}{\left\{\begin{alignat}{#1}#2\end{alignat}\right.}
17
\letThereBe{\scal}{2}{\langle #1, #2 \rangle} \letThereBe{\norm}{1}{\left\lVert #1 \right\rVert} \LetThereBe{\dist}{\rho}
18
\LetThereBe{\and}{\&}\letThereBe{\brackets}{1}{\left\{ #1 \right\}}
19
\letThereBe{\parc}{2}{\frac {\partial #1}{\partial #2}}
20
\letThereBe{\mtr}{1}{\begin{pmatrix}#1\end{pmatrix}}
21
\letThereBe{\bm}{1}{\boldsymbol{#1}} \letThereBe{\mcal}{1}{\mathcal{#1}}
22
\letThereBe{\vv}{1}{\mathbf{#1}}\letThereBe{\vvp}{1}{\pmb{#1}}
23
\LetThereBe{\ve}{\varepsilon} \LetThereBe{\l}{\lambda} \LetThereBe{\th}{\vartheta} \LetThereBe{\a}{\alpha}
24
\letThereBe{\conv}{1}{\mathrm{conv}\, #1} \letThereBe{\cone}{1}{\mathrm{cone}\, #1}
25
\letThereBe{\aff}{1}{\mathrm{aff}\, #1} \letThereBe{\lin}{1}{\mathrm{Lin}\, #1} \letThereBe{\span}{1}{\mathrm{span}\, #1}
26
\LetThereBe{\O}{\mathcal O}
27
\letThereBe{\ri}{1}{\mathrm{ri}\, #1} \letThereBe{\rd}{1}{\mathrm{r}\partial\, #1} \letThereBe{\interior}{1}{\mathrm{int}\, #1}
28
\LetThereBe{\proj}{\Pi} \letThereBe{\epi}{1}{\mathrm{epi}\, #1}
29
\letThereBe{\grad}{1}{\mathrm{grad}\, #1} \letThereBe{\hess}{1}{\nabla^2\, #1}
30
\letThereBe{\subdif}{1}{\partial #1} \letThereBe{\co}{1}{\mathrm{co}\, #1}
31
\letThereBe{\iter}{1}{^{[#1]}}
32
\letThereBe{\set}{1}{\left\{ #1 \right\}}
33
```
34
35
</div>
36
37
### Subgradient a subdiferenciál
38
39
##### **Definice** $\secT{2.5.1}$ (Subgradient a subdiferenciál)
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
40
Nechť $X \subseteq \R^n$ je konvexní množina. Vektor $a \in \R^n$ se nazývá **subgradient** funkce $f: X \to \R$ v bodě $x^*\in X$, jestliže
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
41
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
42
$$f(x) - f(x^*) \geq \scal a {x - x^*} \eqT{2.5.1}$$
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
43
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
44
pro každé $x \in X$. Množina všech **subgradientů** funkce $f$ v bodě $x^*$ se nazývá **subdiferenciál** funkce $f$ v bodě $x^*$ a značí se $\subdif f(x^*)$. Funkce $f$ se nazývá **subdiferencovatelná** v bodě $x^*$, jestliže $\subdif f(x^*) \neq \emptyset$.
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
45
a52b87 Štěpán Zapadlo 2026-03-27 23:17:00
Fix more refs to different pages
46
> Jistě platí podle Věty $\secRefAt{2.4.2}{./Konvexní funkce}$ i $\grad f(x^*) \in \subdif f(x^*)$
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
47
419e36 Štěpán Zapadlo 2026-03-27 23:25:40
Fix refs
48
Speciálně, je-li $f:X \subseteq \R \to \R$ **konvexní** a $x^*\in \ri X$, pak podle Věty 2.5.7 (viz prezentace) existují **jednostranné** derivace $f'_ +(x^*), f'_ -(x^*)$, přičemž platí $f'_ -(x^*) \leq f'_ +(x^*)$. V tomto případě pak máme
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
49
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
50
$$\subdif f(x^*) = [f'_ -(x^*), f'_ +(x^*)]$$
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
51
52
##### **Věta** $\secT{2.5.4}$
53
Nechť $X \subseteq \R^n$ je konvexní množina a $f: X \to \R$
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
54
- Je-li funkce $f$ **konvexní** a $x^*\in \ri X$, pak $\subdif f(x^*)$ je **neprázdná, uzavřená** a **konvexní** množina
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
55
- Je-li $\subdif f(x)$ **neprázdná** pro každé $x \in X$, pak $f$ je **konvexní** na $X$
56
57
### Fenchelova transformace
58
419e36 Štěpán Zapadlo 2026-03-27 23:25:40
Fix refs
59
Fenchelova transformace je transformace, která k funkci $f: X \subseteq \R^n \to \R$ přiřadí **konvexní** funkci $f^*: \R^n \to \R$. Této přidružené funkci $f^*$ se v řeči *optimalizace/matematického programování* říká **duální úloha** (viz Definice $\secRefAt{4.3.3}{./Duální úloha}$).
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
60
61
##### **Definice** $\secT{2.6.1}$ (Fenchelova transformace)
62
Nechť $f: \R^n \to \R$. Funkce
63
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
64
$$f^*(y) := \sup_{x \in \R^n} [\scal x y - f(x)]$$
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
65
66
se nazývá **Fenchelova transformace** funkce $f$ (nebo také **(konvexně) konjugovanou funkcí** funkce $f$).
67
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
68
> Jistě $f: \R^n \to \R \cup \set{\infty}$ a proto definujeme ještě **efektivní definiční obor** $D^*(f) = \set{x \in D(f) \mid f(x) < \infty}$
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
69
70
##### **Lemma** $\secT{2.6.3}$
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
71
Nechť je dána funkce $f: X \subseteq \R^n \to \R$ a $f^*$ je její Fenchelova transformace. Pak následující tvrzení jsou pravdivá:
72
- Funkce $f^*$ je konvexní na množině $Y := \set{y \in \R^n \mid f^*(y) < \infty}$
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
73
- Pro každé $x \in X$ a $y \in \R^n$ platí tzv. *Fenchelova(-Youngova) nerovnost*
74
75
```math
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
76
f(x) + f^*(y) \geq \scal x y
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
77
```
78
79
přičemž **rovnost nastane** právě tehdy, když $y \in \subdif f(x)$.
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
80
- Je-li $f(x) \geq g(x)$ na $X$, pak $f^*(y) \leq g^*(y)$ pro všechna $y \in \R^n$.
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
81
82
##### **Věta** $\secT{2.6.6}$ (Fenchel & Moreau)
83
Nechť $X \subseteq \R^n$ je konvexní množina a funkce $f: X \to \R$ **konvexní** na $X$. Pak v **každém bodě spojitosti** funkce $f$ platí tzv. *Fenchelova rovnost*
84
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
85
$$f^{**} = f$$
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
86
be2367 Štěpán Zapadlo 2026-03-27 23:13:31
Fix starred symbols in subgradient
87
> Jinak řečeno, **druhá** Fenchelova transformace ke **konvexní** funkci je s touto funkcí **totožná**, tj. $f^{**} \equiv f$ pro $f$ **konvexní**. Navíc jelikož $f^*$ je vždy konvexní, tak dostáváme, že počítat **třetí** Fenchelovu transformaci $f^{***}$ nemá smysl, protože bude totožná s první Fenchelovou transformací $f^*$
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
88
89
##### **Definice** $\secT{2.6.7}$ (Obálka funkce)
90
Nechť $X \subseteq \R^n$ je konvexní množina a $f: X \to \R$. Potom funkce
91
92
$$g(x) := \sup \set{h(x) \mid h \text{ je konvexní a } h(x) \leq f(x) \; \forall x \in X}$$
93
94
se nazývá **konvexní obálka (obal) funkce** $f$ a značí se $\co f$.
95
96
> Jinak řečeno, $\co f$ je **největší** konvexní funkce, která je **majorizována** funkcí $f$
97
98
Jistě platí $D(\co f) = \conv (D (f))$, z čehož plyne $\conv (\epi f) \subseteq \epi (\co f)$
99
8b122f Štěpán Zapadlo 2026-03-28 10:52:10
Change to local image
100
![Konvexní obálka](./image-1774695113022.png)
9a9648 Štěpán Zapadlo 2026-03-27 23:10:14
Add subgradient
101
102
Zde $\conv (\epi f) = \epi {|x|} \setminus \set{0}$, ale $0 \in \epi (\co f)$
103
104
##### **Věta** $\secT{2.6.9}$
105
Nechť $X \subseteq \R^n$ je konvexní množina a $f: X \to \R$. Potom pro každé $x \in \ri X$ platí
106
107
$$\co f(x) = f^{* * }(x)$$