Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz), Kullback-Leibler-Entropie, Kullback-Leibler-Information oder Kullback-Leibler-Abstand (nach Solomon Kullback und Richard Leibler) bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen desselben Ereignishorizonts.

Vorsicht: Die KL-Divergenz wird auch relative Entropie genannt, wobei der Begriff relative Entropie gelegentlich auch für die Transinformation verwendet wird.

Formal lässt sich die KL-Divergenz für die Wahrscheinlichkeitsverteilungen $p$ und $q$ folgendermaßen bestimmen:

$D(p\; ||\; q)\; =\; KL(p,\; q)=\; \backslash sum\_\{x\; \backslash in\; X\}\; p(x)\; \backslash log\; \{p(x)\; \backslash over\; q(x)\}$.

Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wieviele Bits durchschnittlich verschwendet werden, wenn eine eigentlich auf $q$ basierende Kodierung auf Ereignisse angewendet wird, die $p$ folgen. Somit besteht ein Zusammenhang zur Kanalkapazität.

Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet. Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die Kenntnis von $p$ berechnet werden. In praktischen Anwedenungen ist dies vorteilhaft, da dort $p$ meist unbekannt ist.

Literatur

• Kullback, S.; Leibler, R. A.: On information and sufficiency. Annals of Mathematical Statistics 22 (1), 79–86, März 1951.

Statistik

Kullback–Leibler divergence | Divergence de Kullback-Leibler