Die Kreuzentropie ist in der Informationstheorie ein Maß für die Qualität eines Modells einer Wahrscheinlichkeitsverteilung.

Für eine Zufallsvariable $X$, die der Verteilung $p$ folgt und eine zweite Verteilung $q$ desselben Ereignishorizonts ist die Kreuzentropie folgendermaßen definiert:

$H(X,\; p,\; q)\; =\; H(X)\; +\; D(p\; ||\; q)$.

Hierbei bezeichnet $H(X)$ die Entropie von $X$ und $D(p\; ||\; q)$ die Kullback-Leibler-Divergenz.

In der praktischen Anwendung ist $q$ meist eine Annäherung an eine unbekannte Verteilung $p$. Zwar hat die Kreuzentropie eine ähnliche Aussagekraft wie die Kullback-Leibler-Divergenz. Die Kreuzentropie lässt jedoch unter bestimmten Umständen ohne $p$ berechnen – bei unbekanntem $p$ sehr vorteilhaft.

Eng verwandt mit der Kreuzentropie ist die Perplexität, die bei gleicher Aussagekraft u. U. anschaulichere Zahlenwerte liefert.

Statistik

Cross entropy