Der Informationsgehalt einer Nachricht gibt an, wieviel Information in dieser Nachricht übertragen wurde. Dieser Begriff wurde von Claude Shannon erstmals in seiner Informationstheorie formalisiert: Der Informationsgehalt eines Zeichens ist seine statistische Signifikanz. Er bezeichnet also die minimale Anzahl von Bits, die benötigt werden, um ein Zeichen (also eine Information) darzustellen oder zu übertragen. Wichtig ist dabei, dass dies nicht unbedingt der Anzahl der tatsächlich empfangenen Bits (der Datenmenge) entspricht, da der Informationsgehalt vom semantischen Kontext abhängig ist. Daher wird der Informationsgehalt mit einer anderen Einheit, dem Shannon (sh), gemessen.

Formal werden die zu übertragenden Informationen als Zeichen bezeichnet. Dabei steht nur ein endlicher Zeichenvorrat zur Verfügung, Zeichen können aber beliebig kombiniert werden. Die minimale Anzahl von Bits, die für die Darstellung oder Übertragung eines Zeichens benötigt werden, hängt nun von der Wahrscheinlichkeit ab, mit der ein Zeichen auftritt: für Zeichen, die häufig auftreten, braucht man weniger Bits als für Zeichen, die selten verwendet werden. Datenkompressionstechniken machen sich das zu Nutze, insbesondere die Entropiekodierung, die Arithmetische Kodierung und die Huffman-Kodierung. Ein ähnliches Verfahren wird zum Ausbalancieren von Binärbäumen verwendet.

Mathematisch ergibt sich die Anzahl der mindestens benötigten Bits (der Informationsgehalt in Shannon) eines Zeichens $x\_i$ aus dem negativen dualen Logarithmus seiner Auftretenswahrscheinlichkeit $p\_i$:

$I\_i\; =\; -\backslash log\_2\; p\_i$

Man könnte auch sagen, dass der Informationsgehalt eines Zeichens umgekehrt proportional zum Logarithmus der Wahrscheinlichkeit ist, mit der man es erraten kann (der Entropie). Der Informationsgehalt ist also ein Maß für die maximale Effizienz, mit der eine Information übertragen werden kann.

Ein alternatives Maß für den Informationsgehalt einer Zeichenkette ist die Kolmogorov-Komplexität bzw. der algorithmische Informationsgehalt: er ist definiert als die Länge des kürzesten Programmes, das diese Zeichenkette erzeugen kann. Ein weiterer Ansatz ist die so genannte Algorithmische Tiefe, die besagt, wie aufwändig es ist, eine bestimmte Nachricht zu erzeugen. Gregory Chaitin ist ebenfalls über die Shannonsche Definition der Entropie einer Information hinausgegangen (siehe Algorithmische Informationstheorie).

In diesem Zusammenhang spielen auch die Kreuzentropie sowie die Kullback-Leibler-Divergenz als Maße für die durch eine schlechte Kodierung ausgelösten Verschwendungen von Bits eine Rolle.

Siehe auch

Informationstheorie

self-information