Shannon's Entropie
Dieser Onlinerechner berechnet die Shannon's Entropie für eine geschenkene Ereigniswahrscheinlichkeitstabelle und einer gegebnenen Nachricht.
In der Informationstheorie ist Entropie die Messung von Unwahrscheinlichkeit in einer beliebigen Variablen. In diesem Zusammenhang redet man normalerweise von Shannon’s Entropie, welche den erwarteten Wert der Information einer Nachricht quantifiziert.
Claude E. Shannon stellte diese Formel für Entropie in seiner Arbeit "A Mathematical Theory of Communication” in 1948 vor.
Minus wird genutzt für Werte niedriger als 1 und wenn der Logarithmus negativ ist. Wegen
,
Kann die Formel auch hinterherlaufenderma?en dargestellt werden
Ausdruck
wird auch als Ungewissheit oder als ?berraschung bezeichnet. Je geringer die Wahrscheinlichkeit ist, z.B.
→ 0, je h?her ist die Ungewissheit oder ?berraschung, z.B.
→ ∞, für den Ausgang
.
In diesem Fall stellt die Formel die mathematische Erwartung der Ungewissheit dar, daher kann man die Informationsentropie und Informationenungewissheit austauchbar genutzt werden.
Dieser Rechner berechnet die Shannon Entropie für eine geschenkene Ereigniswahrscheinlichkeit.
Shannon's Entropie
Dieser Rechner berechnet die Shannon Entropie für eine geschenkene Nachricht.
Kommentare