So hatte ich es in "Grundlagen der Rechnerarchitektur":
Entropie ist eine Eigenschaft der Informationsquelle - nicht der Codierung - und gibt den Informationsgehalt pro Symbol der Quelle wieder.
Die Entropie hängt nicht davon ab, wie die Symbole codiert werden, da ein wie auch immer codiertes Symbol immernoch das gleiche Symbol bleibt und den gleichen Informationsgehalt (<=> die gleiche relative Häufigkeit) hat.
Angenommen, ich habe eine Informationsquelle, die drei Symbole 0, 1 und 2 ausspucken kann, wobei p(0) = 50%, p(1) = p(2) = 25% // p(Symbol) = relative Häufigkeit bzw. Auftrittswahrscheinlichkeit des Symbols
Die Entropie dieser Quelle ist also - (0.5 * ld(0.5) + 0.25 * ld(0.25) + 0.25 * ld(0.25)) = 0.5 + 0.5 + 0.5 = 1.5 bit / Symbol
Wenn ich jetzt die 0 als "0", die 1 als "10" und die 2 als "11" codiere, wird zwar die Redundanz kleiner und der Wirkungsgrad größer, aber die Entropie bleibt gleich, da sich weder die Wahrscheinlichkeiten der Symbole noch der Informationsgehalt der Symbole ändert.
(Die Redundanz wird nur deswegen kleiner, weil sich die mittlere Codewortlänge reduziert)
Disclaimer: Ich hab zwar Ahnung wovon ich spreche, aber mache auch mal Fehler