Fachrat Informatik - Forum

Ist Entropie als Funktion ueber Zeit oder als Funtion ueber Bit definiert?
Unter der Annahme, dass die Quelle konstante Bitrate und konstante Entriopie hat:
Wenn Entropie eine Funktion ueber die Zeit ist, hat die codierte Quelle die gleiche Entropie wie die originale Quelle, allerdings eine verminderte Bitrate.
Wenn Entrope eine Funktion ueber die Daten ist, dann hat die codierte Quelle eine hoehere Entropie, da Bits mit wenig Entropiegehalt reduziert werden, und somit pro Bit durchschnittlich mehr Entropie bleibt, denn die Entropie der Quelle selbst bleibt konstant, und die Codierung vermindert den Anteil redundanter Daten, die bekanntlich keine Entropie beitragen.

Disclaimer: Ich habe keine Ahnung wovon ich spreche, sondern wende lediglich gesunden Menschenverstand an. Meistens spielt dieser eine grosse Rolle wenn man so groessen wie Entropie definiert, aber nicht immer. Deshalb keine Gewaehrleistung, dass meine Aussage stimmt.

So hatte ich es in "Grundlagen der Rechnerarchitektur":
Entropie ist eine Eigenschaft der Informationsquelle - nicht der Codierung - und gibt den Informationsgehalt pro Symbol der Quelle wieder.
Die Entropie hängt nicht davon ab, wie die Symbole codiert werden, da ein wie auch immer codiertes Symbol immernoch das gleiche Symbol bleibt und den gleichen Informationsgehalt (<=> die gleiche relative Häufigkeit) hat.
Angenommen, ich habe eine Informationsquelle, die drei Symbole 0, 1 und 2 ausspucken kann, wobei p(0) = 50%, p(1) = p(2) = 25% // p(Symbol) = relative Häufigkeit bzw. Auftrittswahrscheinlichkeit des Symbols
Die Entropie dieser Quelle ist also - (0.5 * ld(0.5) + 0.25 * ld(0.25) + 0.25 * ld(0.25)) = 0.5 + 0.5 + 0.5 = 1.5 bit / Symbol
Wenn ich jetzt die 0 als "0", die 1 als "10" und die 2 als "11" codiere, wird zwar die Redundanz kleiner und der Wirkungsgrad größer, aber die Entropie bleibt gleich, da sich weder die Wahrscheinlichkeiten der Symbole noch der Informationsgehalt der Symbole ändert.
(Die Redundanz wird nur deswegen kleiner, weil sich die mittlere Codewortlänge reduziert)

Disclaimer: Ich hab zwar Ahnung wovon ich spreche, aber mache auch mal Fehler