Die Verbundentropie ist ein Maß für den mittleren Informationsgehalt mehrerer Nachrichtenquellen.
Definition
Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:
Hierbei sind und jeweils einzelne Symbole aus den Quellenalphabeten und .
Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt
und somit
.
Für mehr als zwei Quellen ergibt sich:
Siehe auch Entropie (Informationstheorie) Entropieschätzung Symbolische Dynamik
Literatur Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3. Peter Bocker: Datenübertragung. Band I – Grundlagen. Springer Verlag, Berlin / Heidelberg 1976, ISBN 978-3-662-06499-3.
Weblinks Informationstheorie (abgerufen am 8. März 2018) Kodierungs- und Informationstheorie (abgerufen am 8. März 2018) Entropie (abgerufen am 8. März 2018) Information und Kommunikation (abgerufen am 8. März 2018)
Einzelnachweise T. H. Cover, J. A. Thomas, Elements of Information Theory, S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9
Kategorie:Informationstheorie