In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Diversität, Ungewissheit oder Zufälligkeit eines Systems dienen.
Die Rényi-Entropie der Ordnung α, wobei α > 0, ist definiert als:
Hierbei ist X eine Zufallsvariable mit Wertebereich {x1, x2 ... xn} und pi die Wahrscheinlichkeit, dass X=xi. Wenn die Wahrscheinlichkeiten pi alle gleich sind, dann ist Hα(X)=log2 n, unabhängig von α. Andernfalls sind die Entropien monoton fallend als eine Funktion von α.
Hier einige Einzelfälle:
welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird.
Nähert sich die Grenze von gegen 1 (L’Hospital) so ergibt sich:
das der „Shannon-Entropie/Informationsentropie“ entspricht.
Weiter
das der „Korrelationsentropie“ entspricht. Der Grenzwert von für ist
und wird auch Min-Entropie genannt, da es der kleinste Wert von ist.
Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der fraktalen Dimension.
Literatur Dieter Masak: IT-Alignment. IT-Architektur und Organisation, Springer Verlag, Berlin / Heidelberg 2006, ISBN 978-3-540-31153-9. Lienhard Pagel: Information ist Energie. Definition eines physikalisch begründeten Informationsbegriffs, Springer Fachmedien, Wiesbaden 2013, ISBN 978-3-8348-2611-4.
Weblinks Shannon Entropy, Renyi Entropy, and Information (abgerufen am 23. Februar 2018) Rényi Entropy and the Uncertainty Relations (abgerufen am 23. Februar 2018) Berechnung von Information und Komplexität (abgerufen am 23. Februar 2018) Characterizations of Shannon and Renyi entropy (abgerufen am 23. Februar 2018) Convexity/Concavity of Renyi Entropy and α-Mutual Information (abgerufen am 23. Februar 2018)
Kategorie:Informationstheorie