Entropie (informatietheorie)

Stel dat ${\displaystyle u_{1},\ldots ,u_{n}}$ de mogelijke uitkomsten zijn bij een experiment ${\displaystyle A}$ . De kans van optreden van de uitkomst ${\displaystyle u_{i}}$ is ${\displaystyle p_{i}}$ . Een dergelijk experiment wordt beschreven door de discrete verdeling bepaald door de kansen ${\displaystyle p_{i}}$ , of ook door een discrete stochastische variabele ${\displaystyle X}$ met deze kansverdeling. De uitkomst ${\displaystyle u_{i}}$ bevat een hoeveelheid zelfinformatie ${\displaystyle H(u_{i})=-\log _{2}(p_{i}).}$

De entropie ${\displaystyle H}$ van het experiment, of van de kansverdeling, of ook van ${\displaystyle X}$ , is de verwachte hoeveelheid informatie.

${\displaystyle {\rm {H}}(p)={\rm {E}}\left({\rm {H}}(X)\right)=\sum _{i=1}^{n}p_{i}(-\log _{2}(p_{i}))=-\sum _{i=1}^{n}p_{i}\log _{2}(p_{i})}$ bit.

Als niet de binaire logaritme maar de natuurlijke logaritme gebruikt wordt, heet de eenheid waarin de entropie gemeten wordt de nat; wordt de Briggse logaritme gebruikt, dus met grondtal 10, dan heet de eenheid de ban.

Bewijsbaar is dat de entropie van een experiment met N mogelijke uitkomsten nooit meer is dan log₂(N) bit, en dat deze wordt bereikt als elke uitkomst een even grote kans 1/N heeft.

Het alfabet bevat zes klinkers (a, e, i, o, u, y) en twintig medeklinkers. Bij een experiment schrijft iemand een geheel willekeurige letter op een papiertje, en wordt er vervolgens vastgesteld of het een klinker dan wel een medeklinker is. De entropie van dit experiment is dan

${\displaystyle H(A)=-\sum _{i=1}^{n}p_{i}\cdot \log _{2}(p_{i})=-{\tfrac {6}{26}}\cdot \log _{2}({\tfrac {6}{26}})-({\tfrac {20}{26}})\cdot \log _{2}({\tfrac {20}{26}})=0{,}488+0{,}291=0{,}779}$ bit.

Dit is een voorbeeld van een experiment met twee mogelijke uitkomsten. De entropie is dus niet meer dan 1 bit.

Het begrip entropie is bekender in de thermodynamica dan in de informatietheorie, maar de definitie ervan in de informatietheorie heeft veel overeenkomsten. Het werk van Boltzmann en Gibbs aan statistische thermodynamica inspireerde Shannon om het begrip in de informatietheorie te gebruiken.