Informatietheorie

Informatietheorie is de wiskundige theorie die zich bezighoudt met het zo efficiënt en betrouwbaar mogelijk overdragen en opslaan van informatie via onbetrouwbare kanalen (media). Een artikel van Claude Shannon gepubliceerd in 1948 wordt algemeen gezien als de grondslag van dit vakgebied. Belangrijke resultaten van deze theorieën zijn Shannons broncoderings theorema en Shannons ruisig-kanaal (noisy- channel) coderings theorema. Informatietheorie is diep wiskundig van aard, en is verbonden met andere disciplines zoals regelsystemen, kunstmatige intelligentie, complexiteitstheorie, communicatietheorie, coderingstheorie, kansrekening, statistiek en cybernetica.

Onbetrouwbaarheid van een kanaal, bijvoorbeeld behept met additieve ruis, kan er de oorzaak van zijn dat de ontvangen informatie niet gelijk is aan de verzonden informatie. We zeggen dan: het kanaal maakt fouten. Een belangrijk begrip in de informatietheorie is de kanaalcapaciteit. De kanaalcapaciteit van een onbetrouwbaar transmissiekanaal wordt gedefinieerd als de maximale hoeveelheid informatie die dat transmissiekanaal per tijdseenheid kan transporteren met arbitrair kleine foutenkans.

Andere kernbegrippen in de informatietheorie zijn:

• zelfinformatie en conditionele zelfinformatie
• entropie (gemiddelde verrassingswaarde), negentropie en conditionele entropie
• mutuele informatie