Complex is niet (hetzelfde als) moeilijk (7)

Pieter Jansen en Fredrike Bannink

Informatietheorie

Het is gelukt om complexiteit kwantificeerbaar en mathematisch te maken door middel van de informatietheorie. Deze theorie is door Shannon ontwikkeld voor informatietechnologie, maar blijkt toepasbaar voor alle complexe systemen. Het is ook geschikt voor het werken met biologische processen en voor het begrijpen van ons denken.
Informatietheorie heeft alles te maken met het ordenen van informatie en het managen van onzekerheid. In essentie is het verrassend eenvoudig.

De bit is de kleinste eenheid van informatie.

Maar wat meet je ermee? De bit kan twee waarden aannemen, ja of nee, aan of uit. Informatie ontstaat wanneer een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk
zou gebeuren. En dan blijkt eigenlijk alles informatie te zijn. Biologie is informatietheorie. Ons lichaam is een informatieprocessor. Informatie zit niet alleen in de instructies van de genen, geheugen zit niet alleen in het brein, maar in alle (onderdelen van) cellen. Dawkins, evolutiebioloog, zegt het zo: “Als je iets over het leven wilt weten dan moet je nadenken over informatietheorie”.
Inmiddels is er geen verschil meer tussen natuurkunde en informatietheorie. Informatie is fundamenteler dan materie; materie volgt uit informatie. “It from bit”, zei Wheeler, theoretisch natuurkundige.

Net als in de thermodynamica wordt in de informatietheorie het begrip entropie gebruikt: de hoeveelheid onzekerheid en wanorde in een systeem. In dynamische systemen ontstaan spontaan structuren en als energie wordt toegevoegd kan zelforganisatie ontstaan. Biologische organismen hebben een hoge mate van zelforganisatie. Ze staan in contact met hun omgeving en er is een voortdurende uitdaging om de interne entropie beperkt te houden. De tweede hoofdwet van de thermodynamica zegt immers dat de entropie in geïsoleerd systeem alleen kan toenemen. Hirsh, Mar en Peterson hebben het ‘entropy model for uncertainty’ ontwikkeld voor biologische processen.

‘We propose the entropy model of uncertainty (EMU), an integrative theoretical framework that applies the idea of entropy to the human information system to understand uncertainty-related
anxiety. Four major tenets of EMU are proposed: (a) Uncertainty poses a critical adaptive challenge for an organism, so individuals are motivated to keep it at a manageable level; (b) uncertainty emerges as a function of the conflict between competing perceptual and behavioral affordances; (c) adopting clear goals and belief structures helps to constrain the experience of uncertainty by reducing the spread of competing affordances; and (d) uncertainty is experienced subjectively as anxiety and is associated with activity in the anterior cingulate cortex and with heightened noradrenaline release.’

Met andere woorden: een organisme heeft bepaalde handelingsmogelijkheden. Er komt voortdurend informatie binnen, die gewogen moet worden tegen de handelingsmogelijkheden. Het hebben van veel opties betekent voor een organisme veel onzekerheid, een hoge entropie. Het brein ‘meet’ de activiteit van de afwegingen als een ‘entropiemeter’. Een doel of overtuiging beperkt het aantal opties, het verlaagt dus de entropie. De hoeveelheid entropie kan zo de richting van het handelen bepalen.

In een oorzaak-gevolgmodel wordt statistiek gebruikt om een onderwerp regelmatig te maken en daarmee geschikt voor causaliteit. De informatietheorie maakt gebruik van kansrekening om onzekerheid te berekenen en daarmee de richting te bepalen naar een beheersbaar niveau van entropie. Het is bruikbaar in een complexe, dynamische omgeving.

Bedenk overigens dat men bij ‘deep learning’ en ‘data mining’ gebruik maakt van de informatietheorie om patronen te herkennen. Deze patronen kunnen vervolgens worden toegepast in een oorzaak-gevolg model. Dat is dus ook een manier om twee paradigma’s te combineren.

Referenties

Dawkins, R. (1986). The blind watchmaker. New York: Norton, p.112.

Wheeler, J.A. (1994). At home in the universe. New York: American Institute of Physics, p.296.

Hirsh, J.B., Mar, R.A., & Peterson, J.B. (2012). Psychological entropy: A framework for understanding uncertainty-related anxiety, Psychology Review, 119, 2, p.304-320.