Entropia e informazione
di Mauro Murzi

Siamo giunti al terzo e ultimo articolo sulla cibernetica nell'ambito della rubrica Storia dell'informatica. Come già detto la cibernetica tenta di sviluppare teorie e concetti appropriati per i sistemi biologici e fisici, naturali e artificiali; a questo fine essa prende da altri settori scientifici metodi, concetti e teorie di cui cerca di dimostrare la validità interdisciplinare. E' il caso dell'entropia, grandezza fisica oggetto di studio nell'ambito della termodinamica. (n.d.r.)

Il significato della probabilità
Se lancio un dado, la probabilità di ottenere il numero cinque è un sesto; se lancio una moneta, la probabilità che esca testa è un mezzo. Chiunque potrebbe sottoscrivere queste affermazioni il cui significato è apparentemente chiaro. Eppure sono state avanzate diverse spiegazioni del significato di affermazioni come quelle appena fatte. Ecco una breve rassegna delle principali interpretazioni della probabilità che sono state proposte.

• Teoria classica. La probabilità di un evento è il rapporto tra i casi favorevoli e i casi possibili. Nell'esempio del dado, l'evento è "esce il cinque"; ci sono sei eventi possibili (può uscire una qualsiasi delle sei facce del dado) e un solo evento è quello favorevole. Dunque la probabilità di "esce il cinque" è un sesto. Si tratta di una delle interpretazioni della probabilità più vecchie (per questo prende il nome di interpretazione classica) e fu sostenuta dal matematico e astronomo francese Pierre-Simone de Laplace (1749-1827).
• Teoria frequentista. La probabilità di un evento in una sequenza possibilmente infinita è la sua frequenza relativa (la frequenza relativa è il numero di volte che l'evento si verifica diviso il numero totale di eventi accaduti). Se lancio un dado molte volte vedrò che la frequenza relativa dell'evento "esce il cinque" è circa un sesto; il limite di questa frequenza relativa, al tendere all'infinito del numero dei lanci, sarà esattamente un sesto. Si tratta della interpretazione attualmente favorita nelle scienze empiriche ed è stata sviluppata agli inizi del ventesimo secolo da diversi studiosi tra i quali si possono ricordare il filosofo tedesco Hans Reichenbach (1891-1953) e il matematico austriaco Richard von Mises (1883-1953).
• Teoria della propensità. La probabilità di un evento è una proprietà oggettiva dell'evento e del contesto nel quale accade. Sono le proprietà fisiche del dado (per esempio il dado è omogeneo, ha sei facce diverse) che spiegano il fatto che il limite della frequenza relativa di "esce il cinque" è un sesto. Questa interpretazione è dovuta al filosofo austriaco Karl Raimund Popper (1902-1994).
• Teorie soggettive. La probabilità è una misura del grado di confidenza che noi abbiamo circa una certa affermazione. Un caso speciale di questa interpretazione asserisce che la probabilità è un quoziente equo di scommessa. Per esempio, scommetto un euro sull'uscita del cinque e, se esce il cinque, vinco sei euro: questa è una scommessa equa. Una anticipazione di questa interpretazione si trova nel pensiero dello scienziato e filosofo francese Blaise Pascal (1623-1662). In tempi più recenti la teoria è elaborata dal matematico italiano Bruno de Finetti (1906-1985) e dal filosofo tedesco Rudolf Carnap (1891-1970).
• Teoria logica. La probabilità è un rapporto di natura logica tra enunciati; essa misura il grado di conferma che un enunciato (per esempio "esce il cinque") riceve dall'evidenza empirica (gli enunciati che descrivono la natura del dado). In questo caso il grado di conferma sarà un sesto. Questa interpretazione ha dato origine alla logica induttiva. Tra i suoi sostenitori ricordiamo l'economista inglese John Maynard Keynes (1883-1946), il filosofo austriaco Ludwig Wittgenstein (1889-1951), il filosofo tedesco Rudolf Carnap (1891-1970) e lo scienziato inglese Harold Jeffreys (1891-1989).
• Teoria assiomatica. La probabilità è qualsiasi cosa soddisfi gli assiomi della teoria della probabilità. Questi assiomi sono stati proposti dal matematico russo Andrey Nikolayevich Kolmogorov (1903-1987) e forniscono una base rigorosa per la teoria della probabilità.

Le diverse teorie possono essere raccolte in tre distinte famiglie:

• Teorie oggettive (le prime tre: classica, frequentista, propensità) per le quali la probabilità è una proprietà oggettiva del sistema fisico.
• Teorie formali (le ultime due: logica e assiomatica), per le quali la probabilità è una proprietà del sistema linguistico e delle relazioni tra enunciati formulabili nel sistema linguistico.
• Teorie soggettive, per le quali la probabilità è una conseguenza della nostra ignoranza del sistema fisico e quindi è una misura del grado di conoscenza o di informazione che abbiamo sul sistema fisico.

Noi siamo in questo contesto interessati alla opposizione tra teoria oggettiva e teoria soggettiva. Nell'esempio del dado, la teoria oggettiva asserisce che la probabilità è determinata dalle caratteristiche fisiche del dado (cioè dall'avere sei facce distinte numerate da uno a sei, dal non essere truccato) mentre la teoria soggettiva ritiene che solo la nostra ignoranza impone l'uso della probabilità. Se conoscessimo esattamente le proprietà del dado, la sua posizione iniziale, la forza e la direzione del lancio, allora potremmo calcolare quale faccia del dado uscirà. Ma questi dati ci sono ignoti e quindi ricorriamo a ragionamenti non certi ma basati sulla probabilità. Quando siamo in grado di predire esattamente quale evento accadrà attribuiamo la probabilità 1 a questo evento; se non abbiamo alcuna conoscenza del sistema fisico supponiamo che gli N possibili eventi sono equiprobabili e diamo a ciascuno la probabilità 1/N. La probabilità è dunque, per la teoria soggettiva, legata alla informazione che noi abbiamo sul sistema fisico.

Micro e macro stati
La distinzione tra micro e macro stati è fondamentale nella fisica contemporanea. Non è un argomento semplice, perciò inizio con un esempio. In quanti modi diversi si possono disporre due pedine in quattro caselle? La figura seguente riporta le dieci diverse disposizioni possibili.

Consideriamo l'immagine a sinistra. La posizione delle pedine cambia nelle quattro figure, che tuttavia equivalgono ad una sola delle dieci disposizioni possibili, ed esattamente corrispondono alla seconda, nella quale le pedine sono nella prima e seconda casella. Le quattro diverse disposizioni qui rappresentate figura sono equivalenti ad una sola delle dieci posizioni ammissibili. Possiamo dire che quattro diversi microstati equivalgono (o corrispondono) ad un solo macrostato. Il macrostato "una pedina nella prima casella, l'altra pedina nella seconda" è realizzabile tramite diversi microstati, in ognuno dei quali la posizione delle pedine cambia pur senza uscire dalle caselle assegnate.

Passiamo ora al ramo della fisica che più dipende dalla distinzione tra macro e micro stati: la termodinamica. Consideriamo un gas racchiuso in un cilindro con un pistone mobile che permette di variare il volume. Lo stato del gas è determinato in modo univoco dal volume V, dalla pressione p e dalla temperatura T. Queste tre grandezze fisiche sono legate dall'equazione di stato dei gas:

        p · V = k · T

dove k è una costante opportuna. Volume, pressione e temperatura non sono dunque indipendenti: due di loro sono sufficienti a determinare la terza grandezza. Possiamo ad esempio muovere il pistone in modo che il gas occupi un dato volume e contemporaneamente riscaldare il gas fino a fargli raggiungere una temperatura voluta; allora la pressione sarà determinata dall'equazione di stato. Due campioni di gas che hanno la medesima temperatura e occupano il medesimo volume hanno la stessa pressione e la stessa energia. Volume e temperatura definiscono lo stato del gas; poiché queste grandezza sono misurabili con strumenti macroscopici come il metro e il termometro, si dice che volume e temperatura definiscono il macrostato del gas (il macrostato del gas viene anche chiamato stato termodinamico).

Il gas è composto di molecole che si muovono di continuo, si urtano tra di loro, rimbalzano contro le pareti del recipiente. Tutte le proprietà del gas derivano dal movimento di queste molecole. La pressione è determinata dalla forza che le molecole esercitano con i loro urti contro le pareti (per l'esattezza la pressione è uguale alla forza esercitata su una superficie di area unitaria). La temperatura è determinata dalla velocità delle molecole; più alta è questa velocità maggiore è la temperatura del gas (la relazione precisa asserisce che la temperatura è proporzionale all'energia cinetica media delle molecole; l'energia cinetica è proporzionale al quadrato della velocità). Quindi il moto delle molecole definisce lo stato del gas; poiché le molecole sono entità microscopiche, si dice che il moto delle molecole definisce il microstato del gas (chiamato anche stato dinamico poiché dipende da grandezze studiate dalla scienza della dinamica.)

Consideriamo un gas racchiuso nel cilindro in condizioni di equilibrio; la sua temperatura e il suo volume rimangono costanti e quindi anche le altre grandezze fisiche pertinenti (pressione, energia) rimangono costanti. Le molecole che compongono il gas si muovono di continuo e cambiano posizione, direzione e velocità. Questi cambiamenti nello stato delle molecole producono cambiamenti nel microstato del gas che però non influenzano il macrostato. Mentre le grandezze macroscopiche rimangono invariate e il gas è in condizioni di apparente staticità, a livello microscopico avvengono continue modifiche. Il gas rimane nel medesimo macrostato pur passando per microstati diversi. Al medesimo macrostato corrispondono diversi microstati. Gli stessi valori di pressione, temperatura e volume possono essere ottenuti con una diversa distribuzione delle molecole e delle loro velocità.

Il punto fondamentale da tenere a mente è che lo stato di un gas può essere descritto usando le grandezze macroscopiche della termodinamica (pressione, volume e temperatura) o le grandezze microscopiche della dinamica delle molecole (energia cinetica delle molecole). Vari stati microscopici possono corrispondere ad un solo stato macroscopico. Quindi la conoscenza dello stato macroscopico non determina univocamente lo stato microscopico.

La definizione statistica dell'entropia
Supponiamo di essere in grado di contare i microstati che corrispondono ad un macrostato; sia W il loro numero. Possiamo definire una funzione S che chiameremo entropia mediante la formula seguente:

    S = k · log W     (k è una costante)

Il numero W dei microstati fornisce una misura della probabilità del corrispondente macrostato. Supponiamo per esempio che ci siano solo tre macrostati e chiamiamoli m₁, m₂ e m₃; il numero dei corrispondenti stati microscopici sia w₁, w₂ e w₃; definiamo infine C come la somma di w₁, w₂ e w₃. Se tutti gli stati microscopici sono equiprobabili (questa ipotesi è ben confermata dall'esperienza) possiamo concludere che le probabilità di m₁, m₂ e m₃ sono rispettivamente w₁/C, w₂/C e w₃/C. L'entropia è dunque legata alla probabilità dello stato macroscopico. Il massimo dell'entropia si verifica nello stato macroscopico più probabile.

Un sistema isolato, lasciato evolvere senza alcuna interferenza, troverà la sua condizione di equilibrio in corrispondenza dello stato più probabile; e ciò per il semplice motivo che questo stato è quello che viene generato dal numero maggiore di stati microscopici. Inoltre lo stato più probabile è anche quello di maggiore entropia. Questa è la proprietà fondamentale dell'entropia, che viene espressa dalla seconda legge della termodinamica: in un sistema isolato l'entropia non può mai diminuire, ma soltanto aumentare o rimanere costante.

La perdita di informazione
Poniamoci adesso la seguente domanda: se un gas in equilibrio si trova in un determinato macrostato, quali informazioni abbiamo sul microstato del gas? La risposta dipende dal numero dei microstati. Noi sappiamo soltanto che il gas si trova in uno qualsiasi degli stati microscopici corrispondenti all'attuale stato macroscopico. Il gas passa da un microstato all'altro senza che ciò influenzi il macrostato osservato. Maggiore è il numero dei microstati ammissibili, minore è l'informazione che abbiamo sul comportamento a livello microscopico.

Un sistema isolato si porta spontaneamente nello stato macroscopico che ha la maggiore entropia e al quale corrisponde il maggiore numero di microstati. L'informazione che noi abbiamo sul microstato del gas tende dunque a diminuire. Una conseguenza della seconda legge della termodinamica è quindi la diminuzione di informazione sullo stato dinamico del gas.

Si può perciò dire che l'aumento di entropia si accompagna ad una perdita di informazione (si parla sempre di informazione relativa al comportamento microscopico del gas); viceversa una diminuzione di entropia (evento questo che non accade spontaneamente, ma che può essere provocato con un intervento opportuno su un sistema non isolato) si accompagna ad una crescita dell'informazione disponibile.

Ricordo che l'entropia S di un macrostato avente W microstati è

        S = k · log W

E adesso facciamo un gioco di prestigio. Consideriamo il macrostato come un segnale: qual è la quantità di informazione I associata a quel macrostato? La formula di Shannon dice

        I = - k · log W/C

(Nota: C è il numero complessivo dei microstati, quindi la probabilità P è uguale al rapporto tra il numero W dei corrispondenti microstati e il numero complessivo C).

Le formule che definiscono l'entropia e la quantità di informazione si assomigliano; ed in effetti basta cambiare appena la definizione della quantità di informazione I per ottenere

        I = - k · log W = - S

Quindi l'entropia di un macrostato è uguale, ma di segno opposto, all'informazione del macrostato, qualora questo sia inteso come un segnale.

Norbert Wiener ha equiparato l'informazione ad una specie di entropia negativa (l'espressione inglese che ha usato è negative entropy). In seguito il termine è stato abbreviato in negentropy, che in italiano ha dato origine a negentropia (si pronuncia neghentropia), che significa semplicemente entropia negativa.

Adesso siamo pronti per fare il gran salto: dimentichiamoci i gas e la termodinamica ed estendiamo l'equivalenza tra entropia negativa e informazione a tutti i sistemi fisici e biologici. Armati di due principi fondamentali (l'aumento dell'entropia e l'equivalenza entropia-informazione) cerchiamo di vedere cosa possiamo ottenere.

L'entropia aumenta sempre; quindi l'informazione diminuisce sempre. Un semplice esempio si trova nella trasmissione dei messaggi: gli effetti casuali dovuti al rumore e ai disturbi possono far perdere parte dell'informazione. Un altro esempio riguarda la conoscenza di un sistema isolato. Poiché l'entropia di questo sistema aumenta, le informazioni che possediamo su tale sistema vanno diminuendo. Ciò significa che più passa il tempo più aumenta l'entropia e meno informazioni abbiamo: le previsioni a lungo termine sono quindi inattendibili (e questo vale per ogni sistema e per ogni tipo di previsione, siano esse le previsioni del tempo o i piani economici a lungo termine). Per recuperare informazioni dobbiamo osservare il sistema e quindi toglierlo dall'isolamento: l'entropia del sistema può diminuire e così la nostra informazione aumenta.

Un'altra considerazione riguarda i sistemi biologici. Essi hanno un livello di organizzazione molto più alto dei sistemi non viventi e quindi minore entropia (una proprietà dell'entropia che non ho avuto modo di spiegare afferma che l'entropia è una misura del disordine di un sistema: a maggiore entropia corrisponde maggiore disordine e quindi un minore livello di organizzazione). I sistemi viventi quindi hanno un più alto livello di informazione rispetto agli oggetti. Gli esseri viventi più adatti sono quelli capaci di elaborare maggiori informazioni; questo si manifesta nell'evoluzione biologica, che mostra una evidente tendenza ad un maggiore sviluppo degli organi di senso e del cervello.

Voglio però sottolineare che l'equiparazione tra entropia e informazione non è universalmente accettata ma rimane un punto controverso. L'elemento del contendere sta nel significato che si attribuisce alla probabilità. La termodinamica assume un punto di vista oggettivo. La probabilità di un macrostato è determinata dal numero dei microstati corrispondenti; questa probabilità alla fine si riduce ad una frequenza relativa oppure al semplice conteggio dei casi totali e di quelli favorevoli. Si utilizza chiaramente la teoria oggettiva della probabilità. Anche la teoria dell'informazione assume la probabilità oggettiva, intesa come frequenza relativa di un simbolo in un contesto.

Ad un certo punto invece compare la probabilità soggettiva e si interpreta l'informazione come il livello di conoscenza che noi abbiamo. Si verifica quindi un spostamento del significato della probabilità. Questo cambiamento di significato permette di collegare da un lato l'entropia e la quantità di informazione (grandezza fisiche oggettive) e dall'altro lato la conoscenza di un sistema (una grandezza soggettiva).

I critici osservano che la probabilità soggettiva non ha alcun ruolo nelle teorie scientifiche. I fenomeni statistici sono sempre riproducibili e, come ogni fenomeno fisico, sono indipendenti dal nostro grado di conoscenza. Altrimenti, confondendo i due significati, si potrebbe addirittura sostenere che l'entropia aumenta perché la nostra conoscenza diminuisce. Sarebbe quindi la nostra limitata informazione la causa dell'aumento dell'entropia: questa grandezza perderebbe allora ogni significato fisico reale. E in effetti non sono mancati scienziati e filosofi che hanno sistenuto questa interpretazione. Ancora oggi è in corso un acceso dibattito tra i fautori del punto di vista oggettivo e i sostenitori delle interpretazioni soggettive.

Conclusione
Siamo arrivati alla fine delle tre puntate dedicate alla cibernetica. Qualche considerazione finale. Chi ha avuto la pazienza di seguirci fin qui si sarà accorto che il vero interesse della cibernetica è ben lontano dal significato che usualmente si attribuisce a questa parola. Cibernetica non è un sinonimo di calcolatori o informatica.

La cibernetica afferma che gli esseri viventi utilizzano le informazioni che ricevono dall'ambiente esterno e interno per attivare dei meccanismi di controllo, basati sulla comparazione tra lo stato attuale e quello desiderato, che agiscono per mantenere stabile l'ambiente interno. Nel far questo acquisiscono informazioni e si mantengono in uno stato di alta organizzazione, diminuendo la propria entropia e quindi causando un aumento dell'entropia dell'ambiente esterno. Questi meccanismi possono essere un punto di partenza per la progettazione di apparati artificiali che simulano le prestazioni umane. Inoltre il comportamento dei sistemi artificiali può essere di ausilio nella comprensione del comportamento degli esseri viventi. Si supera così alla radice quel dualismo tra mente e corpo, tra materia e spiritualità, che ha tante volte agitato i sogni dei filosofi e, più in genere, di tutti coloro che si sono interessati all'intelligenza umana, animale o artificiale. E proprio di intelligenza artificiale si parlerà nei prossimi numeri della rubrica sulla storia dell'informatica.

Nota bibliografica
Testi consultati per la preparazione dell'articolo.

• Routledge History of Philosophy, Volume IX. Philosophy of Science, Logics and mathematics in the 20th Century, 1996; in particolare l'articolo di K. M. Sayre, Cybernetics, pp. 292-314
• Enciclopedia Treccani delle scienze fisiche, 1992-1996, la voce:
  Entropia di Giovanni Boato, vol. II, pp. 422-426
  
• Enrico Fermi, Termodinamica, Boringhieri, 1972 (edizione originale inglese del 1939)

Sulla termodinamica e più in genere sui fenomeni casuali o caotici, anche in riferimento alle discipline biologiche.

• Le scienze - quaderni, n. 85, settembre 1995, La termodinamica (contiene alcuni articoli tratti dal periodico Le scienze sul secondo principio della termodinamica, sul caos e sui fenomeni irreversibili, sulle limitazioni del determinismo e della predicibilità, sui fenomeni quantistici).
• Ilya Prigogine e Isabelle Stengers, La nuova alleanza, Einaudi, 1981 (Prigogine, premio Nobel per la chimica nel 1977 per i suoi studi sui processi termodinamici lontani dall'equilibrio, esamina in questo libro il differente atteggiamento che la meccanica classica e la termodinamica assumono nei confronti della complessità, dei fenomeni irreversibili e caotici, della vita. Mentre secondo la meccanica classica il mondo fisico è regolato da leggi strettamente deterministiche che danno luogo a fenomeni reversibili che non mostrano alcuna differenza nell'ordine temporale, la termodinamica affronta lo studio di fenomeni caotici -- nei quali cioè una piccola differenza nelle condizioni iniziali può produrre una grande differenza nello stato finale del sistema -- che manifestano una precisa direzione temporale. E' proprio nei fenomeni irreversibili e caotici che sta il segreto dell'organizzazione degli esseri viventi).
  
• David Ruelle, Caso e caos, Bollati Boringhieri, 1992 (in questo agile libro il fisico David Ruelle, noto per i suoi studi sul caos, esamina il ruolo del caso nella fisica contemporanea, spiegando i concetti fondamentali relativi ai fenomeni caotici, anche con riferimento alla termodinamica, all'entropia, alla probabilità e all'informazione).