Teoria matematica della comunicazione

Teoria dell’informazione

Questa è la teoria che si occupa delle leggi matematiche che governano la trasmissione e l’elaborazione delle informazioni. Più specificamente, la teoria dell’informazione si occupa della misurazione dell’informazione e della rappresentazione dell’informazione (come, per esempio, la sua codifica) e della capacità dei sistemi di comunicazione di trasmettere ed elaborare l’informazione.

La codifica può riferirsi sia alla trasformazione della voce o dell’immagine in segnali elettrici o elettromagnetici, sia alla codifica dei messaggi per assicurarne la privacy.

La teoria dell’informazione è stata sviluppata per la prima volta nel 1948 dall’ingegnere elettronico americano Claude E. Shannon, nel suo documento A Mathematical Theory of Communication. La necessità di una base teorica per la tecnologia della comunicazione è nata dalla crescente complessità e massificazione dei canali di comunicazione come il telefono, le reti di telescriventi e i sistemi di comunicazione radio. La teoria dell’informazione comprende anche tutte le altre forme di trasmissione e memorizzazione dell’informazione, compresa la televisione e gli impulsi elettrici trasmessi nei computer e nella registrazione ottica di dati e immagini. Il termine informazione si riferisce ai messaggi trasmessi: la voce o la musica trasmessa per telefono o per radio, le immagini trasmesse dai sistemi televisivi, le informazioni digitali nei sistemi e nelle reti di computer, e persino gli impulsi nervosi negli organismi viventi. Più in generale, la teoria dell’informazione è stata applicata in campi diversi come la cibernetica, la crittografia, la linguistica, la psicologia e la statistica.

Il tipo più ampiamente studiato di sistema di comunicazione consiste in diversi componenti. Il primo è una fonte di informazione (per esempio, una persona che parla) che produce un messaggio o un’informazione da trasmettere. Il secondo è un trasmettitore (come un telefono e un amplificatore, o un microfono e un trasmettitore radio) che converte il messaggio in segnali elettronici o elettromagnetici. Questi segnali sono trasmessi attraverso un canale o un mezzo, che è il terzo componente, come un cavo o l’atmosfera. Questo canale è particolarmente suscettibile alle interferenze di altre fonti, che distorcono e degradano il segnale (esempi di interferenze, conosciute come rumore, includono la statica nella ricezione radiofonica e telefonica, e la neve nella ricezione delle immagini televisive). Il quarto componente è il ricevitore, come un ricevitore radio, che trasforma il segnale ricevuto di nuovo nel messaggio originale. L’ultimo componente è il destinatario, come una persona che ascolta il messaggio.

Due delle principali preoccupazioni nella teoria dell’informazione sono la riduzione degli errori di interferenza nei sistemi di comunicazione e l’uso più efficiente della capacità totale del canale.

Un concetto fondamentale nella teoria dell’informazione è che la quantità di informazioni contenute in un messaggio è un valore matematico ben definito e misurabile. Il termine quantità non si riferisce alla quantità di dati, ma alla probabilità che un messaggio, all’interno di un insieme di messaggi possibili, venga ricevuto. In termini di quantità di informazioni, il valore più alto è assegnato al messaggio che ha meno probabilità di essere ricevuto. Se si sa con certezza che un messaggio sarà ricevuto, la sua quantità di informazione è 0. Se, per esempio, si lancia una moneta, il messaggio congiunto testa o croce che descrive il risultato non ha alcuna quantità di informazione. Tuttavia, i due messaggi separati testa o croce hanno uguali probabilità di valore della metà. Per mettere in relazione la quantità di informazione (I) con la probabilità, Shannon ha presentato la seguente formula:

I = log21/p

dove p è la probabilità che il messaggio venga trasmesso e log2 è il logaritmo di 1/p in base 2. (il log2 di un dato numero X è l’esponente Y a cui il numero 2 deve essere elevato per ottenere quel numero X. Per esempio, log2 di 8 = 3, perché 23 = 8). Usando questa formula, otteniamo che i messaggi testa e croce hanno una quantità di informazione di log22 = 1.

La quantità di informazione di un messaggio può essere intesa come il numero di possibili simboli che rappresentano il messaggio. Nell’esempio precedente, se croce è rappresentata da uno 0 e testa da un 1, c’è solo un modo di rappresentare il messaggio: 0 o 1. 0 e 1 sono le cifre del sistema binario (vedi Sistema dei numeri), e la scelta tra questi due simboli corrisponde alla cosiddetta unità di informazione binaria o bit. Se una moneta viene lanciata tre volte di seguito, gli otto risultati (o messaggi) ugualmente probabili possono essere rappresentati come 000,001,010,011,100,101,110 o 111. Questi messaggi corrispondono ai numeri 0,1,…7 scritti in notazione binaria. La probabilità di ogni messaggio è un ottavo, e la sua quantità di informazione è log21 = 3, che è il numero di bit necessari per rappresentare ogni messaggio.

Nella maggior parte delle applicazioni pratiche, si deve scegliere tra messaggi che hanno diverse probabilità di essere inviati. Il termine entropia è stato preso in prestito dalla termodinamica, per indicare la quantità media di informazioni in questi messaggi. L’entropia può essere intuitivamente intesa come il grado di disordine in un sistema. Nella teoria dell’informazione l’entropia di un messaggio è uguale alla sua quantità media di informazioni. Se in un insieme di messaggi, le loro probabilità sono uguali, la formula per calcolare l’entropia totale sarebbe: H = log2N, dove N è il numero di messaggi possibili nell’insieme.

Se si trasmettono messaggi che consistono in combinazioni casuali delle 26 lettere dell’alfabeto inglese, lo spazio vuoto e cinque segni di punteggiatura, e se si assume che la probabilità di ogni messaggio sia la stessa, l’entropia sarebbe: H = log232 = 5. Questo significa che sono necessari 5 bit per codificare ogni carattere o messaggio: 00000, 00001, 00010, 11111. La trasmissione e l’immagazzinamento efficienti delle informazioni richiedono una riduzione del numero di bit utilizzati nella loro codifica. Questo è possibile quando si codificano testi inglesi, perché il posizionamento delle lettere non è casuale. Così, per esempio, la probabilità che la lettera che segue la sequenza informació sia una n è molto alta.

Si può dimostrare che l’entropia dello spagnolo scritto normale è circa un bit per parola. Questo dimostra che la lingua spagnola (come qualsiasi altra lingua) ha una grande quantità di ridondanza incorporata, chiamata ridondanza naturale. Questa ridondanza permette, per esempio, a una persona di capire messaggi con vocali mancanti, così come di decifrare una scrittura poco leggibile. Nei moderni sistemi di comunicazione, la ridondanza artificiale viene aggiunta alla codifica dei messaggi per ridurre gli errori nella trasmissione dei messaggi.

(Redirected from Information Theory)

Disciplina scientifica iniziata da Claude E. Shannon attraverso un articolo pubblicato sul “Bell System Technical Journal” nel 1948, dal titolo “A Mathematical Theory of Communication”. Come indica il suo nome, questa disciplina studia l’informazione e tutto ciò che la riguarda (canali, compressione, crittografia, ecc…).

L’informazione è trattata come una quantità fisica e per caratterizzare l’informazione di una sequenza di simboli si usa l’entropia. Si parte dall’idea che i canali non sono ideali, anche se molte volte le non-idealità sono idealizzate, per studiare diversi metodi per inviare informazioni o la quantità di informazioni utili che possono essere inviate attraverso un canale.

Claude Shannon

(Redirected from Claude E. Shannon)

Claude Elwood Shannon (30 aprile 1916 (Michigan) – 24 febbraio 2001) ricordato come “il padre della teoria dell’informazione”.

 

I primi anni della sua vita sono stati trascorsi a Gaylord, dove si è diplomato nel 1932. Fin dalla giovane età, Shannon ha mostrato un’inclinazione per le cose meccaniche. Eccelleva al di sopra dei suoi coetanei nelle materie scientifiche. Il suo eroe d’infanzia era Edison, al quale in seguito si avvicinò molto nella sua ricerca.

Nel 1932 entrò all’Università del Michigan, seguendo sua sorella Catherine, dottore in matematica. Nel 1936 si è laureato in ingegneria elettrica e matematica. Il suo interesse per la matematica e l’ingegneria continuò per tutta la vita.

Nel 1936 accettò un posto come assistente di ricerca nel dipartimento di ingegneria elettrica al Massachusetts Institute of Technology (MIT). La sua situazione gli permise di continuare a studiare mentre lavorava part-time per il dipartimento, ottenendo come risultato il calcolatore più avanzato di quell’epoca…

In questo periodo sviluppò un interesse per i circuiti complessi a relè, insieme a un gusto per la logica e l’algebra booleana. Questi nuovi interessi fu in grado di sviluppare durante l’estate del 1937, che trascorse ai Bell Laboratories di New York City.

Nella sua tesi di dottorato al M.I.T., ha dimostrato come l’algebra booleana potrebbe essere utilizzata nell’analisi e nella sintesi dei circuiti di commutazione e digitali. La tesi suscitò un notevole interesse quando apparve nel 1938 in pubblicazioni specializzate. Nel 1940 ricevette il Premio Nobel delle Società di Ingegneria degli Stati Uniti, un premio dato ogni anno a una persona di non più di trent’anni. Un quarto di secolo dopo H. H. Goldstine, nel suo libro Computers from Pascal to von Neumann, citò la sua tesi come una delle più importanti della storia… che contribuì a cambiare la progettazione dei circuiti digitali.

Durante l’estate del 1938 fece un lavoro di ricerca al M.I.T. e ricevette la Bolles Fellowship mentre lavorava come assistente all’insegnamento e perseguiva un dottorato in matematica.

Nel 1940 ha studiato per un master in ingegneria elettrica e un dottorato in filosofia matematica.

Shannon trascorse quindici anni ai Bell Laboratories, un’associazione molto fruttuosa con molti matematici e scienziati di spicco come Harry Nyquist, Brattain, Bardeen e Shockley, inventori del transistor; George Stibitz, che costruì computer basati su relè; e molti altri.

Durante questo periodo Shannon lavorò in molte aree, in particolare nella teoria dell’informazione, uno sviluppo che fu pubblicato nel 1948 con il nome di “A Mathematical Theory of Communication”. In questo lavoro dimostrò che tutte le fonti di informazione (telegrafo, telefono, radio, persone che parlano, telecamere, ecc, …. )può essere misurato e che i canali di comunicazione hanno un’unità di misura simile. Ha anche dimostrato che l’informazione può essere trasmessa su un canale se e solo se la grandezza della fonte non supera la capacità di trasmissione del canale che la trasporta e ha gettato le basi per la correzione degli errori, la soppressione del rumore e la ridondanza.

Nel campo dei computer e dell’intelligenza artificiale, ha pubblicato un documento nel 1950 che descrive la programmazione di un computer per giocare a scacchi, diventando la base per gli sviluppi successivi.

Nel corso della sua vita ha ricevuto numerose decorazioni e premi da università e istituzioni di tutto il mondo.

Shannon deve essere considerato tra le figure più importanti del XX secolo, anche se il suo nome è sconosciuto al grande pubblico.

Claude Shannon è morto il 24 febbraio 2001, all’età di 84 anni, dopo una lunga lotta contro il morbo di Alzheimer.

Entropia

Da Wikipedia, l’enciclopedia libera.

1| entropia (fisica) Una quantità termodinamica che misura la parte di energia che non può essere utilizzata per produrre lavoro. In un senso più ampio viene interpretato come la misura del disordine in un sistema.

2| entropia (teoria dell’informazione) Una quantità che misura l’informazione contenuta in un flusso di dati, cioè, ciò che ci dà su un particolare dato o fatto.

Per esempio, sentirsi dire che le strade sono bagnate, sapendo che ha appena piovuto, ci dà poca informazione, perché è normale. Ma se ci dicono che le strade sono bagnate e noi sappiamo che non ha piovuto, ci dà un sacco di informazioni (perché non le innaffiano ogni giorno).

Notate che nell’esempio precedente la quantità di informazioni è diversa, pur essendo lo stesso messaggio: Le strade sono bagnate. È su questo che si basano le tecniche di compressione dei dati, che permettono di impacchettare le stesse informazioni in messaggi più brevi.

La misura dell’entropia può essere applicata all’informazione di qualsiasi natura, e ci permette di codificarla correttamente, indicando gli elementi di codice necessari per trasmetterla, eliminando ogni ridondanza. (Per indicare il risultato di una corsa di cavalli basta trasmettere il codice associato al cavallo vincitore, non c’è bisogno di dire che si tratta di una corsa di cavalli o del suo sviluppo).

L’entropia indica il limite teorico della compressione dei dati.

Si calcola con la seguente formula:

H = p1*log(1/p1)+p2*log(1/p2)+ .. pm*log(1/pm)

dove H è l’entropia, p sono le probabilità di comparsa dei diversi codici e m il numero totale dei codici. Se ci riferiamo a un sistema, p si riferisce alle probabilità che si trovi in un certo stato e m al numero totale di stati possibili

Di solito si usa il logaritmo in base 2, e quindi l’entropia si misura in bit.

Per esempio: lanciare una moneta per vedere se esce testa o croce (due stati con probabilità 0,5) ha un’entropia:

H = 0,5*log2(1/0,5)+0,5*log2(1/0,5) = 0,5*log2(2)+0,5*log2(2) = 0,5+0,5 = 1 bit

 

Da questa definizione di base, si possono definire altre entropie.

Canale di comunicazione

Da Wikipedia, l’enciclopedia libera.

Nelle telecomunicazioni, il termine canale ha i seguenti significati:

1. Una connessione tra i punti di partenza e di arrivo di un circuito.

2. Un singolo percorso facilitato da un mezzo di trasmissione che può essere:

a) separato fisicamente, come una coppia di un cavo multicoppia
b) separato elettricamente, come la multiplazione a divisione di frequenza (FDM) o la multiplazione a divisione di tempo (TDM).

3. Un percorso per il trasporto di segnali elettrici o elettromagnetici, solitamente distinto da altri percorsi paralleli da uno dei metodi indicati nella voce precedente.

4. In combinazione con una lettera, un numero o un codice predeterminato fa riferimento a una specifica frequenza radio

5. Porzione di un supporto di memorizzazione, come una traccia o una banda, che è accessibile a una testina o stazione di lettura o scrittura.

6. In un sistema di comunicazione, la parte che collega una fonte (generatore) a un sink (ricevitore) di dati

Fonte: Federal Standard 1037C e MIL-STD-188

Capacità

Da Wikipedia, l’enciclopedia libera.

Nello studio dell’Elettricità, la proprietà di un conduttore di acquisire carica elettrica quando è sottoposto a una differenza di potenziale rispetto a un altro in stato neutro si chiama Capacità.

La capacità è definita numericamente dalla carica acquisita per ogni unità di potenziale.

Nel Sistema Internazionale di unità la capacità si misura in Farad (F), essendo un farad la capacità di un conduttore che sottoposto a una differenza di potenziale di 1 volt, acquisisce una carica elettrica di 1 coulomb.

Compressione dei dati

Da Wikipedia, l’enciclopedia libera.

Operazioni che vengono eseguite sulle informazioni di una fonte con l’obiettivo di eliminare la ridondanza delle informazioni.

Codice sorgente

(Redirected from Source Codes)

Fasi nella realizzazione di programmi:

A differenza del codice oggetto, il codice sorgente è un testo semplice, che può essere letto da qualsiasi editor di testo. In esso sono scritte le istruzioni che il computer deve eseguire, secondo la sintassi di un linguaggio di programmazione. Avere il codice sorgente è di grande importanza se avete bisogno di modificare un programma.

Codici non singolari

Da Wikipedia, l’enciclopedia libera.

Codici il cui alfabeto contiene una parola di codice separata per ogni parola sorgente.

Codici univocamente decodificabili

(Redirected from Codici univocamente decodificabili)

Codici la cui estensione è non.singolare

Estensione del codice

Da Wikipedia, l’enciclopedia libera.

L’estensione di un codice è formata dalle possibili concatenazioni delle diverse parole in codice.

Codici a prefisso o istantanei

(Redirected from Codici a prefisso o istantanei)

È un codice in cui nessuna parola codice è un prefisso di un’altra parola codice.

FEC

Da Wikipedia, l’enciclopedia libera.

Il FEC (Frequent Error Correction) è un protocollo utilizzato per correggere gli errori in una trasmissione. Questo è usato in sistemi senza ritorno o in sistemi in tempo reale dove non si può aspettare la ritrasmissione per visualizzare i dati

L’operazione consiste nel valutare la sindrome del vettore ricevuto (se non c’è errore, la sindrome è il vettore zero). Associato a questa sindrome abbiamo diversi errori (per un codice C(n,k) 2^k diversi) tra tutti prenderemo quello più probabile secondo le caratteristiche del canale (in generale quello con il peso minore). Per recuperare il vettore originale inviato aggiungiamo l’errore calcolato al vettore ricevuto in modo che se siamo riusciti ad assumere l’errore specifico di tutti quelli associati alla sindrome annulleremo il suo effetto.

Questa tecnica ha i suoi limiti perché l’interpretazione del vettore di errore associato alla sindrome calcolata non è precisa.

ARQ

Da Wikipedia, l’enciclopedia libera.

ARQ (Automatic repeat request) è un protocollo utilizzato per il controllo degli errori nella trasmissione dei dati, garantendo l’integrità dei dati. È spesso usato in sistemi che non operano in tempo reale perché il tempo perso nel reinvio può essere considerevole ed è più utile inviare il messaggio sbagliato al momento che inviarlo correttamente qualche tempo dopo. Questo può essere visto molto chiaramente con un’applicazione di videoconferenza dove non è utile emettere il pixel corretto dell’immagine 2 secondi dopo che l’immagine è stata vista.

Questa tecnica di controllo degli errori si basa sul reinvio dei pacchetti di informazioni che vengono rilevati come errati (ciò significa che non tutti i pacchetti di informazioni vengono rilevati come errati).

Per controllare la corretta ricezione di un pacchetto si usano ACK (acknowledge) e NACK in modo che quando il ricevitore riceve un pacchetto correttamente il ricevitore annuisce con un ACK e se non è corretto risponde con un NACK.Durante il protocollo che controlla la ricezione dei pacchetti possono sorgere molteplici problemi (perdita di ACK, ricezione di un ACK sbagliato, ecc,…) complicando così il contenuto dell’ACK e sorgono nuovi concetti come il timeout.

Se il mittente non riceve informazioni sulla ricezione del pacchetto durante un tempo prestabilito (timeout) viene automaticamente reinviato.

Ci sono essenzialmente tre tipi di ARQ, anche se in pratica sono combinati per trovare il sistema ottimale per ogni canale o stato di traffico.

– Fermati e aspetta

– Fermati e aspetta

– Rifiuto selettivo

Fermati e aspetta

Da Wikipedia, l’enciclopedia libera.

In questo tipo di risposta ARQ il prossimo pacchetto non viene inviato fino a quando non viene ricevuto il corrispondente ACK e in caso di ricezione di un NACK il pacchetto precedente viene reinviato.

Rifiuto multiplo

Da Wikipedia, l’enciclopedia libera.

In questo tipo di risposta ARQ, i pacchetti non smettono di essere inviati fino a quando non viene ricevuto un NACK a quel punto la trasmissione viene interrotta e la trasmissione continua inizia dal pacchetto che ha avuto errori sprecando così tutte le informazioni trasmesse tra il primo invio e il rilevamento dell’errore.

 

Questo tipo di ARQ richiede una memoria nel trasmettitore che sia capace di immagazzinare tanti dati quanti possono essere inviati in un timeout, poiché sarà il timeout massimo e quei dati devono essere reinviati dopo che un errore viene rilevato.

Un altro requisito di questo tipo di ARQ è la numerazione degli ACK per poter distinguere a quale pacchetto di informazioni stanno annuendo.

Rifiuto selettivo

Da Wikipedia, l’enciclopedia libera.

Il rifiuto selettivo è un tipo di risposta usato nel controllo degli errori.

In questo tipo di risposta ARQ non si smette di inviare pacchetti fino a quando non si riceve un NACK a quel punto si finisce di inviare il pacchetto che si stava trasmettendo e si reinvia il pacchetto che aveva degli errori subito dopo si continua ad inviare le informazioni dell’ultimo pacchetto che si era inviato.

 

Questo tipo di ARQ richiede una memoria nel trasmettitore che sia in grado di immagazzinare tanti dati quanti possono essere inviati in un timeout, poiché sarà il tempo massimo di attesa e che i dati devono essere reinviati dopo aver rilevato un errore.

Un altro requisito di questo tipo di ARQ è la numerazione degli ACK per poter distinguere a quale pacchetto di informazioni stanno annuendo.

Forse il più fastidioso di tutti gli inconvenienti è la ricezione disordinata dell’informazione che ci costringe a smistarla al mittente o ad avere una memoria che ci permette di conservare i dati mentre abbiamo un pacchetto errato.

Tecniche ibride

Da Wikipedia, l’enciclopedia libera.

Il più delle volte il risultato ottimale non si ottiene con una delle tecniche “pure” o per le caratteristiche della sorgente o per i requisiti del ricevitore. In questi casi usiamo la combinazione di sistemi complementari di protezione/rilevamento/correzione.

Codice corrispondente

Da Wikipedia, l’enciclopedia libera.

L’idea è molto semplice e intuitiva consiste nella codifica simultanea di codici appropriati di fronte a diversi tipi di errori (rumore bianco, burst,…)

Type 1 error control

Da Wikipedia, l’enciclopedia libera.

Questa tecnica ibrida consiste nel combinare le capacità di correzione e di rilevamento dei codici. In questo modo nel ricevitore se possiamo correggere l’errore lo correggiamo e se no chiediamo la ritrasmissione (ARQ).

Controllo degli errori di tipo 2

Da Wikipedia, l’enciclopedia libera.

Nel precedente caso ibrido di tipo 1 in caso di correzione stiamo sprecando informazioni poiché non abbiamo usato le informazioni relative al rilevamento degli errori. Con questa tecnica cerchiamo di ottimizzare in questo modo. Ora trasmettiamo le informazioni più la ridondanza per rilevare gli errori. Se si verifica chiediamo al trasmettitore di inviarci la ridondanza di un codice invertibile che ci permette di riparare gli errori che possono essere rilevati.

In questo modo vengono inviate solo le informazioni da utilizzare.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *