Então, a última coisa que temos de fazer é mostrar que a nossa fórmula do caso geral

está de acordo com a nossa fórmula do caso especial,quando a nossa fórmula do caso especial

era quando todas as mensagens tinham igual probabilidade.

Deixem-me dar-vos de novo a nossa fórmula do caso geral.

Se x é uma fonte de mensagem, então o conteúdo de informação dessa fonte

de informação é igual à soma de i igual a 1 até M --- isto é, vamos somar

todos estes termos da probabilidade da mensagem i vezes o log na base 2

da probabilidade da mensagem i. Esta era a nossa fórmula geral, original.

O.K. e agora se tivermos todas as mensagens com igual probabilidade? Isto significa que

as probabilidades são apenas iguais a 1/M. Portanto, se háouver duas mensagens,

cada uma delas tem probabilidade 1/2, se existirem 3, cada uma tem probabilidade 1/3,

etc. Então, neste caso, H de x é igual a menos a soma de i igual a 1 até M de -- bem, p índice i

é 1/M -- vezes o log na base 2 de 1/M, e se somarmos isto M vezes, vai

ser isto mais isto mais isto M vezes --- vamos libertar-nos do

termo 1/M --- por isso isto vai ser igual a menos o log2 na base 2 de 1/M --- bem, menos log

na base 2 de 1/M é igual a log na base 2 de M, usando as nossas regras de log, e isto

é o mesmo que tínhamos no caso especial de todas as probabilidades

iguais.

Voltando atrás. A razão pela qual Shannon queria fazer toda esta medição

do conteúdo de informação era com o objectivo de codificação e, em geral,

para optimizar a codificação de sinais enviados por fios telefónicos. Ele mostrou

que o conteúdo de informação, tal como definido atrás, dá o número médio

de bits necessários para codificar uma mensagem, digamos, um sinal numa linha telefónica,

de uma fonte de informação, dado um código ótimo --- e o artigo

original de Shannon, que se transformou num livro, mostra isso rigorosamente, matematicamente.

A ideia é que temos um certo conjunto particular de mensagens, as quais têm

certas probabilidades, que medimos. Podemos encontrar o número óptimo

de bits necessários para, em média, codificar cada mensagem, e este

dá-nos, basicamente, a quantidade de compressibilidade do texto --- quanto maior

o conteúdo de informação, menos compressível ele é. Por isso, se estiverem interessados em

saber mais sobre isto, podem procurar no google" a noção de código de Huffman, o qual

mostra como fazer compressão óptima. Não vou falar mais acerca

disso durante este curso, mas é uma área muito interessante e importante, que

afectou a nossa capacidade, em geral, de usar tecnologias tais como comunicação telefónica,

comunicação na internet, etc., por isso é extremamente importante.

Finalmente, quero dizer uma palavras acerca da noção de"sem significado" ,

a respeito do conteúdo de informação de Shannon.

Já devem ter reparado que o conteúdo de informação de Shannon, que é acerca

de probabilidades e números de mensagens produzidas por uma fonte emissora,

não tem nada a dizer acerca do significado das mensagens, o significado

da informação, que função pode ter para o emissor ou para

o receptor. Na verdade, o significado de informação vem do processamento de informação,

que é o que o emissor ou receptor faz ao enviar ou receber

a mensagem. Vamos falar nisso em pormenor na Unidade 7, quando falarmos

acerca de modelos de auto-organização, e de como sistemas auto-organizativos

processam a informação, de modo a extrair significado.