Então, a última coisa que temos de fazer é mostrar que a nossa fórmula do caso geral
está de acordo com a nossa fórmula do caso especial,quando a nossa fórmula do caso especial
era quando todas as mensagens tinham igual probabilidade.
Deixem-me dar-vos de novo a nossa fórmula do caso geral.
Se x é uma fonte de mensagem, então o conteúdo de informação dessa fonte
de informação é igual à soma de i igual a 1 até M --- isto é, vamos somar
todos estes termos da probabilidade da mensagem i vezes o log na base 2
da probabilidade da mensagem i. Esta era a nossa fórmula geral, original.
O.K. e agora se tivermos todas as mensagens com igual probabilidade? Isto significa que
as probabilidades são apenas iguais a 1/M. Portanto, se háouver duas mensagens,
cada uma delas tem probabilidade 1/2, se existirem 3, cada uma tem probabilidade 1/3,
etc. Então, neste caso, H de x é igual a menos a soma de i igual a 1 até M de -- bem, p índice i
é 1/M -- vezes o log na base 2 de 1/M, e se somarmos isto M vezes, vai
ser isto mais isto mais isto M vezes --- vamos libertar-nos do
termo 1/M --- por isso isto vai ser igual a menos o log2 na base 2 de 1/M --- bem, menos log
na base 2 de 1/M é igual a log na base 2 de M, usando as nossas regras de log, e isto
é o mesmo que tínhamos no caso especial de todas as probabilidades
iguais.
Voltando atrás. A razão pela qual Shannon queria fazer toda esta medição
do conteúdo de informação era com o objectivo de codificação e, em geral,
para optimizar a codificação de sinais enviados por fios telefónicos. Ele mostrou
que o conteúdo de informação, tal como definido atrás, dá o número médio
de bits necessários para codificar uma mensagem, digamos, um sinal numa linha telefónica,
de uma fonte de informação, dado um código ótimo --- e o artigo
original de Shannon, que se transformou num livro, mostra isso rigorosamente, matematicamente.
A ideia é que temos um certo conjunto particular de mensagens, as quais têm
certas probabilidades, que medimos. Podemos encontrar o número óptimo
de bits necessários para, em média, codificar cada mensagem, e este
dá-nos, basicamente, a quantidade de compressibilidade do texto --- quanto maior
o conteúdo de informação, menos compressível ele é. Por isso, se estiverem interessados em
saber mais sobre isto, podem procurar no google" a noção de código de Huffman, o qual
mostra como fazer compressão óptima. Não vou falar mais acerca
disso durante este curso, mas é uma área muito interessante e importante, que
afectou a nossa capacidade, em geral, de usar tecnologias tais como comunicação telefónica,
comunicação na internet, etc., por isso é extremamente importante.
Finalmente, quero dizer uma palavras acerca da noção de"sem significado" ,
a respeito do conteúdo de informação de Shannon.
Já devem ter reparado que o conteúdo de informação de Shannon, que é acerca
de probabilidades e números de mensagens produzidas por uma fonte emissora,
não tem nada a dizer acerca do significado das mensagens, o significado
da informação, que função pode ter para o emissor ou para
o receptor. Na verdade, o significado de informação vem do processamento de informação,
que é o que o emissor ou receptor faz ao enviar ou receber
a mensagem. Vamos falar nisso em pormenor na Unidade 7, quando falarmos
acerca de modelos de auto-organização, e de como sistemas auto-organizativos
processam a informação, de modo a extrair significado.