Agora que nós aprendemos sobre entropia, termodinâmica, e mecânica estatística,
nós estamos prontos para falar sobre a formulação de informação de
Claude Shannon, que é agora
chamada de Teoria da Informação de Shannon. Ela veio a ser um importante
conceito em muitas áreas da pesquisa em sistemas complexos. É definitivamente algo
sobre o qual você deveria saber.
Claude Shannon foi um matemático, que trabalhou
na década de 40 na Bell Labs, que era parte da AT&T.
Seu foco era em uma grande questão para a comunicação telefônica:
como transmitir sinais mais eficientemente
e efetivamente através das linhas de telefone.
Ao desenvolver uma solução matemática para esse problema,
Shannon adaptou ideias de Boltzmann da mecânica estatística
para o campo da comunicação, e usou essas ideias para definir uma noção particular,
um pouco estreita, mas extremamente útil de informação.
Na formulação de comunicação de Shannon, nós temos uma fonte de mensagem.
Essa aqui é uma caixa preta que emite mensagens, mas você pode pensar nisso
como alguém que você está ouvindo pelo telefone.
Essa fonte de mensagem emite mensagens, por exemplo, palavras, para
um receptor de mensagens - que pode ser você, ouvindo sua mãe falar no telefone.
Uma fonte de mensagem, mais formalmente, é um conjunto de todas as mensagens
possíveis que essa fonte pode enviar, cada uma com sua
própria probabilidade de ser a próxima a ser enviada. E uma mensagem pode
ser um símbolo, um número, ou uma palavra, depedendo do contexto.
Em nossos exemplos, elas serão palavras na maioria das vezes. O conteúdo da
informação na formulação de Shannon é uma medida da fonte de
mensagem, que é uma função do número de mensagens possíveis
e suas probabilidades. Informalmente, o conteúdo de informação H é a quantidade
de "surpresa" que o receptor tem, após receber cada mensagem.
Então, deixe-me explicar isso dando alguns exemplos.
Em meu livro, Complexity: a Guided Tour, eu usei alguns exemplos de meus dois
filhos, quando eles eram muito mais novos. Como você pode imaginar,
eles agora são adolescentes e eles não estão muito
felizes com serem exemplos em meus livros, embora
eu não coloque seus nomes. Mas você pode imaginar qualquer criança com 1 ano,
que é a fonte de mensagem, e essa criança está falando com sua
avó no telefone, mas tudo que ela pode dizer é uma palavra: da da da da da,
ela diz isso repetidamente. Então, suas mensagens consistem em uma palavra, da,
com probabilidade 1 - isso é tudo que ele diz. Não há surpresa, então,
para o ponto de vista da avó: ela sempre sabe qual será a próxima palavra
e, então, se não há surpresa, não há conteúdo de informação.
Então, o conteúdo de informação dessa fonte de mensagem, isto é, a criança de 1
ano é igual a 0 bits - conteúdo de informação na formulação de Shannon é
medido em "bits".
Em contraste, pensem no irmão mais velho dessa criança, que tem
três anos. O menino de três anos é capaz de falar e dizer várias coisas, como
"Olá, vovó, eu estou brincando de Super-Homem!".
Então aqui, a fonte de mensagem é um menino de 3 anos, e
ele sabe mais ou menos 500 palavras, em inglês. E então, nós podemos rotulá-las,
paravra 1, palavra 2, até a palavra 500, e cada um dessas tem sua própria
probabilidade de ser dita por ele. Nós não conhecemos essas probabilidades,
mas vamos apenas dizer que nós medimos sua fala, que nós gravamos várias horas
de sua fala, e nós podemos atribuir a essas palavras diferentes probabilidades.
Bem, a avó não sabe exatamente qual a próxima palavra que sairá de sua boca,
então ela tem mais surpresa dessa vez, do que com seu irmão. Então, essa
fonte de mensagem tem mais conteúdo de informação - é maior que 0 bits.
Agora, apenas para testar sua compreensão intuitiva dessa ideia,
vamos fazer um pequeno quiz!
Nosso quiz terá duas perguntas - qual tem mais conteúdo de informação de Shannon -
e pedem para comparar duas fontes de mensagens possíveis,
na questão 1 e na questão 2.