Agora que nós aprendemos sobre entropia,
termodinâmica, e mecânica estatística,

nós estamos prontos para falar
sobre a formulação de informação de

Claude Shannon, que é agora

chamada de Teoria da Informação de
Shannon. Ela veio a ser um importante

conceito em muitas áreas da pesquisa em
sistemas complexos. É definitivamente algo

sobre o qual você deveria saber.

Claude Shannon foi um matemático, 
que trabalhou

na década de 40 na Bell Labs, que era
parte da AT&T.

Seu foco era em uma grande
questão para a comunicação telefônica:

como transmitir sinais mais
eficientemente

e efetivamente através das linhas de
telefone.

Ao desenvolver uma solução
matemática para esse problema,

Shannon adaptou ideias de Boltzmann 
da mecânica estatística

para o campo da comunicação, e usou essas
ideias para definir uma noção particular,

um pouco estreita, mas extremamente útil
de informação.

Na formulação de comunicação de Shannon,
nós temos uma fonte de mensagem.

Essa aqui é uma caixa preta que emite
mensagens, mas você pode pensar nisso

como alguém que você está
ouvindo pelo telefone.

Essa fonte de mensagem emite 
mensagens, por exemplo, palavras, para

um receptor de mensagens - que pode ser
você, ouvindo sua mãe falar no telefone.

Uma fonte de mensagem, mais formalmente,
é um conjunto de todas as mensagens

possíveis que essa
fonte pode enviar, cada uma com sua

própria probabilidade de ser a próxima a
ser enviada. E uma mensagem pode

ser um símbolo, um número, ou uma 
palavra, depedendo do contexto.

Em nossos exemplos, elas serão palavras
na maioria das vezes. O conteúdo da

informação na formulação
de Shannon é uma medida da fonte de

mensagem, que é uma função do
número de mensagens possíveis

e suas probabilidades. Informalmente,
o conteúdo de informação H é a quantidade

de "surpresa" que o receptor tem, após
receber cada mensagem.

Então, deixe-me explicar isso dando
alguns exemplos.

Em meu livro, Complexity: a Guided Tour,
eu usei alguns exemplos de meus dois

filhos, quando eles eram muito
mais novos. Como você pode imaginar,

eles agora são
adolescentes e eles não estão muito

felizes com serem exemplos em meus
livros, embora

eu não coloque seus nomes. Mas você pode
imaginar qualquer criança com 1 ano,

que é a fonte de mensagem, e essa criança
está falando com sua

avó no telefone, mas tudo que ela pode
dizer é uma palavra: da da da da da,

ela diz isso repetidamente. Então, suas
mensagens consistem em uma palavra, da,

com probabilidade 1 - isso é tudo que ele
diz. Não há surpresa, então,

para o ponto de vista da avó: ela sempre
sabe qual será a próxima palavra

e, então, se não há surpresa, não há
conteúdo de informação.

Então, o conteúdo de informação dessa
fonte de mensagem, isto é, a criança de 1

ano é igual a 0 bits - conteúdo de
informação na formulação de Shannon é

medido em "bits".

Em contraste, pensem no irmão
mais velho dessa criança, que tem

três anos. O menino de três anos é capaz
de falar e dizer várias coisas, como

"Olá, vovó, eu estou 
brincando de Super-Homem!".

Então aqui, a fonte de mensagem é um
menino de 3 anos, e

ele sabe mais ou menos 500 palavras, em
inglês. E então, nós podemos rotulá-las,

paravra 1, palavra 2, até a palavra 500,
e cada um dessas tem sua própria

probabilidade de ser dita por ele. Nós
não conhecemos essas probabilidades,

mas vamos apenas dizer que nós medimos
sua fala, que nós gravamos várias horas

de sua fala, e nós podemos atribuir a
essas palavras diferentes probabilidades.

Bem, a avó não sabe exatamente qual
a próxima palavra que sairá de sua boca,

então ela tem mais surpresa dessa vez,
do que com seu irmão. Então, essa

fonte de mensagem tem mais conteúdo de
informação - é maior que 0 bits.

Agora, apenas para testar sua 
compreensão intuitiva dessa ideia,

vamos fazer um pequeno quiz!

Nosso quiz terá duas perguntas - qual tem
mais conteúdo de informação de Shannon -

e pedem para comparar duas 
fontes de mensagens possíveis,

na questão 1 e na questão 2.