Ahora que hemos aprendido sobre entropía, termodinámica y mecánica estadística,
estamos preparados para hablar sobre la formulación de información de Claude Shannon, la cual es
llamada Teoría de Información de Shannon. Resulta que es un concepto importante
en muchas áreas del la investigación en sistemas complejos. Es algo que definitivamente
definitivamente tienes que saber. Claude Shannon fue un matemático
que trabajó en los años de 1940 en los laboratorios Bell, que eran parte de AT&T. Su atención se enfocó a
una gran pregunta en la comunicación por teléfono: cómo transmitir señales más eficientemente y
efectivamente a través de cables de teléfono. El desarrollo de una solución matemática a este problema,
Shannon adoptó las ideas de mecánica estadística de Boltzmann
al campo de la comunicación, y usó estas ideas para definir una particular
algo estrecha, pero extremadamente útil, noción de información.
En la formulación de Shannon de comunicación, tenemos un mensaje “fuente”.
Esto es una caja negra que emite mensajes, que pueden pensar como alguien a quien
estas escuchando por teléfono. El mensaje “fuente” emite mensajes, por ejemplo, palabras,
al “recibidor” de mensajes, que podría ser tú, escuchando a tu mamá hablando por teléfono.
El mensaje "fuente", más formalmente, es la serie de todos los posibles mensajes que
la "fuente" puede mandar, cada uno con su propia probabilidad de ser el siguiente enviado.
Un mensaje puede ser un símbolo o un número o una palabra, dependiendo del contexto.
En nuestros ejemplos, serán palabras. El contenido de información en la formulación
de Shannon es una medida del mensaje “fuente”, que es una función del número
de posibles mensajes y de sus probabilidades.
Informalmente, el contenido de información H es la cantidad de
“sorpresa” que el recibidor tiene después de recibir el mensaje.
Voy a explicarlo dando algunos ejemplos.
En mi libro, Complejidad: un Tour Guiado, usé algunos ejemplos de mis dos hijos
Como podrás imaginar, ahora son jóvenes y no estan
muy contentos de ser ejemplos en mis libros.
No los voy a nombrar aquí, pero puedes imaginar que cualquier particular niño de 1 año de edad,
quién es el mensaje “fuente”, y que está hablando con su abuela por teléfono
pero todo lo que puede decir es una sola palabra: da da da
Y lo dice una y otra vez. Entonces, su mensaje consiste en una palabra, da,
con probabilidad 1: eso es todo lo que él dice. No hay sorpresa,
Desde el punto de vista de la abuela, ella siempre sabe la siguiente palabra que vendrá,
y por lo tanto, no hay sorpresa, no hay contenido de información.
Entonces, el contenido de información de este mensaje “fuente” , que es el niño de 1 año
es igual a 0 bits. El contenido de información en la formulación de Shannon es medida en "bits".
En contraste, piensa sobre el hermano de este niño de de 1 año, que tiene 3 años.
Este niño es capaz de hablar y decir muchas cosas, como “¡Hola, abuela,
estoy jugando a Superman!” Aquí, el mensaje “fuente” es un niño de 3 años
que sabe alrededor de 500 palabras en inglés. Y entonces, podemos nombrar
éstas como palabra 1, palabra 2, hasta la palabra 500, y cada una tiene su propia
probabilidad de ser dicha por el niño de 3 años. Nosotros no sabemos esas probabilidades,
pero vamos a decir que medimos su plática y grabamos muchas horas de su
plática y que podemos asignar a sus palabras diferente probabilidades.
Bueno, la abuela no sabe exactamente que palabra va a salir de su boca en seguida;
entonces, ella tiene más sorpresa esta vez, que por su hermano. Por lo tanto,
este mensaje “fuente” tiene más contenido de información, es mayor que 0 bits.
Ahora, ¡vamos a probar tu intuición y entendimiento de esta idea con un acertijo corto!
Nuestro acertijo tiene dos preguntas, ¿Cuál tiene mayor contenido de información de Shannon?
y te pregunta que compares dos posibles mensajes “fuentes” en la pregunta 1 y 2.