Ahora que hemos aprendido sobre entropía, termodinámica y mecánica estadística, estamos preparados para hablar sobre la formulación de información de Claude Shannon, la cual es llamada Teoría de Información de Shannon. Resulta que es un concepto importante en muchas áreas del la investigación en sistemas complejos. Es algo que definitivamente definitivamente tienes que saber. Claude Shannon fue un matemático que trabajó en los años de 1940 en los laboratorios Bell, que eran parte de AT&T. Su atención se enfocó a una gran pregunta en la comunicación por teléfono: cómo transmitir señales más eficientemente y efectivamente a través de cables de teléfono. El desarrollo de una solución matemática a este problema, Shannon adoptó las ideas de mecánica estadística de Boltzmann al campo de la comunicación, y usó estas ideas para definir una particular algo estrecha, pero extremadamente útil, noción de información. En la formulación de Shannon de comunicación, tenemos un mensaje “fuente”. Esto es una caja negra que emite mensajes, que pueden pensar como alguien a quien estas escuchando por teléfono. El mensaje “fuente” emite mensajes, por ejemplo, palabras, al “recibidor” de mensajes, que podría ser tú, escuchando a tu mamá hablando por teléfono. El mensaje "fuente", más formalmente, es la serie de todos los posibles mensajes que la "fuente" puede mandar, cada uno con su propia probabilidad de ser el siguiente enviado. Un mensaje puede ser un símbolo o un número o una palabra, dependiendo del contexto. En nuestros ejemplos, serán palabras. El contenido de información en la formulación de Shannon es una medida del mensaje “fuente”, que es una función del número de posibles mensajes y de sus probabilidades. Informalmente, el contenido de información H es la cantidad de “sorpresa” que el recibidor tiene después de recibir el mensaje. Voy a explicarlo dando algunos ejemplos. En mi libro, Complejidad: un Tour Guiado, usé algunos ejemplos de mis dos hijos Como podrás imaginar, ahora son jóvenes y no estan muy contentos de ser ejemplos en mis libros. No los voy a nombrar aquí, pero puedes imaginar que cualquier particular niño de 1 año de edad, quién es el mensaje “fuente”, y que está hablando con su abuela por teléfono pero todo lo que puede decir es una sola palabra: da da da Y lo dice una y otra vez. Entonces, su mensaje consiste en una palabra, da, con probabilidad 1: eso es todo lo que él dice. No hay sorpresa, Desde el punto de vista de la abuela, ella siempre sabe la siguiente palabra que vendrá, y por lo tanto, no hay sorpresa, no hay contenido de información. Entonces, el contenido de información de este mensaje “fuente” , que es el niño de 1 año es igual a 0 bits. El contenido de información en la formulación de Shannon es medida en "bits". En contraste, piensa sobre el hermano de este niño de de 1 año, que tiene 3 años. Este niño es capaz de hablar y decir muchas cosas, como “¡Hola, abuela, estoy jugando a Superman!” Aquí, el mensaje “fuente” es un niño de 3 años que sabe alrededor de 500 palabras en inglés. Y entonces, podemos nombrar éstas como palabra 1, palabra 2, hasta la palabra 500, y cada una tiene su propia probabilidad de ser dicha por el niño de 3 años. Nosotros no sabemos esas probabilidades, pero vamos a decir que medimos su plática y grabamos muchas horas de su plática y que podemos asignar a sus palabras diferente probabilidades. Bueno, la abuela no sabe exactamente que palabra va a salir de su boca en seguida; entonces, ella tiene más sorpresa esta vez, que por su hermano. Por lo tanto, este mensaje “fuente” tiene más contenido de información, es mayor que 0 bits. Ahora, ¡vamos a probar tu intuición y entendimiento de esta idea con un acertijo corto! Nuestro acertijo tiene dos preguntas, ¿Cuál tiene mayor contenido de información de Shannon? y te pregunta que compares dos posibles mensajes “fuentes” en la pregunta 1 y 2.