Hemos hablado sobre la información como bits que miden la información, hemos hablado sobre contar, de forma que podemos usar bits para contar 00, 01, 10, 11, contando desde cero hasta tres, módulo 2. Hemos hablado de los bits como formas de etiquetar, de que podemos usar códigos de barras, que son sólo bits para etiquetar cosas. Y finalmente hemos hablado de cómo los bits son algo físico, que todos los bits que tenemos en las computadoras, todos los bits de información que estoy transmitiendo a través de las vibraciones de mis cuerdas vocales y las vibraciones del aire son, de hecho, sistemas físicos, manifestaciones físicas de la información. Y también hablamos de un descubrimiento hecho hace 150 años, de que todos los sistemas físicos llevan información, y que esa cantidad de información se puede cuantificar. Entonces el número de bits es el logaritmo en base dos del número de posibilidades, un resultado que irónicamente está inscrito en la tumba de Boltzmann. Entonces ahora quisiera hablar de otro aspecto de los bits, un aspecto de los bits de información muy característico del siglo 20. Y se trata de la relación entre información y probabilidad. Entonces, la probabilidad es algo que nos resulta a la vez familiar y confuso, yo siempre me confundo con la probabilidad. Los seres humanos son conocidos por tener un muy mal sentido intuitivo sobre la probabilidad. Sobreestimamos la probabilidad de eventos verdaderamente desagradables, mientras que subestimamos la probabilidad de eventos agradables y normales. Por supuesto, desde un punto de vista evolutivo, sobreestimar la probabilidad de un evento como un tigre dientes de sable saltando desde este árbol e incrustando sus dientes en tu cuello, es probablemente algo bueno, lo cual podría ser la razón. Pero hay una idea simple de la probabilidad, que intentaré demostrar aquí. Tomemos el ejemplo de las caras y las cruces. Aquí tengo una bonita y brillante moneda de 5 centavos, que me dio un miembro del Instituto Santa Fé, que no me pidió que se la devolviera, por lo que tengo 5 centavos más. Entonces, puede ser cara o cruz. ¿Qué creen ustedes? ¿cuál es la probabilidad de que sea cara o de que sea cruz? Bueno, yo digo que es 50-50. Pero, ¿porqué? ¿Porqué es una mitad? la probabilidad de sea cara o cruz. Fue cruz, lo juro. Entonces hay dos nociones de probabilidad para cara y cruz. Una noción es - y yo digo que esta es la noción más intuitiva - cuando yo sólo la lanzo de esta forma, no estaba viéndola en el aire, no sé qué tan fuerte la lancé, No la ví antes de ponerla ahí. No tengo razón para preferir cara sobre cruz. Cara sobre cruz tienen, a priori, el mismo peso. Cara. Era cara, por cierto, ahora la probabilidad es uno de que era cara, y esto es lo que es gracioso acerca de las probabilidades. Primero uno no sabe, y además hay unos que son probabilidades. Estos son llamados probabilidades previas o a priori. Entonces la probabilidad de caras es igual a la probabilidad de cruces, que es un medio, ya que no hay ninguna razón para preferir caras sobre cruces. Este es un buen argumento. Entonces esta es la probabilidad previa de caras o cruces, es 50 por ciento. Pero hay otro argumento sobre porqué la probabilidad de caras o cruces debe ser 50 por ciento. Dejenme intentar sólo así, dejenme lanzar esta moneda varias veces. Cruz. Cara. Cara. Cara. Cruz. Cara. Cruz. Cara. Cara. Entonces obtuve siete caras y tres cruces, en 10 lanzamientos. Esto fue un poco aburrido, ese es el problema. Con las probabilidades es aburrido y confuso entender qué está pasando, hay que hacerlo muchas veces. Ya que no creo que estarán de acuerdo en que esta moneda nueva y brillante de cinco centavos de los Estados Unidos realmente tiene una probabilidad de 7 de 10 de caer en cara y 3 de 10 de caer en cruz. Fue sólo la suerte del lanzamiento. Sucede que había siete caras y tres cruces, lo cual, si estás lanzando una moneda 10 veces, es bastante razonable. Entonces si lanzara esta moneda muchas veces más, lo cual no voy a haber porque sé que sería aburrido, ustedes se aburrirían. Si lanzara una moneda, digamos una moneda sin sesgos (debo notar que en mis clases en el MIT, los estudiantes siempre empiezan creyendo lo que digo, pero después de algunas clases, se vuelven muy desconfiados, no sé porqué, si parezco una persona confiable). Bueno, lanzo una moneda sin sesgos m veces y observamos el número de caras y de cruces y la suma del número de caras más el número de cruces es igual a m. Sólo la lancé diez veces. y vamos a definir la frecuencia, o la frecuencia de caras como el número de caras dividido entre m. Entonces si la lancé 10 veces y obtuve 7 caras, la frecuencia de caras es 0.7 La frecuencia de cruces, como pueden adivinar, es el número de cruces entre m, y eso es igual a 1 menos el número de caras dividido entre m. Ahora, lo que esperamos, solo por experiencia previa, es que si seguimos lanzando la moneda muchas, muchas muchas veces. Bueno, si la lanzo 100 veces, ciertamente no espero obtener exactamente 50 caras, lo cual sería una frecuencia de exactamente 0.5, igual a la probabilidad. Pero si esperaría obtener algo un poco mejor que 0.7, o 7 décimos. Parecería muy poco probable que si lanzo una moneda 100 veces obtendré 70 caras. Es perfectamente posible, porqué no. Pero, en fin... Entonces echemos un vistazo. Les daré una fórmula para esto. El número esperado de caras, que además es el número esperado de cruces, porque no hay nada que nos ayude a escoger entre ellas, es igual al 50 por ciento. Si lanzo la moneda 100 veces, por ejemplo, m es igual a 100. Entonces m entre 2 es 50. Entonces esperaría obtener alrededor de 50, y utilizaré esta notación, más menos, que explicaré en un momento, más la mitad de la raíz cuadrada de m. Entonces lo que esperaríamos significa, bueno, estará dentro de este intervalo. Si lanzo la moneda 100 veces, la raíz cuadrada de 100 es 10. Espero que el resultado esté entre 5, puede ser un poco más, 7 u 8 más, pero estaría bastante sorprendido si hubiera 70 caras y 30 cruces. Uno pensaría que es más probable, bueno, 60 caras, 40 cruces, pero más probable aún 55 y 45. Y de hecho, eso es lo que ustedes pueden hacer. Vamos a preguntarnos porqué esto es así. Si tomo todas las posibles secuencias H H T T H H H T H H H T podemos notar que las primeras diez de estas son básicamente lo que obtuve cuando lancé la moneda. . . . que es una manera de decir "etcétera". Y sigue así, hasta que tengamos n de estas, y podremos contar el número de secuencias posibles con exactamente m_h caras y m_t cruces. Por supuesto, dado que tiene que ser cara o cruz, (a menos que la moneda caiga parada, que no creo que vaya a suceder) esto tiene que sumar m. Entonces voy a contar el número de secuencias posibles con exactamente m_h caras, m_t cruces, y ambas tienen que sumar m. Entonces averiguamos, bueno, no hay muchas secuencias que son cara cara cara ... cruz. Habrá un número muy pequeño de secuencias con casi puras caras y muy pocas cruces. Igualmente, habrá un número muy pequeño de secuencias que tienen casi puras cruces y pocas caras, y habrá un número inmenso de secuencias con números similares de caras y cruces. Pueden ver, entonces, para relacionar todo esto con la teoría de la información, que cada secuencia es como una secuencia de ceros y unos. podemos llamar cero a las caras y uno a las cruces, y esto será simplemente una cadena muy muy muy larga de bits. Podemos relacionar estas ideas sobre la información, el número de secuencias posibles con un patrón particular, y en este caso el número de caras y cruces, con la probabilidad.