Ok, solo para resumir.
Si tenemos n bits, lo que corresponde a 2^n posibilidades.
y siempre definimos 2^n como N, si tenemos una n pequeña.
Si tenemos N posibilidades, donde N podría ser 3, o sea no 2 elevado a algún entero,
esto corresponde a logaritmo base 2 de n bits,
que no tiene que ser un número por ejemplo log base 2 de 3 está entre uno y dos bits.
lo cual en realidad es un número pero no un número natural.
Entonces también vimos probabilidades.
Así que si la frecuencia de caras es m_h/m,
El total de... si tengo una secuencia de caras y cruces
Cuento el número total de caras, cuento el número total de cruces,
Defino esto como q(h) y defino q(t)
lo que es igual a 1-q(t), porque es o cara o cruz,
nuestras monedas no están cayendo de lado y quedándose así sobre sus bordes
entonces el número total de secuencias... de hecho lo voy a escribir así
el log base 2 del número de secuencias con frecuencia q(h) de caras y q(t) de cruces
esto es igual a -q(h) log base 2 q(h) -q(t) log base 2 q(t)
y definimos esto como la cantidad de información o entropía en esas secuencias
Y si el logaritmo de este número es igual a esto, eso implica que
el número total de dichas secuencias, o sea, secuencias con esta frecuencia
es aproximadamente igual a 2... perdón hay una m aquí... es 2^(mI) o 2^(mS).
Entonces esta fórmula especial casi mágica pero no mágica, porque es solo matemática,
esta fórmula que aparece todo el tiempo en teoría de la información
menos la suma de q log q o menos la suma de p log p,
es únicamente una forma de contar el número de secuencias
si tienes un tipo particular de frecuencia.
Así que hay una relación intrínseca entre frecuencia, probabilidad e información,
y esa relación es dada por esta fórmula.
Ok, en poco tiempo, quizá 1 o 2 sesiones, dentro de estas sesiones de 10 minutos
hablaremos sobre como aplicar esta fórmula fundamental de la teoría de la información
al problema de la comunicación.
¿Cuántos bits de información se pueden enviar sobre un canal de comunicación?
Por ejemplo, yo estoy hablando ahora mismo
Mi laringe se está moviendo, se están enviando vibraciones en el aire,
este es un sistema físico, información está siendo transmitida,
pero como es un canal de comunicacón físico, hay límites físicos sobre
que tanta información yo podría probablemente comunicarte a ti,
asumiendo por supuesto, que estoy comunicando alguna información.
Estas fórmulas fundamentales de teoría de información permiten limitar la capacidad
de cualquier canal de comunicación, cualquier canal a través de medios físicos
y esos son los únicos canales de comunicación que yo conozca.
Pero, antes de hacer esto, hablemos de la relación entre información y computación.
En otras palabras, hablemos de procesamiento de información.
Lo que también se conoce como computación,
y también va bajo el nombre de lógica Booleana.
Lógica Booleana, ¿qué es la lógica Booleana?
Bueno, George Boole fue un lógico del siglo XIX, que ideó la lógica Boolena.
De hecho estuvo casado con Mary Everest, hija del explorador de la Soberanía
Británica en la India del mismo nombre por el cual el Monte Everest fue nombrado.
Boole escribió un libro modestamente llamado "Las Leyes del Pensamiento".
El encajaría bien con el tipo de modestia que hay en el Instituto de Santa Fé ahora
Seguramente aquí lo recibiríamos con los brazos abiertos.
Así que ¿Cuál es el contenido de su libro "Las Leyes del Pensamiento"?
Bueno, Boole estaba interesado en proposiciones lógicas,
y las proposiciones lógicas pueden ser o verdaderas o falsas.
Por cierto, si vamos a mapear esto a la forma en que lo hacen las computadoras,
usualmente llamamos al verdadero 1 y al falso 0.
Esto es solo una convención.
Aquellos que estén a favor del 0 por sobre el 1 pueden usar la convención opuesta,
si así lo quieren, pero yo voy a adoptar esta convención de aquí.
Así que Boole estaba interesado en preguntas como,
supongamos que tengo una proposición X tal que X es 'está soleado'.
Y tengo otra proposición Y, por ejemplo Y es 'está lloviendo'.
Así que o está soleado o no está soleado, así que...
puede ser cierto que está soleado o puede ser falso que está soleado.
puede ser cierto que está lloviendo o puede ser falso que está lloviendo.
Boole estaba interesado en proposiciones de la forma X AND Y.
X AND Y significa que está soleado y está lloviendo.
En realidad donde Boole vivía en Irlanda probablemente era, usualmente, falso.
Usualmente falso en este caso.
También estaba interesado en proposiciones como X OR Y.
Ahora, o está soleado o está lloviendo.
También podría ser que esté nublado y no lloviendo.
Así que a veces cierto.
Y también estaba interesado en proposiciones como, si X entonces (NOT Y).
Así que si está soleado entonces no está lloviendo.
Probablemente en gran parte cierto.
Él quería descomponer enunciados lógicos en proposiciones de esta forma,
usando ideas como X AND Y,
que una proposición es verdadera sí y solo sí sus componentes son verdaderos.
X OR Y, está proposición es verdadera sí y solo sí uno o más de sus componentes lo es
o proposiciones más complicadas como si X entonces NOT Y,
la cual es alguna función Booleana de las proposiciones que la componen.
He aquí un hecho glorioso.
Si digo X AND Y, escribo esto como X ∧ Y.
X OR Y, lo puedo escribir como X ∨ Y,
esta es la notación que Boole desarrolló.
NOT X, esto lo escribo como X con una pequeña tilde adelante (~X) para negar X.
Si X entonces Y, lo escribo como X → Y, si X es verdadero entonces Y también.
Boole tuvo un bello teorema que dice, "Cualquier expresión lógica posible puede
escribirse en términos de una composición de este tipo de proposiciones".
Por ejemplo, X ∧ (Y ∨ ~X) → Y ∧ (X ∨ ~Y).