Lo último que tenemos que hacer
es mostrar que nuestra fórmula general
está de acuerdo con nuestra
fórmula especial
donde nuestra fórmula especial era
cuando todos los mensajes
tenían igual probabilidad
Déjenme darles de nuevo
nuestra formula para caso general
Si x es una fuente de mensaje,
entonces el contenido de información
de esa fuente de mensaje es igual
a la sumatoria de i igual 1 a M,
vamos a sumar todos estos términos
de la probabilidad del mensaje i
veces el logaritmo en base 2
de la probabilidad del mensaje i
esa era nuestra fórmula general original
ok, ahora, qué sucede si todos los mensajes
tienen igual probabilidad
esto significa que las probabilidades
son iguales a 1 sobre M
si hay 2 mensajes,
cada uno tiene probabilidad 1/2
si hay 3, cada uno tiene probabilidad 1/3
y así por delante
Entonces en ese caso,
H de x será menos la sumatoria
de i igual a 1 hasta M de, bueno,
P sub i es 1/M veces
el logaritmo en base 2 de 1/M
y, si sumamos esto, M veces, será
esto, más esto, más esto, M veces
esto se deshará del término 1/M
y eso será igual
a menos el logaritmo base 2 de 1/M
bueno, menos el logaritmo base 2 de 1/M
es igual a log base 2 de M,
usando nuestras reglas de logaritmos
y eso es lo mismo que teníamos
en nuestro caso especial
cuando todas las probabilidades eran iguales
Volviendo atrás, la razón por la que Shannon
quería hacer todo esto,
medir el contenido de información,
fue con el propósito de codificar
y, en general,
para la codificación óptima de señales
que van por los cables de teléfono
Él mostró que el contenido de información
como definido anteriormente,
da el número promedio de bits
que toma codificar un mensaje,
digamos la señal sobre una línea telefónica
de una determinada fuente de mensajes
dada una codificación óptima
y la publicación original de Shannon,
que fue convertida en un libro,
muestra eso rigurosamente matemáticamente.
Entonces la idea es que si tienes
un set particular de mensajes
que tienen probabilidades particulares
que has medido, puedes encontrar
el número óptimo de bits que tomará
codificar cada mensaje en promedio
y esto básicamente da la cantidad
de compresibilidad de un texto
a mayor contenido de información,
menos compresible
Si están interesados en ir más lejos en esto,
pueden googlear la noción de
codificación de Huffman
que muestra cómo hacer compresión óptima
No hablaré más de esto durante este curso
pero es una área interesante e importante
que ha afectado nuestra habilidad en general
de usar tecnología como teléfonos, internet
y así por delante.
Así que es extremadamente importante
Finalmente quiero decir unas pocas palabras
sobre la noción de significado en relación
al contenido de información de Shannon
Probablemente notaron que
el contenido de información de Shannon
es sobre probabilidades
y números de mensajes
producidos por fuentes de mensajes
no dice nada sobre
el significado de los mensajes
o sobre el significado de la información
qué función puede tener
para el emisor o el receptor
En realidad el significado de información
viene del procesamiento de información
esto es lo que el emisor o receptor hacen
al enviar o recibir un mensaje
hablaremos de esto en detalle
en la unidad 7, cuando hablemos de
modelos y auto-organización
y cómo sistemas auto-organizables
procesan información
en orden de extraer significado.