Download La Informacion - Pontificia universidad católica del Perú

Información
Pontificia Universidad Católica del Perú
Eduardo Massoni
Entropia
Termodinamica S
Leyes de la Termodinámica
Primera Ley
Conservación
de la Energía
Segunda Ley
Tercera Ley
Entropía del
Universo
siempre crece
No se puede
Alcanzar el cero
Absoluto
Ciclo de Carnot
Carnot
Isotermico
Adiabatico
Eficiencia
Carnot: “Nadie Le Gana A Mi Motor”
Motor reversible
Motor
Refrigerador
C
C
C
M
2C
M
2C
Carnot: “Nadie Le Gana A Mi Motor”
Un motor reversible que trabaja a dos temperaturas tiene
la misma eficiencia que un motor de carnot
Postulado
Es imposible un proceso cuyo único resultado sea la
transferencia de energía en forma de calor de un cuerpo de
menor temperatura a otro de mayor temperatura.
Enunciado de Clausius
Postulado
Es imposible todo proceso cíclico cuyo único resultado
sea la absorción de energía en forma de calor procedente
de un foco térmico (o reservorio o depósito térmico), y la
conversión de toda ésta energía en forma de calor en
energía en forma de trabajo».
Enunciado de Kelvin-Planck.
Hay una cantidad asocianda
al sistema que llamaremos S
tal que :
Para el ciclo de Carnot
Para cualquier ciclo cerrado
el cambio de entropia S es nulo
S es una funcion de estado
Segunda Ley
T1
Q
Universo es un
sistema cerrado
S1
S2
T2
S  S1  S2  Q / T1  Q / T2  0
S3
S  S1  S2  S3
Procesos que no aumentan la
entropia del universo no son
posibles
T1
Q
T2
S  S1  S2  Q / T1  Q / T2  0
Postulado
Es imposible un proceso cuyo único
resultado sea la transferencia de energía
en forma de calor de un cuerpo de
menor temperatura a otro de mayor
temperatura.
Enunciado de Clausius
¿ Que es esta variable S ?
Boltzmann
S  K ln(W )
W= # de formas
I
1) IIIIIIIIIIIIIII W=1
2) IIIIIIDIIIIIIII W=N
D
3)
W
1/ 2
IDIDIDIDIDIDID W=2N
S1  K ln( 1)
S2  K ln( N )
S N / 2  K ln( 2 N )
#D/ N
En este sistema aislado,
cualquier configuracion
o estado tiene la misma
probabilidad
I
D
P  1/ W
Segunda Ley
•La entropia mide el desorden medido
como el numero de estados posibles
•Procesos en el universo aumentan la entropia
La Información es
Fisica
Principio de Landauer (1961)
El calor necesario para
borrar un bit de
informacion es:
0
T
Q  KT ln( 2)
1
0
1
T
Q  W  KT ln( V f / Vi )  KT ln( 2)
La informacion se guarda en sistemas fisicos, por lo el
manejo de informacion se rige bajo leyes fisicas
Demonio de Maxwell
¿Entropia decrece?
NO
Q  KT ln( 2)
Universo
La entropia total del sistema +universo crece!!
Cuantificando la
informacion
¿Como cuantificamos la informacion?
Teoria de la Informacion
( 1948) Lord Shannon
A mathematical theory of communication
Fuente
Codificador
Canal
Decodificador
Receptor
Codificador comprime la informacion y codifica la
transmision
Medimos la cantidad de informacion por la cantidad de
recursos que necesitamos para mandar un mensaje
¿Como cuantificamos la informacion?
Teoria de la Informacion
( 1948) Lord Shannon
A mathematical theory of communication
Fuente
Codificador
Canal
Decodificador
Receptor
Codificador comprime la informacion y codifica la
transmision
Medimos la cantidad de informacion por la cantidad de
recursos que necesitamos para manadr un mensaje
Redundancia
“ Si hay redundancia podemos comprimir un mensaje”
“La redundancia es buena en el sentido que permite
corregir errores”
“ El idioma Ingles tiene un factor de compresion 2”
“ Mientras mayor redundancia , Mayor compresion y
menor cantidad de recursos paraenviar la informacion ”
“ Mayor redundancia Menos informacion”
Ejemplo
Hipodromo
Central de
apuestas
Codificador
C1
C2
C3
C4
C5
C6
C7
C8
Prob
1/2
1/4
1/8
1/16
1/64
1/64
1/64
1/64
Codigo
en bits
0
01
101
1011
101011
011101
111110
101111
¿Para ocho caballos necesitamos 3 bits?
# promedio de bits para mandar resultados en un año
 1(1 / 2)  2(1 / 4)  3(1 / 8)  4(1 / 16)
 8(1 / 64)  8(1 / 64)  8(1 / 64)  8(1 / 64)  2 bits
C1
C2
C3
C4
C5
C6
C7
C8
Prob
1/2
1/4
1/8
1/16
1/64
1/64
1/64
1/64
Codigo
en bits
0
01
101
1011
101011 011101
111110
101111
Con esta codificacion el numero promedio de bits se
puede escribir como:
Con esta codificacion el numero promedio de bits se
puede escribir como:
 1(1 / 2)  2(1 / 4)  3(1 / 8)  4(1 / 16)
 8(1 / 64)  8(1 / 64)  8(1 / 64)  8(1 / 64)
  Pi log 2 (1 / Pi )
i
AL numero promedio de bits necesario para mandar la
informacion esta dada por
H   Pi log 2 (1 / Pi )
i
Entropia de Shannon
Eventos menos frecuentes necesitan mas bits
Eventos mas frecuentes necesitan menos bits
¿Como interpretamos la informacion en un evento?
Si consideramos la
variable aleatoria
Con probabilidades
P ,
X  1 , 2, 3,....M 
1
P2 , P3 ,...PM 
Diremos que la cantidad de informacion en el evento
“i” estara dado por:
log 2 (1 / Pi )
Unidades
Bits o Nats
Que es consistente con:
H ( X )   Pi log 2 (1 / Pi )
i
Source code theorem by shannon
El maximo de compresion posible esta dado por
H ( x)  L av
El maximo de compresion mide la cantidad de
informacion
¿Hay alguna Relacion entre la entropia S y H?
S1  K ln( W1 )
S2  K ln( W2 )
W
W
i 1
i 1
Como en el estado
inicial y final de
equilibrio termico la
probabilidad de cada
estado es 1/W
H   Pi log 2 (1 / Pi )  1 / W log 2 (W )  log 2 (W )
H1  H 2
Informacion del universo crece!!!
Informacion Cuantica
Entropia de Von Neumann
S  Tr (  log(  ))
•Q uantum bits
•Teleportacion
•Decoherencia
•Enmarañamiento
•Criptografia cuantica
•Informacion accesible
Quantum Information es mas complicada
Conclusiones
Von Newmann a Shannon
“Debes llamarlo entropía por dos razones. En primer lugar tu
función de incertidumbre ha sido usada en mecánica
estadística bajo ese nombre, por tanto, ya tiene un nombre.
En segundo lugar, y más importante, nadie sabe realmente qué
es la entropía, por tanto, en un debate siempre tendrás esa
ventaja.
Las tres leyes de la termodinámica : 1) No puedes ganar. 2)
No puedes empatar. 3) No puedes abandonar el juego.
Gracias!!