Download Presentación_Parte 1 - Departamento Académico de Estadística

Desarrollo e impacto de la
Estadística Bayesiana
Eduardo Gutiérrez Peña
Departamento de Probabilidad y Estadística
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas
Universidad Nacional Autónoma de México
Día Mundial de la Estadística 2015
23 de octubre de 2015
ITAM
Introducción
La Estadística Bayesiana se basa en la idea intuitiva de que la probabilidad
cuantifica el grado de creencia sobre la ocurrencia de un evento incierto
Esta noción se puede formalizar a través de la teoría de la decisión, la cual
implica, entre otras cosas, que la probabilidad debe interpretarse de manera
subjetiva
La Estadística Bayesiana debe su nombre a su uso sistemático del llamado
teorema de Bayes, un resultado simple de la teoría de la probabilidad pero
con implicaciones muy importantes en las ciencias debido a que permite
acumular de manera natural y coherente la evidencia sobre una hipótesis
El teorema de Bayes apareció por primera vez hace unos 250 años en una
publicación póstuma de Thomas Bayes presentada por Richard Price a la
Royal Society del Reino Unido
El resultado fue redescubierto una década después por Pierre-Simon
Laplace, quien se refería a él como el de la “probabilidad de las causas”
Autores posteriores se han referido a este resultado como el de la
“probabilidad inversa” ya que relaciona causas y efectos de tal manera que,
al entender los efectos, uno puede aprender (en un sentido probabilístico)
sobre las posibles causas
El teorema de Bayes nos dice cómo una persona debe actualizar su estado
de información sobre los eventos de interés o hipótesis (las causas) ante la
presencia de nueva evidencia (las observaciones de los efectos)
Gestación
Como muchas otras cosas, el concepto moderno de azar y su estudio
sistemático comenzaron en el Renacimiento
En 1654, el Chevalier de Meré le plantea a Blaise Pascal el siguiente
problema:
¿Cómo dividir las apuestas en un juego de azar que acaba prematuramente
si uno de los jugadores lleva la ventaja?
Este problema había confundido a los matemáticos desde que un monje
llamado Luca Paccioli lo había planteado 200 años antes
Pascal discutió el problema con Pierre de Fermat, un abogado que también
era un matemático brillante
1713: Jacob Bernoulli describe la
Ley de los Grandes Números
Este resultado se considera el origen de la teoría moderna de la
Probabilidad y es la base del enfoque frecuentista de la Estadística
1730s: Abraham de Moivre descubre la estructura de la
Distribución Normal
(campana de Gauss)
1738: Daniel Bernoulli sienta la bases de la
Teoría de la Decisión
e introduce la idea de aversión al riesgo
1750s: Thomas Bayes estudia el concepto de
Probabilidad Inversa
y demuestra una versión del teorema que lleva su nombre
El trabajo de Bayes conduce a la interpretación subjetiva de la
probabilidad y es la base del enfoque bayesiano de la Estadística
Infancia y Pubertad
Laplace fue el primero en aplicar el teorema de Bayes de
manera sistemática al análisis de datos, principalmente en
astronomía
Hasta ese momento, la teoría de la probabilidad permitía
asignar probabilidades a (y de esta manera predecir) los
efectos dadas las causas
Sin embargo, en las ciencias generalmente es tan o más relevante aprender
sobre las causas habiendo observado los efectos (i.e. inferir las causas)
Durante la primera mitad del Siglo XX, gracias a las contribuciones de
personajes como Frank Ramsey, Bruno de Finetti y Leonard J. Savage, se
realizaron avances importantes que eventualmente permitieron consolidar
el enfoque bayesiano de la estadística y producir, entre otras cosas, una
teoría formal de inferencia estadística a través de la Teoría de la Decisión
Ejemplo de juguete
¿Cómo debe una persona actualizar sus creencias (juicios,
estado de información) ante la presencia de nueva evidencia?
Tenemos:
Dos enfermedades:
E1=“Infección estomacal”, E2=“Apendicitis”
Un síntoma:
S=“Dolor abdominal”
Se sabe que:
Pr(S | E1) = 0.3 y Pr(S | E2) = 0.6
Se piensa que:
Pr(E1) = 0.8
y
Pr(E2) = 0.2
Se recibe a un paciente y se observa que presenta el síntoma S.
¿Cómo cambian nuestros juicios a la luz de esta evidencia?
Se desea calcular:
Pr(E1 | S)
y
Pr(E2 | S)
La respuesta: Teorema de Bayes
Pr(E i | S) =
Pr(Ei )Pr(S | Ei )
Pr(E1)Pr(S | E1) + Pr(E2 )Pr(S | E2 )
En este caso:
Pr(E1 | S) = 0.66
y
Pr(E2 | S) = 0.34
El Teorema de Bayes es la clave del proceso de aprendizaje...
La vida real
En un contexto más general, al analizar datos provenientes de experimentos
científicos, los estadísticos utilizan modelos más sofisticados que involucran
observaciones de variables aleatorias X cuyo comportamiento depende de
parámetros desconocidos θ
Dicha relación se describe a través de una ley de probabilidad p(x | θ ) y
las hipótesis se definen en términos de los valores de θ
Cualquier información que se tenga sobre el valor de θ antes de realizar el
experimento se describe a través de una distribución de probabilidad p(θ)
(llamada distribución inicial o a priori)
El Teorema de Bayes nos permite encontrar la distribución final
(o a posteriori )
p( θ | x) α p(θ) p(x | θ ),
misma que incorpora la evidencia dada por los resultados del experimento
(i.e. las observaciones de X)