Prior conjugada

En la teoria bayesiana de la provabilitat, si la distribució posterior $p (θ ∣ x)$ pertany a la mateixa família de distribucions de provabilitat que la distribució de provabilitat ''a priori'' $p (θ)$ , les distribucions a priori i a posteriori es denominen llavors distribucions conjugades, i la a priori es denomina prior conjugada per a la funció de verosimilitut $p (x ∣ θ)$ .

Una prior conjugada és una conveniència algebraica, que dona una expressió de forma tancada per a la posterior; de lo contrari, pot ser necessària l'integració numèrica. Ademés, les a priori conjugades poden ser més intuïtives en mostrar de forma més transparent cóm una funció de verosimilitut actualisa una distribució a priori.

El concepte, aixina com el terme "prior conjugada", varen ser introduïts per Howard Raiffa i Robert Schlaifer en els seus treballs sobre la teoria bayesiana de la decisió.^[1] Un concepte similar havia segut descobert independentment per George Alfred Barnard.^[2]

Eixemple

La forma de prior conjugada pot determinar-se generalment per mig de l'inspecció de la densitat de provabilitat o la funció de massa de provabilitat d'una distribució. Per eixemple, considerem una variable aleatòria que consistix en el número d'encerts $s$ en $n$ Ensaig Bernoulli en provabilitat desconeguda d'èxit $q$ en [0,1]. Esta variable aleatòria seguirà la distribució binomial, en una funció de massa de provabilitat de la forma: $p (s) = (\binom{n}{s}) q^{s} (1 - q)^{n - s}$

La prior conjugada habitual és la distribució beta en paràmetros ( $α$ , $β$ ):

$p (q) = \frac{q^{α - 1} (1 - q)^{β - 1}}{B (α, β)}$

A on $α$ i $β$ s'elegixen per a reflectir qualsevol creència o informació existent ( $α = 1$ and $β = 1$ donaria una distribució uniforme i $B (α, β)$ és la funció Beta que actua com a constant normalizadora.

En este context, $α$ i $β$ es denominen "hiperparámetros" (paràmetros a priori), per a distinguir-los dels paràmetros del model subjacent (ací $q$ ).Una característica típica dels a priori conjugats és que la dimensionalidad dels hiperparámetros és un de major que la dels paràmetros de la distribució original. Si tots els paràmetros són valors escalares, llavors hi haurà un hiperparámetro més que paràmetro; pero açò també s'aplica als paràmetros en valors vectorials i matriciales. (Vore l'artícul general sobre la família exponencial, i considere's també la distribució de Wishart, prior conjugat de la matriu d'covarianza d'una distribució normal multivariante, per a un eixemple en el que intervé una gran dimensionalidad).

Si muestreamos esta variable aleatòria i obtenim $s$ èxits i $f = n - s$ fallos, llavors tenim

$\begin{matrix} P (s, f ∣ q = x) & = (\binom{s + f}{s}) x^{s} (1 - x)^{f}, \\ P (q = x) & = \frac{x^{α - 1} (1 - x)^{β - 1}}{B (α, β)}, \\ P (q = x ∣ s, f) & = \frac{P (s, f ∣ x) P (x)}{\int P (s, f ∣ y) P (y) d y} \\ = \frac{(\binom{s + f}{s}) x^{s + α - 1} (1 - x)^{f + β - 1} / B (α, β)}{\int_{y = 0}^{1} ((\binom{s + f}{s}) y^{s + α - 1} (1 - y)^{f + β - 1} / B (α, β)) d y} \\ = \frac{x^{s + α - 1} (1 - x)^{f + β - 1}}{B (s + α, f + β)}, \end{matrix}$

que és una atra distribució Beta en paràmetros $(α + s, β + f)$ . Esta distribució posterior podria utilisar-se com prior para més mostres, i els hiperparámetros simplement afegirien cada senya adicional a mida que s'obtinguera.

Interpretacions

Pseudo-observacions

A sovint és útil pensar que els hiperparámetros d'una distribució a priori conjugada corresponen a haver observat un cert número de pseudo-observacions en propietats especificades pels paràmetros. Per eixemple, els valors $α$ i $β$ d'una distribució beta pot considerar-se com a corresponent a $α - 1$ èxits i $β - 1$ fallos si s'utilisa el modo posterior per a elegir un ajust òptim dels paràmetros, o $α$ èxits i $β$ fallos si s'utilisa la mija posterior per a elegir un ajust òptim dels paràmetros. En general, para casi totes les distribucions a priori conjugades, els hiperparámetros poden interpretar-se en térmens de pseudo-observacions. Açò pot ajudar a proporcionar intuïció darrere de les equacions d'actualisació a sovint desordenades i ajudar a elegir hiperparámetros raonables per a una prioritat.

Sistema dinàmic

Es pot pensar en el condicionamiento prior conjugat com la definició d'una espècie de sistema dinàmic (en temps discret): a partir d'un conjunt donat de hiperparámetros, les senyes entrantes actualisen estos hiperparámetros, per lo que es pot vore el canvi en els hiperparámetros com una espècie de "evolució temporal" del sistema, corresponent a el "aprenentage". Començant en punts diferents s'obtenen fluix diferents a lo llarc del temps. Açò torna a ser anàlec al sistema dinàmic definit per un operador llineal, pero cal tindre en conte que, ya que mostres diferents conduïxen a inferència diferents, açò no depén simplement del temps, sino més be de les senyes a lo llarc del temps. Per a enfocaments relacionats, vore Estimació bayesiana recursiva i Assimilació de senyes.

Notes

↑ Division of Research, Graduate School of Business Administration, Harvard University.
↑ «Earliest Known Uses of Some of the Words of Mathematics». jeff560.tripod.com. Consultat el 2023-09-28.

Vore també

Distribució beta-binomial

Referències

Este artícul conté una traducció derivada de «Prior conjugada» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.

[1] Division of Research, Graduate School of Business Administration, Harvard University.

[2] «Earliest Known Uses of Some of the Words of Mathematics». jeff560.tripod.com. Consultat el 2023-09-28.

[1]

[2]