Hiperparámetro

Este artícul tracta sobre els hiperparámetros en estadística bayesiana. No deu confondre's en Hiperparámetro (aprenentage automàtic).

En estadística bayesiana, un hiperparámetro és un paràmetro d'una distribució a priori; el terme s'utilisa per a distinguir-los dels paràmetros del model del sistema subjacent analisat.

Per eixemple, si s'utilisa una distribució beta para modelizar la distribució del paràmetro p d'una distribució Bernoulli, llavors:

• p és un paràmetro del sistema subjacent (distribució Bernoulli), i
• α i β són paràmetros de la distribució a priori (distribució beta), per lo tant hiperparàmetros.

Es pot prendre un únic valor per a un hiperparámetro donat, o es pot iterar i prendre una distribució de provabilitat sobre el propi hiperparámetro, cridada hiperprior.

Propòsit

A sovint s'utilisa una prioritat que procedix d'una família paramètrica de distribucions de provabilitat, en part per explicitud (per a poder escriure una distribució i elegir la forma variant el hiperparámetro, en lloc d'intentar produir una funció arbitrària) i en part per a poder variar el hiperparámetro, en particular en el método de les priores conjugades, o per a l'anàlisis de sensibilitat.

Priores conjugades

Artícul principal: Prior conjugada

Quan s'utilisa una prior conjugada, la distribució posterior serà de la mateixa família, pero tindrà diferents hiperparámetros, que reflectixen l'informació afegida de les senyes: en térmens subjectius, les creències d'un s'han actualisat. Per a una distribució a priori general, açò és molt complicat des del punt de vista computacional, i la distribució a posteriori pot tindre una forma inusual o difícil de descriure, pero en una distribució a priori conjugada, sol haver una fòrmula senzilla que relaciona els valors dels hiperparámetros de la distribució a posteriori en els de la distribució a priori, per lo que el càlcul de la distribució a posteriori és molt senzill.

Anàlisis de sensibilitat

Artícul principal: Anàlisis de sensibilitat (estadística)

Una de les principals preocupacions dels usuaris de l'estadística bayesiana, aixina com dels seus detractors, és la dependència de la distribució posterior sobre les variables a priori. Els hiperparámetros solucionen este problema en permetre variar fàcilment els paràmetros i vore cóm varia la distribució posterior (i varis estadístics de la mateixa, com els intervals creibles): es pot vore lo sensibles que són les conclusions les suposicions prèvies, i el procés es denomina anàlisis de sensibilitat.

De la mateixa manera, es pot utilisar una distribució a priori en un ranc per a un hiperparámetro, tal volta reflectint l'incertitut en la correcta a priori a prendre, i reflectir açò en un ranc per a l'incertitut final.

Hiperpriores

Artícul principal: Hiperprior

En lloc d'utilisar un únic valor per a un hiperparámetro determinat, es pot considerar una distribució de provabilitat del propi hiperparámetro; açò es denomina "hiperprior". En principi, es pot iterar açò, cridant als paràmetros d'un hiperprior "hiperhiperparámetros", i aixina successivament.

Vore també

• Método de Bayes empíric
• Optimisació de hiperparámetros
• Vergonzosamente paralel
• Dilució de regressió
• Debabrata Basu