Perplexitat

La perplexitat és una mida de cóm de be una distribució de provabilitat o model de provabilitat prediu una mostra. Es pot usar per a comparar models de provabilitat. Una baixa perplexitat indica que la distribució de provabilitat és bona per a predir la mostra. La perplexitat és una mida utilisada en la teoria de l'informació. Es definix com 2 elevat a l'entropía, o més a sovint com 2 elevat a l'entropía creuada. L'última definició és usada freqüentment en la comparació empírica de models provabilístics.

Perplexitat d'una distribució de provabilitat

La perplexitat d'una distribució de provabilitat discreta p es definix com

$2^{H(p)}=2^{-\sum _{x}p(x){\log }_{2}p(x)}$

a on H(p) és la entropía de la distribució i x varia entre els distints events.

Aixina mateix es pot definir la perplexitat d'una variable aleatòria X com la perplexitat de la distribució per a tots els possibles valors de x.

Perplexitat d'un model provabilístic

A sovint s'intenta extraure un model d'una distribució de provabilitat desconeguda p, basant-se en un conjunt d'entrenament generat per p. Donat un model provabilístic propost q, es pot evaluar q preguntant cóm prediu este un atre conjunt separat de prova x₁, x₂,..., x_N generat també per p. La perplexitat del modele q es definix com

$2^{-\sum _{i=1}^N\frac{1}{N}{\log }_{2}q(x_i)}$

Els bons models q de la distribució desconeguda p tendixen a assignar altes provabilitats q(x_i) als events de prova. D'esta manera, tindran una menor perplexitat: es "sorprenen" menys pel conjunt de prova.

L'exponent de l'anterior fòrmula pot considerar-se com el número mig de bits necessaris per a representar un event de prova x_i usant una codificació òptima basada en q. Els models en baixa perplexitat poden comprimir millor el conjunt de prova, degut a que es necessiten pocs bits de mija per cada element ya que q(x_i) tendix a ser alt.

L'exponent pot considerar-se també com la entropía creuada,

$H(\tilde{p},q)=-\sum _x\tilde{p}(x){\log }_{2}q(x)$

a on $\tilde{p}$ denota la distribució empírica del conjunt de prova (i.i., $\tilde{p}(x)=n/N$ si x apareix n voltes en un conjunt de prova de tamany N).