Ret bayesiana

Archiu:SimpleBayesNet.svg

Ret bayesiana

Archiu:Nodos de una Red Bayesiana Simple.svg

Una ret Bayesiana simple. Influència de la pluja si l'estufador està activat i influència de la pluja i l'estufador si l'herba es troba humida.

Una ret bayesiana, ret de Bayes, ret de creència, model bayesiano (de Bayes) o model provabilístic en un grafo acíclic dirigit és un model grafo provabilístic (un tipo de model estàtic) que representa un conjunt de variables aleatòries i les seues dependències condicionals a través d'un grafo acíclic dirigit (DAG per les seues sigles en anglés). Per eixemple, una ret bayesiana pot representar les relacions provabilístiques entre malalties i síntomes. Donats els síntomes, la ret pot ser usada per a computar la provabilitat de la presència de vàries malalties. El seu nom deriva del matemàtic anglés de el XVIII Thomas Bayes.

Formalment, les rets bayesianas són grafos dirigits acíclics els nodos dels quals representen variables aleatòries en el sentit de Bayes: les mateixes poden ser cantitats observables, variables latents, paràmetros desconeguts o hipòtesis. Les arestes representen dependències condicionals; els nodos que no es troben conectats representen variables les quals són condicionalmente independents de les atres. Cada nodo té associat una funció de provabilitat que pren com a entrada un conjunt particular de valors de les variables pares del nodo i torna la provabilitat de la variable representada pel nodo. Per eixemple, si per pares són $m$ variables booleanas llavors la funció de provabilitat pot ser representada per una taula de $2^m$ entrades, una entrada per a cada una de les $2^m$ possibles combinacions dels pares sent verdader o fals. Idees similars poden ser aplicades a grafos no dirigits, i possiblement cíclicos; com són les cridades rets de Markov.

Existixen algoritmes eficients que porten a terme l'inferència i l'aprenentage en rets bayesianas. Les rets bayesianas que modelen seqüències de variables (ej. senyals del parla o seqüències de proteïnes) són cridades rets bayesianas dinàmiques. Les generalisacions de les rets bayesianas que poden representar i resoldre problemes de decisió baixe incertitut són cridats diagrames d'influència.

Eixemple

Archiu:Red Bayesiana Simple.png

Eixemple d'una ret bayesiana simple.

Supongam que hi ha dos events els quals poden causar que l'herba estiga humida: que l'estufador estiga activat o que estiga plovent. També supongam que la pluja té un efecte directe sobre l'us de l'estufador (usualment quan plou l'estufador es troba apagat). Llavors la situació pot ser modelada en una ret Bayesiana (com hem vist). Les tres variables tenen dos possibles valors, T (per a verdader) i F (per a fals). La funció de provabilitat conjunta és:

a on els noms de les variables han segut abreviats a G = Herba humida, S = Estufador activat, i R = Plovent.

El model pot respondre preguntes com "¿Quin és la provabilitat de que estiga plovent ya que l'herba està humida?" usant la fòrmula de provabilitat condicional i sumant sobre totes les variables incordies:

Com està senyalat explícitament en el numerador de l'eixemple, la funció de provabilitat conjunta és usada per a calcular cada iteración de la funció de sumatoria, marginalizando sobre $𝑆$ en el numerador i sobre $𝑆$ i $𝑅$ en el denominador.

Si, per una atra part, desigem respondre una pregunta intermija: "¿Quin és la provabilitat de que ploga ya que l'herba està humida?" la resposta pot ser donada per la post-intervenció de la funció de distribució conjunta $\mathrm{P}(S,R|do(G=T))=P(S|R)P(R)$ obtinguda eliminant el factor $\mathrm{P}(G|S,R)$ de la distribució de pre-intervenció. Com era d'esperar-se, la provabilitat de que ploga no és afectada per l'acció: $\mathrm{P}(R|do(G=T))=P(R)$.

Si per una atra part volem predir l'impacte que tindrà encendre l'estufador, tenim llavors $P(R,G|do(S=T))=P(R)P(G|R,S=T)$ en el terme $P(S=T|R)$ eliminat, mostrant que l'acció té efecte sobre l'herba pero no sobre la pluja.

Estes prediccions no són factibles quan alguna de les variables no són observades, com en la majoria dels problemes d'evaluació. L'efecte de l'acció $do(x)$ pot mantindre's predictiu, no obstant, cada volta un criteri cridat "porta atrassera" és satisfet. Els estats que, si un conjunt Z de nodos es pot observar que d-separa (o bloqueja) tots els camins de "puestra atrassera" des de X fins a I llavors $P(Y,Z|do(x))=P(Y,Z,X=x)/P(X=x|Z)$. Un camí de puestra atrassera és un que termina en una flecha cap a X. Els conjunts que satisfan el criteri de porta atrassera són cridats "suficients" o "admissibles". Per eixemple, el conjunt Z=R és admissible per a predir l'efecte de S=T sobre G, perque R d-separa el (únic) camí de porta atrassera S?R?G. No obstant, si S no és observat, no hi ha un atre conjunt que d-separe este camí i l'efecte d'encendre els estufadors (S=T) sobre l'herba (G) no pot ser predit des d'observacions passives. Nosatres llavors diem que $P(G|do(S=T))$ no està identificat. Açò reflectix el fet de que, carint de senyes intervencionales, no podem determinar si la dependència observada entre S i G és per una conexió casual o per una artificial creada per una causa comuna, R. (vore paradoxa de Simpson)

Per a determinar si una relació casual és identificada des d'una ret bayesiana arbitrària en variables no observades, un pot usar les tres regles de "do-calculus" i provar si tots els térmens do poden ser eliminats de l'expressió de la relació, aixina conforme que la cantitat desijada és estimable des de la freqüència de senyes.

Usar una ret bayesiana pot salvar les cantitats considerables de la memòria, si les dependències en el repartiment conjunt estan escasses. Per eixemple, una manera ingènua de guardar les provabilitats condicionals de 10 variables en dos valors com una taula requerix l'espai d'almagasenament per a $2^{10}=1024$ valors. Si les distribucions locals de cap variable depén de més de 3 variables pare, la representació de la ret de bayesiana solament té que almagasenar com a molt $10\cdot 2^3=80$ valors.

Una ventaja de les rets bayesianas és que és intuitivamente més fàcil per a un ser humà comprendre (un conjunt escàs de) dependències directes i distribucions locals que la distribució conjunta completa.

Inferència d'aprenentage

Hi ha tres tasques principals d'inferència per a les rets bayesianas.

Deducció de variables no observades

Degut a que una ret bayesiana és un model complet de les variables i les seues relacions, es pot utilisar per a respondre a les consultes de provabilitat sobre ells. Per eixemple, la ret es pot utilisar per a averiguar el coneiximent actualisat de l'estat d'un subconjunt de variables quan atres variables (les variables de evidència) s'observen. Este procés de càlcul de la distribució posterior de les variables donada l'evidència que es diu inferència provabilística. La posterior dona un suficient estadístic universal per a aplicacions de detecció, quan es vol elegir els valors per a la variable d'un subconjunt que minimisen alguna funció de pèrdua esperada, per eixemple, la provabilitat d'error de decisió. Una ret bayesiana d'esta manera, pot considerar-se com un mecanisme per a aplicar automàticament la teorema de Bayes a problemes complexos.

Els métodos més comuns d'inferència exactes són: eliminació de variables, el qual elimina (per mig d'integració o suma) les variables no observades i no consultades una per una per mig de la distribució de la suma sobre el producte; propagació en un arbre clique, que almagasena en caché el càlcul de modo que moltes variables es poden consultar en una volta i nova evidència es pot propagar ràpidament; i condicionamiento recursivo i busca AND/OR, que permeten un equilibri espai-temps i realisa eficientemente l'eliminació de variables quan s'usa suficient espai. Tots estos métodos tenen una complexitat que és exponencial sobre l'ample de l'arbre. Els algoritmes d'inferència aproximada més comunes són mostreig d'importància, simulació estocàstica MCMC (Markov Chain Monte Carlo), eliminació mini-gaveta, LBP (Loopy Belief Propagation), GBP (Generalized Belief Propagation), i els métodos variacionales.

Aprenentage de Paràmetros

Per a especificar completament la ret bayesiana i per lo tant representar plenament a la distribució de provabilitat conjunta , és necessari especificar per a cada nodo X la distribució de provabilitat de X condicionada donat els seus pares. La distribució de X condicionada donat els seus pares pot tindre qualsevol forma. És comú treballar en distribucions discretes o gaussianas ya que simplifica els càlculs. A voltes només restriccions sobre una distribució són conegudes; un pugues llavors utilisar el principi de màxima entropía per a determinar una distribució única. (Análogamente, en el context específic d'una ret bayesiana dinàmica, una que comunament especifica la distribució condicional per a l'evolució temporal de l'estat amagats per a maximizar la taxa d'entropía del procés estocàstic implícit) A sovint, estes distribucions condicionals inclouen paràmetros que són desconeguts i deuen estimar-se a partir de les senyes, a voltes utilisant l'enfocament de màxima provabilitat. La maximización directa de la provabilitat (o de la provabilitat posterior) és a sovint complexa quan hi ha variables no observades. Un método clàssic d'este problema és l'algoritme d'expectació-maximización el qual alterna els valors esperats computats de les variables condicionals no observades a senyes observades, en la maximización de la provabilitat total (o posterior) suponent que prèviament calculats els valors esperats són correctes. Baixe condicions de regularitat lleus este procés convergix en valors de provabilitat màxima (o màxim posterior) per als paràmetros. Un enfocament més bayesiano és tractar als paràmetros com a variables no observades adicionals i per a calcular la distribució posterior completa sobre tots els nodos condicionals de les senyes observades, despuix, integrar els paràmetros. Este enfocament pot ser costós i dur a models de grans dimensions, per lo que en la pràctica enfocaments d'ajust de paràmetros clàssics són més comuns.

Aprenentage d'Estructures

En el cas més simple, una ret bayesiana s'especifica per un expert i s'utilisa llavors per a realisar inferència. En atres aplicacions, la tasca de definir la ret és massa complexa per als sers humans. En este cas l'estructura de la ret i els paràmetros de les distribucions locals deu ser deprés de senyes.

L'aprenentage automàtic de l'estructura gràfica d'una ret bayesiana és un repte dins del aprenentage de màquina. L'idea bàsica es remonta a un algoritme de recuperació desenrollat per Rebane i Pearl (1987) i es basa en la distinció entre els tres tipos possibles de triplos adjacents permesos en un gràfic acíclic dirigit (DAG):

1. $X\to Y\to Z$
2. $X\leftarrow Y\to Z$
3. $X\to Y\leftarrow Z$

Tipo 1 i tipo 2 representen les mateixes dependències ($X$ i $Z$ són independents donada $Y$) i són, per tant, indistinguibles. Tipo 3, no obstant, pot ser identificat de forma única, ya que $X$ i $Z$ són marginalment independents i tots els atres parells són depenents. Aixina, mentres que els esquelets (els grafos despullats de fleches) d'estos tres triplos són idèntics, la direccionalidad de les fleches és parcialment identificable. La mateixa distinció s'aplica quan $X$ i $Z$ tenen pares comuns, excepto que un deu condicionar primer en eixos pares. S'han desenrollat algoritmes per a determinar sistemàticament l'esquelet del grafo subjacent i, a continuació, orientar totes les fleches que la seua direccionalidad està dictada per les independències condicionals observats.

Un método alternatiu d'aprenentage estructural utilisa l'optimisació basada en busques. Es requerix una funció de puntuació i una estratègia de busca. Una funció de puntuació comuna és la provabilitat posterior de l'estructura donat les senyes de formació. El requisit de temps d'una busca exhaustiva retornant una estructura que maximizar la puntuació és superexponencial en el número de variables. Una estratègia de busca local fa canvis incrementals destinats a millorar la puntuació de l'estructura. Un algoritme de busca global com la cadena de Markov Monte Carlo pot evitar quedar atrapat en mínims locals. Friedman et al. parla sobre l'us de l'informació mútua entre les variables i trobar una estructura que maximizar açò. Ho fan per mig de la restricció del conjunt de pares candidats a k nodos i exhaustivament busquen en el mateix.

Vore també

• [[Archiu:{{#switch:Inteligència Artificial|20px|Vore el portal sobre Inteligència Artificial]] Portal:Inteligència Artificial. Contingut relacionat en Estadístiques.
• Inteligència Artificial
• Teorema de Bayes
• Inferència bayesiana
• Inteligència Computacional
• Judea Pearl
• Filtre de Kalman
• Poliárbol
• Reconeiximent de veu
• Estimació bayesiana recursiva

Bibliografia

• Bertsch McGrayne (2011). The Theory That Would not Die, Yale.

• Borgelt, Christian; Kruse, {{{nom2}}} (març de 2002). Graphical Models: Methods for Data Analysis and Mining, Chichester, UK: Wiley. ISBN 0-470-84337-3.
• Castell; Gutiérrez, {{{nom2}}}; Hadi, {{{nom3}}} (1997). «Learning Bayesian Networks», Expert Systems and Probabilistic Network Models, Nova York: Springer-Verlag, pp. 481–528. ISBN 0-387-94858-9.
• Comley, Joshua W. (October 2003). «Minimum Message Length and Generalized Bayesian Nets with Asymmetric Languages», Advances in Minimum Description Length: Theory and Applications, Bradford Books (MIT Press), pp. 265–294. ISBN 0-262-07262-9. (This paper puts decision trees in internal nodes of Bayes networks using Minimum Message Length (MML). An earlier version is Comley and Dowe (2003), [1])
• Dowe, David L. (2010). MML, hybrid Bayesian network graphical models, statistical consistency, invariance and uniqueness, in Handbook of Philosophy of Science (Volume 7: Handbook of Philosophy of Statistics), Elsevier, ISBN 978-0-444-51862-0, pp 901-982.
• Fenton, Norman; Neil, Martin E. (November 2007). Managing Risk in the Modern World: Applications of Bayesian Networks – A Knowledge Transfer Report from the London Mathematical Society and the Knowledge Transfer Network for Industrial Mathematics. Londres (Regne Unit): London Mathematical Society.

• «[2]»(PDF), Safety Critical Systems Club Newsletter.
• (2003) «Part II: Fundamentals fo Bayesian Data Analysis: Ch.5 Hierachical models», Bayesian Data Analysis, CRC Press, pp. 120–. ISBN 978-1-58488-388-3.
• Heckerman, David (1 de març de 1995). Learning in Graphical Models, MIT Press, pp. 301–354. ISBN 0-262-60032-3.. :També apareix com Data Mining and Knowledge Discovery.Springer Netherlands.Netherlands:1(1)

79–119.ISSN 1384-5810.doi:10.1023/A:1009730122752.:Una versió recent apareix com Technical Report MSR-TR-95-06, Microsoft Research, March 1, 1995. The paper is about both parameter and structure learning in Bayesian networks.

• Jensen; Nielsen, {{{nom2}}} (6 de juny de 2007). Bayesian Networks and Decision Graphs, 2nd edició, Nova York: Springer-Verlag. ISBN 978-0-387-68281-5.
• Korb, Kevin B.; Nicholson, {{{nom2}}} (December 2010). Bayesian Artificial Intelligence, 2nd edició, Boca Raton, Florida: Chapman & Hall (CRC Press). doi:10.1007/s10044-004-0214-5. ISBN 1-58488-387-1.
• (2009).Statistics in Medicine.28(25)

3049–3067.doi:10.1002/sim.3680.

• Risk Analysis: an International Journal.John Wiley & Sons.25(4)

963–972.doi:10.1111/j.1539-6924.2005.00641.x.

• Artificial Intelligence.Elsevier.29(3)

241–288.ISSN 0004-3702.doi:10.1016/0004-3702(86)90072-X.

• Pearl, Judea (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference, 2nd printing edició, Sant Francisco: Morgan Kaufmann. ISBN 0-934613-73-7.
• Pearl, Judea; Russell, {{{nom2}}} (novembre de 2002). Handbook of Brain Theory and Neural Networks, Bradford Books (MIT Press), pp. 157–160. ISBN 0-262-01197-2.
• Zhang, Nevin LianwenProceedings of the Tenth Biennial Canadian Artificial Intelligence Conference (AI-94)..Banff, Alberta:

171–178. This paper presents variable elimination for belief networks.