Aprenentage Ockham

En la teoria de l'aprenentage computacional, el aprenentage Ockham (o Occam) és un model d'aprenentage algorítmic en el que l'objectiu de l'alumne és obtindre una representació sucinta de les senyes d'entrenament rebuts. Està estretament relacionat en l'aprenentage provablement aproximadament correcte (PAC), en el que l'alumne s'evalua en funció del seu poder predictiu d'un conjunt de proves.

La aprendibilidad de Ockham implica aprendibilidad de PAC, i per a una àmplia varietat de classes de conceptes, ho contrarie també és cert: La capacitat d'aprenentage PAC implica la capacitat d'aprenentage Ockham.

Introducció

L'aprenentage Ockham deu el seu nom a la navaixa de Ockham, un principi segons el qual, en igualtat de condicions, una explicació més curta de les senyes observades deuria ser preferible a una explicació més llarga. La teoria de l'aprenentage de Occam és una justificació formal i matemàtica d'este principi. Blumer et al.^[1] varen demostrar per primera volta que l'aprenentage de Occam implica l'aprenentage PAC, que és el model estàndar d'aprenentage en la teoria de l'aprenentage computacional. En atres paraules, la parsimònia (de l'hipòtesis d'eixida) implica poder predictiu.

Definició de l'aprenentage Ockham

La concisión d'un concepte $c$ en la classe de concepte $𝒞$ pot expressar-se per mig de la llongitut $s i z e (c)$ de la cadena de bits més curta que pot representar $c$ en $𝒞$ . L'aprenentage Ockham relaciona la concisión dels resultats d'un algoritme d'aprenentage en la seua capacitat de predicció sobre senyes desconegudes.

Deixem que $𝒞$ i $ℋ$ siguen classes de conceptes que contenen conceptes objectiu i hipòtesis, respectivament. Llavors, per a les constants $α \geq 0$ i $0 \leq β < 1$ , un algoritme d'aprenentage $L$ és un algoritme Ockham $(α, β)$ per a $𝒞$ usant $ℋ$ dau un conjunt $S = {x_{1}, \dots, x_{m}}$ de $m$ mostres etiquetats segons un concepte $c \in 𝒞$ , $L$ genera una hipòtesis $h \in ℋ$ de manera que:

$h$ és consistent en $c$ en $S$ (és dir, $h (x) = c (x), \forall x \in S$ ), i
$s i z e (h) \leq (n \cdot s i z e (c))^{α} m^{β}$ ^[1]^[2]

A on $n$ és la llongitut màxima de qualsevol mostra $x \in S$ . Un algoritme de Ockham es denomina eficient si s'eixecuta en temps polinomial en $n$ , $m$ i $s i z e (c) .$ Diem una classe de concepte $𝒞$ és aprenentage de Ockham sobre una hipòtesis de classe $ℋ$ si existix un algoritme Ockham eficient per a $𝒞$ usant $ℋ .$

Vore també

Referències

↑ ^1,0 ^1,1 Information processing letters.
↑ Kearns, Michael J.; Vazirani, Umesh (1994-08-15). An Introduction to Computational Learning Theory (en en), MIT Press. ISBN 978-0-262-11193-5.

Referències

Este artícul conté una traducció derivada de «Aprendizaje Ockham» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.

[:0-1] 1,0 ^1,1 Information processing letters.

[:1-2] Kearns, Michael J.; Vazirani, Umesh (1994-08-15). An Introduction to Computational Learning Theory (en en), MIT Press. ISBN 978-0-262-11193-5.

[1]

[2]