Classificador llineal

En el camp del aprenentage automàtic, l'objectiu del aprenentage supervisat és usar les característiques d'un objecte per a identificar a quina classe (o grup) pertany. Un classificador llineal conseguix açò prenent una decisió de classificació basada en el valor d'una combinació llineal de les seues característiques. Les característiques d'un objecte són típicament presentades en un vector cridat vector de característiques.

Definició

Si l'entrada del classificador és un vector de característiques reals $\vec{x}$ , llavors el resultat d'eixida és

y = f (\vec{w} \cdot \vec{x}) = f (\sum_{j} w_{j} x_{j}),

a on $\vec{w}$ és un vector real de pesos i f és una funció que convertix el producte punt a punt dels dos vectores en l'eixida desijada. El vector de pesos $\vec{w}$ deprén d'un conjunt de mostres d'entrenament. A sovint f és una funció simple que mapea tots els valors per damunt d'un cert llindar a la primera classe i el restant a la segona classe. Una f més complexa pot donar la provabilitat de que una mostra pertanyga a certa classe.

Per a un problema de dos classes, es pot visualisar l'operació d'un classificador llineal com una partició del espacion d'alta dimensionalidad d'entrada en un hiperplano: tots els punts a un costat del hiperplano són classificats com "sí", mentres que els demés sò classificats com "no".

Els classificadors llineals se solen usar en situacions a on la velocitat de la classificació és important, ya que a sovint és el classificador més ràpit, especialment quan $\vec{x}$ és dispers. No obstant, els arbres de decisió poden ser més ràpits. Ademés, els classificadors llineals en freqüència funcionen molt ben quan el número de dimensions de $\vec{x}$ és gran, com en classificació de documents, a on típicament cada element en $\vec{x}$ és el número d'aparicions d'una paraula en un document. En tals casos, el classificador deu estar ben regularisat.

Model generativo vs. model discriminativo

Existixen dos enfocaments principals per a determinar els paràmetros d'un classificador llineal $\vec{w}$ .^[1]^[2] Métodos de la primera classe funcions de densitat condicional $P (\vec{x} | c l a s s)$ . Eixemples de tals algoritmes

Anàlisis discriminante llineal (o discriminante llineal de Fisher) (Linear Discriminant Analysis, LDA): assumix els models gaussianos de densitat condicional.
Classificador Bayes ingenu: assumix models de densitat condicional binomiales independents.

El segon conjunt de métodos inclou models discriminatoris, que intenten maximizar la calitat dels resultats d'un conjunt de capacitació. Térmens adicionals en la funció de cost de capacitació poden fàcilment realisar la regularisació del model final. Eixemples d'entrenament discriminatori de classificadors llineals inclouen

Regressió llogística - estimació de la provabilitat màxima de $\vec{w}$ assumint que el conjunt d'entrenament observat va ser generat per un model binomial que depén de l'eixida del classificador.
Perceptrón: un algoritme que intenta corregir tots els errors trobats en l'equip d'entrenament.
Màquina vectorial de soport (Support vector machine, SVM): un algoritme que maximizar el marge entre el hiperplano de decisió i els eixemples del conjunt d'entrenament.

Nota: A pesar del seu nom, LDA no pertany a la classe de models discriminatoris en esta taxonomia. No obstant, el seu nom té sentit quan comparem LDA en l'atre algoritme principal de reducció de la dimensionalidad llineal: Anàlisis de Components Principals (Principal Components Analysis, PCA). LDA és un algoritme d'aprenentage supervisat que utilisa les etiquetes de les senyes, mentres que PCA és un algoritme d'aprenentage no supervisat que ignora les etiquetes. Per a resumir, el nom és un artefacte històric (vore,^[3] p.117).

L'entrenament discriminativo a sovint produïx major precisió que la modelació de les funcions de densitat condicional. No obstant, el maneig de les senyes faltantes és a sovint més fàcil en els models de densitat condicional.

Tots els algoritmes del classificador llineal llistats dalt poden ser convertits en algoritmes no llineals operant en un espai d'entrada diferent $φ (\vec{x})$ , usant el truc del kernel (kernel trick).

Notes

↑ T. Mitchell, Generative and Discriminative Classifiers: Naive Bayes and Logistic Regression. Draft Version, 2005 download
↑ A. Y. Ng and M. I. Jordan. On Discriminative vs. Generative Classifiers: A comparison of logistic regression and Naive Bayes. in NIPS 14, 2002. download
↑ R.O. Dubte, P.E. Hart, D.G. Stork, "Pattern Classification", Wiley, (2001). ISBN 0-471-05669-3

Referències

Este artícul conté una traducció derivada de «Clasificador lineal» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.

[1] T. Mitchell, Generative and Discriminative Classifiers: Naive Bayes and Logistic Regression. Draft Version, 2005 download

[2] A. Y. Ng and M. I. Jordan. On Discriminative vs. Generative Classifiers: A comparison of logistic regression and Naive Bayes. in NIPS 14, 2002. download

[3] R.O. Dubte, P.E. Hart, D.G. Stork, "Pattern Classification", Wiley, (2001). ISBN 0-471-05669-3

[1]

[2]

[3]