Regressió Ridge

La regressió Ridge (també cridada regressió cresta) és un método d'estimació dels coeficients de models de regressió múltiple en escenaris en els que les variables independents estan molt correlacionadas. S'ha utilisat en molts camps, com l'econometria, la química i l'ingenieria. També conegut com regularisació de Tíjonov, en honor a Andrey Tikhonov, és un método de regularisació de problemes mal plantejats. És particularment útil per a mitigar el problema de la multicolinealidad en la regressió llineal, que es produïx comunament en models en un gran número de paràmetros. En general, el método proporciona una major eficiència en els problemes d'estimació de paràmetros a canvi d'una cantitat tolerable de biaix (vore compensació biaixe-varianza).

La teoria va ser introduïda per primera volta per Hoerl i Kennard en 1970 en els seus artículs de Technometrics "Ridge regressions: biased estimation of nonorthogonal problems" i "Ridge regressions: applications in nonorthogonal problems", resultat de dèu anys d'investigació en el camp de l'anàlisis de crestes.

La regressió Ridge es va desenrollar com una possible solució a l'imprecisió dels estimadors de mínims quadrats quan els models de regressió llineal tenen algunes variables independents multicolineales (altament correlacionadas) per mig de la creació d'un estimador de regressió de cresta (RR). Açò proporciona una estimació més precisa dels paràmetros de la cresta, ya que la seua varianza i estimador quadràtic mig són a sovint més menuts que els estimadors mínims quadrats derivats anteriorment.

Descripció general

En el cas més senzill, el problema d'una matriu de moments casi sinular ${𝐗}^{𝖳}𝐗$ s'alivia afegint elements positius a les diagonals, en lo que disminuïx el seu número de condició. De forma anàloga a l'estimador de mínims quadrats ordinaris, l'estimador de cresta simple ve dau per:

${\hat{\beta }}_R={({𝐗}^{𝖳}𝐗+\lambda 𝐈)}^{-1}{𝐗}^{𝖳}𝐲$

A on $𝐲$ és la regressió, $𝐗$ és la matriu de disseny, $𝐈$ és la matriu d'identitat, i el paràmetro ridge $\lambda \ge 0$ servix com a constant que desplaça les diagonals de la matriu de moments. Pot demostrar-se que este estimador és la solució al problema de mínims quadrats subjecte a la restricció ${\beta }^{𝖳}\beta =c$, que pot expressar-se com un Lagrangiano:

$\underset{\beta }{\min }{(𝐲-𝐗\beta )}^{𝖳}(𝐲-𝐗\beta )+\lambda ({\beta }^{𝖳}\beta -c)$

que mostra que $\lambda$ no és més que el multiplicador de Lagrange de la restricció. Típicament, $\lambda$ s'elegix segons un criteri heurístic, de modo que la restricció no se satisfarà exactament. Concretament en el cas de $\lambda =0$, en el que la restricció no és vinculant, l'estimador de cresta es reduïx a mínims quadrats ordinaris. A continuació s'analisa un enfocament més general de la regularisació de Tíjonov.

Regularisació de Tíjonov

Història

La regularisació de Tíjonov es va inventar de forma independent en molts contexts diferents. Es va donar a conéixer àmpliament a través de la seua aplicació a equacions integrals en els treballs d'Andrey Tikhonov i David L. Phillips. Alguns autors utilisen el terme regularisació Tíjonov-Phillips. El cas de dimensió finita va ser expost per Arthur E. Hoerl, que va adoptar un enfocament estadístic, i per Manus Foster, que va interpretar este método com un filtre de Wiener-Kolmogorov (Kriging). Seguint a Hoerl, es coneix en la lliteratura estadística com a regressió ridge, cridada aixina per l'anàlisis ridge ("ridge" es referix a la trayectòria des del màxim restringit).

Formalisació

Supongam que per a una matriu coneguda $A$ i el vector $𝐛$, volem trobar un vector $𝐱$ de manera que:

$A𝐱=𝐛,$

a on $𝐱$ i $𝐛$ poden ser de diferents tamanys i $A$ pugues no ser quadrat.

L'enfocament estàndar és la regressió llineal per mínims quadrats ordinaris. No obstant, si cap $𝐱$ satisfà l'equació o més d'una $𝐱$ ho satisfà, és dir, la solució no és única, es diu que el problema està mal plantejat. En tals casos, l'estimació per mínims quadrats ordinaris conduïx a un sistema d'equacions sobredeterminado o, més a sovint, subdeterminado. La majoria dels fenomens del món real tenen l'efecte de filtres de pas baix en la direcció d'alvanç, a on $A$ mapea $𝐱$ cap a $𝐛$. Per lo tant, en resoldre el problema invers, el mapeado invers funciona com un filtre de pas alt que té la tendència indesijable d'amplificar el soroll (els valors propis / valors singulars són majors en la cartografia inversa a on eren menors en la cartografia directa). Ademés, els mínims quadrats ordinaris anulen implícitament tots els elements de la versió reconstruïda de $𝐱$ que està en l'espai nul de $A$, en lloc de permetre que un model s'utilise com prior para $𝐱$. Els mínims quadrats ordinaris busquen minimisar la suma dels residus al quadrat, que pot escriure's de forma compacta com:

${\Vert A𝐱-𝐛\Vert }_2^2,$

a on $\Vert \cdot {\Vert }_2$ és la norma euclidiana.

Per a donar preferència a una solució particular en propietats desijables, es pot incloure un terme de regularisació en esta minimisació:

${\Vert A𝐱-𝐛\Vert }_2^2+{\Vert \Gamma 𝐱\Vert }_2^2$

per a una matriu de Tíjonov convenientment elegida $\Gamma$. En molts casos, esta matriu s'elegix com a múltiple escalar de la matriu identitat $\Gamma =\alpha I$, donant preferència a les solucions en normes més menudes; açò es coneix com a regularisació L₂ . En atres casos, poden utilisar-se operadors de pas alt (per eixemple, un operador de diferència o un operador de Fourier ponderat) per a impondre la suavitat si es creu que el vector subjacent és majoritàriament continu. Esta regularisació millora el condicionamiento del problema, permetent aixina una solució numèrica directa. Una solució explícita, denotada per $\hat{x}$ és donat per

$\hat{x}={(A^{𝖳}A+{\Gamma }^{𝖳}\Gamma )}^{-1}{A}^{𝖳}𝐛.$

L'efecte de la regularisació pot variar en funció de l'escala de la matriu $\Gamma$. Per a $\Gamma =0$ es reduïx a la solució per mínims quadrats no regularisada, sempre que (A^TA)^-1 existixca.

La regularisació de L₂ s'utilisa en molts contexts a banda de la regressió llineal, com la classificació en regressió llogística o màquines de vectores de soport, i la factorización de matrius.

Aplicació als resultats d'ajust existents

Ya que la Regularisació de Tíjonov simplement afig un terme quadràtic a la funció objectiu en els problemes d'optimisació, és possible fer-ho en acabant de que s'haja produït l'optimisació no regularisada. Per eixemple, si el problema anterior en $\Gamma =0$ s'obté la solució ${\hat{x}}_0$ la solució en presència de $\Gamma \ne 0$ pot expressar-se com seguix:

$\hat{x}=B{\hat{x}}_0,$

en la "matriu de regularisació" $B={(A^{𝖳}A+{\Gamma }^{𝖳}\Gamma )}^{-1}{A}^{𝖳}A$

Si l'ajust de paràmetros ve acompanyat d'una matriu d'covarianza de les incertituts estimades dels paràmetros $V_0$ llavors la matriu de regularisació serà

$B=(V_0^{-1}+{\Gamma }^{𝖳}\Gamma {)}^{-1}{V}_0^{-1},$

i el resultat regularisat tindrà una nova covarianza

$V=B{V}_0{B}^{𝖳}.$

En el context d'ajusts de verosimilitut arbitraris, açò és vàlit, sempre que l'aproximació quadràtica de la funció de verosimilitut siga vàlida. Açò significa que, sempre que el destorbament del resultat no regularisat siga menuda, es pot regularisar qualsevol resultat que es presente com un punt de millor ajust en una matriu d'covarianza. No es necessita un coneiximent detallat de la funció de verosimilitut subjacent.

Regularisació de Tikhonov generalisada

Per a distribucions normals multivariantes generals per a $𝐱$ i l'error de les senyes, es pot aplicar una transformació de les variables per a reduir al cas anterior. De forma equivalent, es pot buscar un $𝐱$ per a minimisar:

${\Vert A𝐱-𝐛\Vert }_P^2+{\Vert 𝐱-{𝐱}_0\Vert }_Q^2,$

a on es va usar ${\Vert 𝐱\Vert }_Q^2$ per a representar la norma ponderada al quadrat ${𝐱}^{𝖳}Q𝐱$ (compare's en la distància de Mahalanobis). En l'interpretació bayesiana $P$ és la matriu d'covarianza inversa de $𝐛$, ${𝐱}_0$ és el valor esperat de $𝐱$, i $Q$ és la matriu d'covarianza inversa de $𝐱$. La matriu de Tíjonov ve donada llavors com una factorización de la matriu $Q={\Gamma }^{𝖳}\Gamma$ (per eixemple, la factorización de Cholesky) i es considera un filtre de blanqueamiento.

Este problema generalisat té una solució òptima ${𝐱}^{*}$ que pot escriure's explícitament per mig de la fòrmula

${𝐱}^{*}={(A^{𝖳}PA+Q)}^{-1}(A^{𝖳}P𝐛+Q{𝐱}_0),$

o equivalentement, quan Q no és una matriu nula:

${𝐱}^{*}={𝐱}_0+{(A^{𝖳}PA+Q)}^{-1}\left(A^{𝖳}P(𝐛-A{𝐱}_0)\right).$

Vore també

• L'estimador LASSO és un atre método de regularisació en estadística