Regularisació de Tíjonov

Andrey Nikolayevich Tychonoff en 1975

La regularisació de Tíjonov és el método de regularisació usat més comunament. En alguns camps, també es coneix com a regressió d'aresta.

En la seua forma més simple, un sistema d'equacions llineals mal determinat:

a on $A$ és una matriu de dimensions $m\times n$, $x$ és un vector vertical en $n$ celes i $b$ és un atre vector vertical en $m$ celes, és reemplaçat pel problema de trobar un $x$ que minimise

donat un factor de Tíjonov $\alpha >0$ elegit apropiadament. L'expressió $\Vert \cdot \Vert$ representa la norma euclídea. El seu us millora el condicionamiento del problema, possibilitant la seua solució per métodos numèrics. Una solució explícita, denotada $\hat{x}$, és la següent:

a on $I$ és la matriu identitat $n\times n$. Per a α = 0, açò es reduïx al método de mínims quadrats, sempre que (A^TA)^-1 existixca.

Interpretació bayesiana

Encara que en principi la solució proposta puga semblar artificial, i de fet el paràmetro $\alpha$ té un caràcter alguna cosa arbitrari, el procés es pot justificar des d'un punt de vista bayesiano. Note's que per a resoldre qualsevol problema indeterminat es deuen introduir certes restriccions adicionals per a establir una solució estable. Estadísticament es pot assumir que a priori sabem que $x$ és una variable aleatòria en una distribució normal multidimensional. Sense pèrdua de generalitat, prengam la mija com 0 i assumim que cada component és independent, en una desviació estàndar ${\sigma }_x$. Les senyes de $b$ poden tindre soroll, que assumim també independent en mija 0 i desviació estàndar ${\sigma }_b$. Baixe estes condicions, la regularisació de Tíjonov és la solució més provable donats les senyes conegudes i la distribució a priori de $x$, d'acort en el teorema de Bayes. Llavors, el paràmetro de Tíjonov ve dau per $\alpha =\frac{{\sigma }_b}{{\sigma }_x}$...

Regularisació de Tíjonov generalisada

Per a distribucions normals multivariadas de $x$ i el seu error, es pot aplicar una transformació a les variables que reduïx el problema al cas anterior. Equivalentement, es pot minimisar

$\Vert Ax-b{\Vert }_P^2+{\alpha }^2\Vert x-x_0{\Vert }_Q^2$

a on ${\Vert x\Vert }_P$ és la norma en pes $x^{T}Px$. En l'interpretació bayesiana, $P$ és la matriu d'covarianza invertida $b$, $x_0$ és el valor esperat de $x$, i $\alpha Q$ és la matriu d'covarianza invertida de $x$.

Esta expressió es pot resoldre explícitament per mig de la fòrmula

$x_0+(A^{T}PA+{\alpha }^{2}Q{)}^{-1}{A}^{T}P(b-A{x}_0).$

Vore també

• Regressió Ridge

Referències

• Tikhonov AN, 1943, On the stability of inverse problems, Dokl. Akad. Nauk SSSR, 39, No. 5, 195-198
• Tikhonov AN, 1963, Solution of incorrectly formulated problems and the regularization method, Soviet Math Dokl 4, 1035-1038 English translation of Dokl Akad Nauk SSSR 151, 1963, 501-504
• Tikhonov AN and Arsenin VA, 1977, Solution of Ill-posed Problems, Winston & Sons, Washington, ISBN 0-470-99124-0.
• Hansen, P.C., Rank-deficient and Discrete ill-posed problems, SIAM
• Hoerl AE, 1962, Application of ridge analysis to regression problems, Chemical Engineering Progress, 58, 54-59.
• Foster M, 1961, An application of the Wiener-Kolmogorov smoothing theory to matrix inversion, J. SIAM, 9, 387-392
• Phillips DL, 1962, A technique for the numerical solution of certain integral equations of the first kind, J Assoc Comput Mach, 9, 84-97
• Tarantola A, 2005, Inverse Problem Theory (free PDF version), Society for Industrial and Applied Mathematics, ISBN 0-89871-572-5
• Wahba, G, 1990, spline Models for Observational Data, SIAM