Model llineal

En estadística, el terme modele llineal és usat en diferents maneres d'acort al context. La manera més freqüent és en conexió en models de regressió i el terme a sovint es pren com un sinònim del model de regressió llineal. No obstant, el terme és també usat en anàlisis de séries de temps en un significat diferent. En cada cas, la denominació com "llineal" és usada per a identificar una subclasse de models per als quals la reducció en complexitat de la teoria estadística relacionada és possible.

Models de Regressió Llineal

Per al cas de regressió, el model estadístic és com seguix: un model llineal prediu el valor d'una variable a través d'unes atres que cridarem factors per mig d'una funció llineal d'estos. Estos factors estan determinats per l'escenari a on observem la variable a predir, a la qual cridarem variable endógena. Donada una mostra (aleatòria) $(Y_i,X_{i1},\dots ,X_{ip}),i=1,\dots ,n$ la relació entre les observacions I_i i les variables independents X_ij es fòrmula com

$Y_i={\beta }_0+{\beta }_1{\varphi }_1(X_{i1})+\cdots +{\beta }_p{\varphi }_p(X_{ip})+{\epsilon }_{i}i=1,\dots ,n$

a on ${\varphi }_1,\dots ,{\varphi }_p$ poden ser funcions no llineals. En l'equació anterior, les cantitats ε_i són variables aleatòries representant errors en la relació. La part "llineal" es referix a l'apariència dels coeficients de regressió, β_j en esta equació. Alternativament, es pot dir que els valors ajustats corresponents a l'anterior model, notats

${\hat{Y}}_i={\beta }_0+{\beta }_1{\varphi }_1(X_{i1})+\cdots +{\beta }_p{\varphi }_p(X_{ip})(i=1,\dots ,n),$

són funcions llineals dels β_j.

Ya que l'estimació es pren en la base d'un anàlisis de mínims quadrats, les estimacions dels paràmetros desconeguts β_j es determinen en minimisar una funció de suma de quadrats

$S=\sum _{i=1}^n{(Y_i-{\beta }_0-{\beta }_1{\varphi }_1(X_{i1})-\cdots -{\beta }_p{\varphi }_p(X_{ip}))}^2.$

Per lo tant, es pot vore que l'aspecte "llineal" del model implica lo següent:

la funció a ser minimisada és una funció quadràtica dels β_j per ad açò el problema de minimisació és relativament simple;

les derivades de la funció són funcions llineals dels β_j fent fàcil de trobar els valors estimats que la minimisen;

els valors estimats de β_j són funcions llineals de les observacions I_i;

els valors estimats de β_j són funcions llineals dels errors aleatoris ε_i la qual cosa fa relativament fàcil determinar les seues propietats estadístiques.

Algunes expressions del model de regressió llineal

Models polinomiales

Els models llineals servixen per a estimar models polinomiales. Per eixemple, si les potències d'una variable expliquen la variable endógena, el model seria:

$Y={\beta }_0+{\beta }_{1}X+{\beta }_2{X}^2+\cdots +{\beta }_n{X}^n+\epsilon$

Models multinomiales

També podem recórrer als models llineals per a estimar models multinomiales. Un eixemple és el següent:

$Y={\beta }_0+{\beta }_{1}X+{\beta }_{2}Y+{\beta }_3{X}^2+{\beta }_{4}XY+{\beta }_5{Y}^2+\epsilon$

Estimació del model

Per a estimar el model, tenim que observar el valor de la variable depenent i dels factors en $m$ casos. En este cas, les equacions seran:

$\{\begin{array}{c}{y}_1={\beta }_0+{\beta }_1{x}_{11}+{\beta }_2{x}_{12}+\mathrm{...}+{\beta }_n{x}_{1m}+{\epsilon }_1\\ y_2={\beta }_0+{\beta }_1{x}_{21}+{\beta }_2{x}_{22}+\mathrm{...}+{\beta }_n{x}_{2m}+{\epsilon }_2\\ ⋮\\ y_n={\beta }_0+{\beta }_1{x}_{n1}+{\beta }_2{x}_{n2}+\mathrm{...}+{\beta }_n{x}_{nm}+{\epsilon }_n\end{array}$

Este sistema d'equacions admet la següent expressió vectorial:

$𝐘=𝐗𝜷+𝜺$

Els símbols que apareixen en este model vectorial representen lo següent:

$𝐘=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]𝐗=\left[\begin{array}{ccccc}1& x_{1,1}& x_{1,2}& \mathrm{...}& x_{1,m}\\ 1& x_{2,1}& x_{2,2}& \mathrm{...}& x_{2,m}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_{n,1}& x_{n,2}& \mathrm{...}& x_{n,m}\end{array}\right]𝜷=\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\\ ⋮\\ {\beta }_m\end{array}\right]𝜺=\left[\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ⋮\\ {\epsilon }_n\end{array}\right]$

El vector d'errors comés pel model ve dau per:

$𝜺=𝐘-𝐗𝜷$

l'estimador mínim quadràtic és aquell que fa mínima la suma dels quadrats d'estos errors. Esta suma és:

$S(\widehat{𝜷})=\sum _{i=1}^n{\epsilon }_i^2={𝜺}^{\prime }𝜺=(𝐘-𝐗\widehat{𝜷}{)}^T(𝐘-𝐗\widehat{𝜷})$

Observem que no hem establit cap restricció per al valor de $𝜷$. Estem puix davant un problema d'optimisació sense restriccions. Els càlculs duen a les anomenades equacions normals que té que verificar el valor de $𝜷$ que fa mínima la suma dels quadrats dels errors.

${𝐗}^T𝐗\widehat{𝜷}={𝐗}^T𝐘$

L'estimador mínim-quadràtic per a $𝜷$ resulta ser:

$\widehat{𝜷}=({𝐗}^T𝐗{)}^{-1}{𝐗}^T𝐘$

El Teorema de Gauss-Márkov nos informa sobre l'eficàcia d'este estimador.

Insesgado

Si els errors -que són variables aleatòries- són insesgados $E(𝜺)=\mathrm{𝟎}$, l'estimador mínim-quadràtic també ho és:

$E(\widehat{𝜷})=E(({𝐗}^{\prime }𝐗{)}^{-1}{𝐗}^{\prime }(𝐗𝜷+𝜺))=𝜷+E(({𝐗}^{\prime }𝐗{)}^{-1})X^{\prime }𝜺)=𝜷$

És important que inclogam en el model tots els factors rellevants: si falta algun, és possible que els errors no tinguen mija zero i l'estimador dels coeficients serà biaixat. No obstant, qualsevol bon model llineal ajuda a comprendre un fenomen i a fer bones estimacions. Si incloem factors d'influència dubtosa, també podem provocar un biaix en l'estimador mínim-quadràtic. Des de fa molts anys, existix una teoria d'inferència en models llineals que nos permet decidir -en un chicotet marge d'error- si un factor és o no rellevant.

Residus

Els errors comesos pel model quan s'usa el verdader valor del paràmetro són $𝜺=𝐘-𝐗𝜷$. No obstant, nosatres no coneixem el verdader valor del paràmetro $𝜷$, sino només la seua estimació $\widehat{𝜷}$ i açò provoca que no manegem els verdaders errors comesos, sino la seua estimació, a la que cridarem residus i que vénen daus per:

$\widehat{𝜺}=𝐲-𝐗\widehat{𝜷}$

En els nostres càlculs, tampoc manejarem la suma dels quadrats dels errors, sino la suma dels quadrats dels residus:

$SCR=\sum _{i=1}^n{\widehat{{\epsilon }_i}}^2={\widehat{𝜺}}^{\prime }\widehat{𝜺}=(𝐲-𝐗\widehat{𝜷}{)}^{\prime }(𝐲-𝐗\widehat{𝜷})$

Es diu que els errors són homocedásticos quan:

$\mathrm{\exists }{\sigma }^2\mathrm{\forall }iE({\epsilon }_i^2)={\sigma }^2$

Si l'error presenta una varianza distinta en cada cas, parlem d'heterocedasticidad.

Models de séries temporals

Un eixemple de model llineal en séries temporals és el Model autorregresivo de mija mòvil, en el que els valors {X_t} de la série poden representar-se de la forma

$X_t=c+{\epsilon }_t+\sum _{i=1}^p{\phi }_i{X}_{t-i}+\sum _{i=1}^q{\theta }_i{\epsilon }_{t-i}.$

a on, de nou, les cantitats ε_t són variables aleatòries que representen les innovacions o nous efectes aleatoris que apareixen en un instant determinat pero solament afecten a X en lo sucesivo de la série. En este context, el terme modele llineal es referix a l'estructura de la relació que representa a X_t com una funció llineal dels valors anteriors de la mateixa série de temps i d'innovacions en el mateix instant i instants passats. Este aspecte particular de l'estructura indica que hi ha una manera simple de trobar relacions per a la mija i les propietats de covarianza de les séries. Note que la part "llineal" del terme "model llineal" no es referix als coeficients φ_i i θ_i, com era el cas en el model de regressió, pero es veu estructuralment similar.

Vore també

• Model estadístic
• Model llineal generalisat