Descens del gradient

Archiu:Gradient Descent in 2D.webm

Descens del gradient en 2D

El descens del gradient o gradient descendent és un algoritme d'optimisació iterativo de primer orde que permet trobar mínims locals en una funció diferenciable. L'idea és prendre passos de manera repetida en contra direcció al gradient. Açò es fa ya que esta direcció és la del descens més empinat. Si es prenen passos en la mateixa direcció del gradient, es trobarà el màxim local de la funció; a açò se li coneix com el gradient ascendent. Este algoritme és utilisat per a entrenar models d'aprenentage màquina i rets neuronals.

Història

El gradient descendent se li atribuïx generalment a Augustin-Louis Cauchy, qui va anar el primer en sugerir-ho en 1847. Jacques Hadamard va propondre un métodos similar en 1907. Haskell Curry va ser el primer en estudiar les propietats de convergència per a problemes d'optimisació no llineal en 1944. Des de llavors el método ha segut estudiat i utilisat a fondo.

Requisits

Per a poder utilisar l'algoritme del gradient descendent la funció de la qual es desija trobar el mínim local deu complir en lo següent:

1. La funció deu ser diferenciable.
2. La funció deu ser convexa:

Una funció f és convexa si:

$f(\lambda x_1+(1-\lambda )x_2)<\lambda f(x_1)+(1-\lambda )f(x_2)$

a on:

$\lambda \in ℝ$,

$0\le \lambda \le 1$