Se usó la API de Cloud Translation para traducir esta página.

Reducción de la pérdida: Descenso de gradientes

El diagrama de enfoque iterativo (Figura 1) contenía un cuadro verde ondulado a mano llamado "Actualizar parámetros de procesamiento". Ahora reemplazaremos esa solución algorítmica mágica por algo más sustancial.

Supongamos que tuviéramos el tiempo y los recursos de procesamiento para calcular la pérdida de todos los valores posibles de $w_1$. Para el tipo de problemas de regresión que estuvimos examinando, el diagrama resultante de pérdida frente a $w_1$ siempre será convexo. En otras palabras, la representación siempre tendrá forma de tazón, como la siguiente:

Un gráfico de una curva en forma de U, con el eje vertical etiquetado como “pérdida” y el eje horizontal etiquetado como el valor de peso w i.

Figura 2: Los problemas de regresión producen diagramas de pérdida convexa vs. pesos.

Los problemas convexos tienen un solo mínimo, es decir, un solo lugar en el que la pendiente es exactamente 0. Ese mínimo es donde converge la función de pérdida.

Calcular la función de pérdida para cada valor concebible de $w_1$en todo el conjunto de datos sería una forma ineficiente de encontrar el punto de convergencia. Examinemos un mecanismo mejor, muy popular en el aprendizaje automático, llamado descenso de gradientes.

La primera etapa en el descenso de gradientes consiste en elegir un valor de inicio (un punto de partida) para $w_1$. El punto de partida no es muy importante; por lo tanto, muchos algoritmos simplemente establecen $w_1$ en 0 o eligen un valor aleatorio. En la siguiente figura, se muestra que elegimos un punto de partida ligeramente mayor que 0:

El trazado de una curva en forma de U. Un punto a la mitad del lado izquierdo de la curva se denomina "Punto de partida".

Figura 3: Un punto de partida para el descenso de gradientes.

Luego, el algoritmo de descenso de gradientes calcula la gradiente de la curva de pérdida en el punto de partida. En la Figura 3, la gradiente de la pérdida es igual a la derivada (pendiente) de la curva y indica en qué dirección es "más cálida" o "más fría". Cuando hay múltiples pesos, el gradiente es un vector de derivadas parciales con respecto a los pesos.

Haz clic en el ícono de signo más para obtener más información sobre las derivadas parciales y las gradientes.

Los cálculos en torno al aprendizaje automático son fascinantes, y nos alegra que hayas hecho clic en el vínculo para obtener más información. Sin embargo, ten en cuenta que TensorFlow se encarga de todos los cálculos de gradientes por ti, por lo que no es necesario que comprendas el cálculo que se proporciona aquí.

Derivadas parciales

Una función multivariable es una función con más de un argumento, como la siguiente:

$$f(x,y) = e^{2y}\sin(x)$$

La derivada parcial $f$ con respecto a $x$, denotada de la siguiente manera:

$$ \partial f \over \partial x $$

es la derivada de $f$ considerada como una función de $x$sola. Para encontrar lo siguiente:

$$\partial f \over \partial x $$

debes mantener $y$ constante (por lo que $f$ ahora es una función de una variable $x$) y tomar la derivada regular de $f$con respecto a $x$. Por ejemplo, cuando $y$ se fija en 1, la función anterior se vuelve:

$$ f(x) = e^2\sin(x) $$

Esta es solo una función de una variable $x$, cuya derivada es:

$$ e^2\cos(x) $$

En general, al pensar en $y$ como fija, la derivada parcial de $f$ con respecto a $x$ se calcula de la siguiente manera:

$$\frac{\partial f}{\partial x}(x,y) = e^{2y}\cos(x)$$

Del mismo modo, si mantenemos $x$ fijo en su lugar, la derivada parcial de $f$ con respecto a $y$ es:

$$ \frac{\partial f}{\partial y}(x,y) = 2e^{2y}\sin(x) $$

De manera intuitiva, una derivada parcial te indica cuánto cambia la función cuando se perturba un poco una variable. En el ejemplo anterior:

$$ \frac{\partial f}{\partial x} (0,1) = e^2 \approx 7.4 $$

Por lo tanto, cuando comienzas con $(0,1)$, mantienes la $y$ constante y te mueves $x$ un poco,$f$ cambia alrededor de 7.4 veces la cantidad que cambiaste $x$.

En el aprendizaje automático, las derivadas parciales se usan mayormente en conjunto con la gradiente de una función.

Gradientes

El gradiente de una función, denotado de la siguiente manera, es el vector de las derivadas parciales con respecto a todas las variables independientes:

$$ \nabla f $$

Por ejemplo:

$$ f(x,y) = e^{2y}\sin(x) $$

luego:

$$\nabla f(x,y) = \left(\frac{\partial f}{\partial x}(x,y), \frac{\partial f}{\partial y}(x,y)\right) = (e^{2y}\cos(x), 2e^{2y}\sin(x))$$

Ten en cuenta lo siguiente:

$$\nabla f$$	Puntos en la dirección del mayor aumento de la función.
$$ {-\nabla f} $$	Puntos en la dirección de la mayor disminución de la función.

La cantidad de dimensiones de este vector es igual a la cantidad de variables en la fórmula para $f$; en otras palabras, el vector recae dentro del espacio del dominio de la función. Por ejemplo, el gráfico de la siguiente función $f(x,y)$:

$$ f(x,y) = 4 + (x - 2)^2 + 2y^2 $$

Cuando se ve en tres dimensiones con $z = f(x,y)$ , parece un valle con un mínimo en $(2,0,4)$:

El gradiente de $f(x,y)$ es un vector bidimensional que te indica en qué dirección$(x,y)$ debes moverte para obtener el máximo aumento de altura. Por lo tanto, la parte negativa del gradiente te mueve en la dirección de la disminución máxima de altura. En otras palabras, la parte negativa del vector de gradiente apunta al valle.

En el aprendizaje automático, las gradientes se usan en el descenso de gradientes. Con frecuencia tenemos una función de pérdida de muchas variables que intentamos minimizar y tratamos de hacerlo siguiendo el valor negativo del gradiente de la función.

Ten en cuenta que la gradiente es un vector, de manera que tiene las dos características siguientes:

una dirección
una magnitud

La gradiente siempre apunta en la dirección del aumento más empinado de la función de pérdida. El algoritmo de descenso de gradientes da un paso en la dirección de la gradiente negativa para reducir la pérdida lo más rápido posible.

El trazado de una curva en forma de U. Un punto en el lado izquierdo de la curva se denomina "Punto de partida". Una flecha con la etiqueta “gradiente negativo” apunta desde este punto hacia la derecha.

Figura 4: El descenso de gradientes se basa en gradientes negativos.

Para determinar el siguiente punto a lo largo de la curva de la función de pérdida, el algoritmo de descenso de gradientes agrega alguna fracción de la magnitud de la gradiente al punto de partida, como se muestra en la siguiente figura:

Figura 5: Un paso de gradiente nos lleva al siguiente punto de la curva de pérdida.

Luego, el descenso de gradientes repite este proceso y se acerca cada vez más al mínimo.

Un enfoque iterativo

Tasa de aprendizaje