Glosario de aprendizaje automático: Conceptos básicos del AA

Esta página contiene los términos del glosario de ML Fundamentals. Para ver todos los términos del glosario, haz clic aquí.

A

accuracy

#fundamentals

Es la cantidad de predicciones de clasificación correctas dividida por la cantidad total de predicciones. Es decir:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

Por ejemplo, un modelo que hizo 40 predicciones correctas y 10 predicciones incorrectas tendría la siguiente exactitud:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

La clasificación binaria proporciona nombres específicos para las diferentes categorías de predicciones correctas y predicciones incorrectas. Por lo tanto, la fórmula de exactitud para la clasificación binaria es la siguiente:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

Donde:

• VP es la cantidad de verdaderos positivos (predicciones correctas).
• VN es la cantidad de verdaderos negativos (predicciones correctas).
• FP es la cantidad de falsos positivos (predicciones incorrectas).
• FN es la cantidad de falsos negativos (predicciones incorrectas).

Compara y contrasta la precisión con la precisión y la recuperación.

Haz clic en el ícono para obtener notas adicionales.

Aunque es una métrica valiosa en algunas situaciones, la exactitud es muy engañosa para otras. En particular, la exactitud suele ser una métrica deficiente para evaluar modelos de clasificación que procesan conjuntos de datos desequilibrados.

Por ejemplo, supongamos que la nieve cae solo 25 días por siglo en una ciudad subtropical determinada. Dado que los días sin nieve (la clase negativa) superan en gran medida a los días con nieve (la clase positiva), el conjunto de datos de nieve de esta ciudad está desequilibrado. Imagina un modelo de clasificación binaria que debiera predecir o no nieve todos los días, pero que simplemente predice "sin nieve" todos los días. Este modelo es muy preciso, pero no tiene poder predictivo. En la siguiente tabla, se resumen los resultados de un siglo de predicciones:

Categoría	Número
VP	0
TN	36500
FP	25
FN	0

Por lo tanto, la exactitud de este modelo es la siguiente:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

Aunque una exactitud del 99.93% parece un porcentaje muy impresionante, el modelo en realidad no tiene poder predictivo.

Por lo general, la precisión y la recuperación son métricas más útiles que la exactitud para evaluar los modelos entrenados con conjuntos de datos desequilibrados.

---

función de activación

#fundamentals

Función que permite que las redes neuronales aprendan relaciones no lineales (complejas) entre los atributos y la etiqueta.

Estas son algunas de las funciones de activación populares:

• ReLU
• Sigmoide

Los diagramas de las funciones de activación nunca son líneas rectas únicas. Por ejemplo, el trazado de la función de activación ReLU consta de dos líneas rectas:

El gráfico de la función de activación sigmoidea se ve de la siguiente manera:

Haz clic en el ícono para ver un ejemplo.

En una red neuronal, las funciones de activación manipulan la suma ponderada de todas las entradas a una neurona. Para calcular una suma ponderada, la neurona suma los productos de los valores y pesos relevantes. Por ejemplo, supongamos que la entrada relevante para una neurona consta de lo siguiente:

valor de entrada	ingresar peso
2	-1.3
-1	0.6
3	0.4

Por lo tanto, la suma ponderada es la siguiente:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Supongamos que el diseñador de esta red neuronal elige la función sigmoidea como función de activación. En ese caso, la neurona calcula el sigmoide de -2.0, que es aproximadamente 0.12. Por lo tanto, la neurona pasa 0.12 (en lugar de -2.0) a la siguiente capa en la red neuronal. En la siguiente figura, se ilustra la parte relevante del proceso:

---

se cree erróneamente

#fundamentals

Es un programa o model no humano que puede resolver tareas sofisticadas. Por ejemplo, los programas o modelos que traducen textos o que identifican enfermedades a partir de imágenes radiológicas son muestras de inteligencia artificial.

De manera formal, el aprendizaje automático es un subcampo de la inteligencia artificial. Sin embargo, en los últimos años, algunas organizaciones comenzaron a usar los términos inteligencia artificial y aprendizaje automático de forma indistinta.

AUC (área bajo la curva ROC)

#fundamentals

Un número entre 0.0 y 1.0 que representa la capacidad de un modelo de clasificación binaria para separar clases positivas de clases negativas. Cuanto más cerca esté el AUC de 1.0, mejor será la capacidad del modelo para separar clases entre sí.

Por ejemplo, en la siguiente ilustración, se muestra un modelo clasificador que separa a la perfección las clases positivas (óvalos verdes) de las clases negativas (rectángulos púrpuras). Este modelo poco realista tiene un AUC de 1.0:

Por el contrario, en la siguiente ilustración, se muestran los resultados de un modelo clasificador que generó resultados aleatorios. Este modelo tiene un AUC de 0.5:

Sí, el modelo anterior tiene un AUC de 0.5, no de 0.0.

La mayoría de los modelos se encuentran entre los dos extremos. Por ejemplo, el siguiente modelo separa de alguna manera los positivos de los negativos y, por lo tanto, tiene un AUC entre 0.5 y 1.0:

El AUC ignora cualquier valor que establezcas para el umbral de clasificación. En cambio, el AUC considera todos los umbrales de clasificación posibles.

Haz clic en el ícono para obtener más información sobre la relación entre las curvas de AUC y ROC.

El AUC representa el área bajo una curva ROC. Por ejemplo, la curva ROC para un modelo que separa a la perfección los positivos de los negativos tiene el siguiente aspecto:

El AUC es el área de la región gris en la ilustración anterior. En este caso inusual, el área es simplemente la longitud de la región gris (1.0) multiplicada por el ancho de la región gris (1.0). Por lo tanto, el producto de 1.0 y 1.0 produce un AUC de exactamente 1.0, que es la puntuación de AUC más alta posible.

Por el contrario, la curva ROC para un clasificador que no puede separar clases en absoluto es la siguiente. El área de esta región gris es 0.5.

Una curva ROC más típica se ve aproximadamente de la siguiente manera:

Sería muy laborioso calcular el área bajo esta curva de forma manual, por lo que un programa generalmente calcula la mayoría de los valores de AUC.

---

Haz clic en el ícono para obtener una definición más formal del AUC.

El AUC es la probabilidad de que un clasificador tenga más certeza de que un ejemplo positivo elegido al azar sea realmente positivo con respecto a que un ejemplo negativo elegido al azar sea positivo.

---

B

propagación inversa

#fundamentals

Es el algoritmo que implementa el descenso de gradientes en redes neuronales.

El entrenamiento de una red neuronal implica muchas iteraciones del siguiente ciclo de dos pasos:

1. Durante la transferencia de reenvío, el sistema procesa un lote de ejemplos para generar predicciones. El sistema compara cada predicción con cada valor de label. La diferencia entre la predicción y el valor de la etiqueta es la pérdida para ese ejemplo. El sistema agrega las pérdidas de todos los ejemplos para calcular la pérdida total del lote actual.
2. Durante el movimiento de retroceso (propagación inversa), el sistema ajusta los pesos de todas las neuronas en todas las capas ocultas para reducir la pérdida.

Las redes neuronales suelen contener muchas neuronas distribuidas en varias capas ocultas. Cada una de esas neuronas contribuye a la pérdida general de diferentes maneras. La propagación inversa determina si se deben aumentar o disminuir los pesos aplicados a neuronas particulares.

La tasa de aprendizaje es un multiplicador que controla el grado en el que cada retroposición aumenta o disminuye cada peso. Una tasa de aprendizaje grande aumentará o disminuirá cada peso más que una tasa de aprendizaje pequeña.

En términos de cálculo, la propagación inversa implementa la regla de la cadena del cálculo. Es decir, la propagación inversa calcula la derivada parcial del error con respecto a cada parámetro. Para obtener más información, consulta este instructivo del Curso intensivo de aprendizaje automático.

Hace años, los profesionales de AA tenían que escribir código para implementar la propagación inversa. Las APIs modernas de AA, como TensorFlow, ahora implementan la propagación inversa por ti. ¡Vaya!

lote

#fundamentals

El conjunto de ejemplos usados en una iteración de entrenamiento. El tamaño del lote determina la cantidad de ejemplos de un lote.

Consulta epoch para obtener una explicación de cómo se relaciona un lote con un ciclo de entrenamiento.

tamaño del lote

#fundamentals

La cantidad de ejemplos en un lote. Por ejemplo, si el tamaño del lote es de 100, el modelo procesa 100 ejemplos por iteración.

Las siguientes son estrategias populares de tamaño del lote:

• Descenso de gradientes estocástico (SGD), en el que el tamaño del lote es 1.
• lote completo, en el que el tamaño del lote es la cantidad de ejemplos del conjunto de entrenamiento completo. Por ejemplo, si el conjunto de entrenamiento contiene un millón de ejemplos, el tamaño del lote tendría un millón de ejemplos. Por lo general, la estrategia de lotes completos es ineficiente.
• minilote en el que el tamaño del lote suele ser entre 10 y 1,000. Por lo general, la estrategia más eficaz es el minilote.

sesgo (ética/equidad)

#fairness

#fundamentals

1. Estereotipos, prejuicios o preferencia de cosas, personas o grupos por sobre otros. Estos sesgos pueden afectar la recopilación y la interpretación de datos, el diseño de un sistema y la forma en que los usuarios interactúan con él. Entre las formas de este tipo de sesgo se incluyen las siguientes:

• sesgo de automatización
• sesgo de confirmación
• sesgo del investigador
• sesgo de correspondencia
• sesgo implícito
• sesgo endogrupal
• sesgo de homogeneidad de los demás

2. Error sistemático introducido por un procedimiento de muestreo o de creación de informes. Entre las formas de este tipo de sesgo se incluyen las siguientes:

• sesgo de cobertura
• sesgo de no respuesta
• sesgo de participación
• sesgo de reporte
• sesgo muestral
• sesgo de selección

No se debe confundir con el término de sesgo en los modelos de aprendizaje automático o con el sesgo de predicción.

término de sesgo (matemática) o sesgo

#fundamentals

Intersección o desplazamiento desde un origen. El sesgo es un parámetro en los modelos de aprendizaje automático que se simboliza por cualquiera de los siguientes elementos:

• b
• s₀

Por ejemplo, la ordenada al origen es la b en la siguiente fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

En una línea bidimensional simple, el sesgo simplemente significa “intersección en y”. Por ejemplo, el sesgo de la línea en la siguiente ilustración es 2.

El sesgo existe porque no todos los modelos comienzan desde el origen (0,0). Por ejemplo, supongamos que la entrada a un parque de diversiones cuesta 2 euros y un costo adicional de 0.5 euros por cada hora de estadía que un cliente. Por lo tanto, un modelo que asigna el costo total tiene un sesgo de 2 porque el costo más bajo es de 2 euros.

No se debe confundir el sesgo con el sesgo en la ética y la equidad ni con el sesgo de predicción.

clasificación binaria

#fundamentals

Un tipo de tarea de clasificación que predice una de dos clases mutuamente excluyentes:

• la clase positiva
• la clase negativa

Por ejemplo, los siguientes dos modelos de aprendizaje automático realizan una clasificación binaria:

• Es un modelo que determina si los mensajes de correo electrónico son spam (la clase positiva) o no spam (la clase negativa).
• Un modelo que evalúa los síntomas médicos para determinar si una persona tiene una enfermedad en particular (la clase positiva) o no tiene esa enfermedad (la clase negativa).

Compara esto con la clasificación de clases múltiples.

Consulta también la regresión logística y el umbral de clasificación.

agrupamiento

#fundamentals

Convertir un solo atributo en varios atributos binarios llamados buckets o bins, por lo general, basados en un rango de valores. Por lo general, el atributo cortado es un atributo continuo.

Por ejemplo, en lugar de representar la temperatura como una función continua de punto flotante, podrías dividir los rangos de temperatura en segmentos separados, como los siguientes:

• <= 10 grados Celsius sería el bucket "frío".
• La temperatura del bucket "temperado" sería de 11 a 24 grados Celsius.
• >= 25 grados Celsius sería el bucket "cálido".

El modelo tratará cada valor en el mismo bucket de forma idéntica. Por ejemplo, los valores 13 y 22 están en el bucket templado, por lo que el modelo trata a los dos valores de forma idéntica.

Haz clic en el ícono para obtener notas adicionales.

Si representas la temperatura como un atributo continuo, el modelo trata la temperatura como un solo atributo. Si representas la temperatura como tres segmentos, el modelo tratará cada uno de ellos como un atributo independiente. Es decir, un modelo puede aprender relaciones independientes de cada bucket según la etiqueta. Por ejemplo, un modelo de regresión lineal puede aprender pesos independientes para cada bucket.

El aumento de la cantidad de buckets hace que tu modelo sea más complicado, ya que aumenta la cantidad de relaciones que el modelo debe aprender. Por ejemplo, los buckets fríos, templados y templados son, en esencia, tres atributos distintos con los que se entrena el modelo. Si decides agregar dos buckets más, por ejemplo, congelado y caliente, tu modelo ahora tendrá que entrenar en cinco atributos separados.

¿Cómo sabes cuántos buckets crear o cuáles deberían ser los rangos de cada bucket? Por lo general, las respuestas requieren mucha experimentación.

---

C

datos categóricos

#fundamentals

Atributos que tienen un conjunto específico de valores posibles. Por ejemplo, considera un atributo categórico llamado traffic-light-state, que solo puede tener uno de los siguientes tres valores posibles:

• red
• yellow
• green

Cuando se representa traffic-light-state como un atributo categórico, un modelo puede aprender los diferentes impactos de red, green y yellow en el comportamiento del controlador.

A veces, los atributos categóricos se denominan atributos discretos.

Compara esto con los datos numéricos.

clase

#fundamentals

Es una categoría a la que puede pertenecer una etiqueta. Por ejemplo:

• En un modelo de clasificación binaria que detecta spam, las dos clases pueden ser es spam y no es spam.
• En un modelo de clasificación de clases múltiples que identifica razas de perros, las clases pueden ser poodle, beagle, pug, etcétera.

Un modelo de clasificación predice una clase. Por el contrario, un modelo de regresión predice un número en lugar de una clase.

modelo de clasificación

#fundamentals

Un model cuya predicción es una model Por ejemplo, los siguientes son todos modelos de clasificación:

• Un modelo que predice el idioma de una oración de entrada (¿Francés? ¿Español? italiano).
• Un modelo que predice las especies de árboles (¿Maple? Oak? ¿Baobab?).
• Un modelo que predice las clases positivas o negativas de una enfermedad en particular.

Por el contrario, los modelos de regresión predicen números en lugar de clases.

Los siguientes son dos tipos comunes de modelos de clasificación:

• clasificación binaria
• clasificación de clases múltiples

umbral de clasificación

#fundamentals

En una clasificación binaria, un número entre 0 y 1 que convierte el resultado sin procesar de un modelo de regresión logística en una predicción de la clase positiva o la clase negativa. Ten en cuenta que el umbral de clasificación es un valor que elige una persona, no un valor elegido por el entrenamiento de modelos.

Un modelo de regresión logística da como resultado un valor sin procesar entre 0 y 1. Luego, haz lo siguiente:

• Si este valor sin procesar es mayor que el umbral de clasificación, se predice la clase positiva.
• Si este valor sin procesar es menor que el umbral de clasificación, se predice la clase negativa.

Por ejemplo, supongamos que el umbral de clasificación es 0.8. Si el valor sin procesar es 0.9, el modelo predice la clase positiva. Si el valor sin procesar es 0.7, el modelo predice la clase negativa.

La elección del umbral de clasificación influye en gran medida en la cantidad de falsos positivos y falsos negativos.

Haz clic en el ícono para obtener notas adicionales.

A medida que los modelos o los conjuntos de datos evolucionan, los ingenieros a veces también cambian el umbral de clasificación. Cuando cambia el umbral de clasificación, las predicciones de clase positivas pueden convertirse de repente en clases negativas y viceversa.

Por ejemplo, considera un modelo de predicción de enfermedades de clasificación binaria. Supongamos que, cuando se ejecuta el sistema durante el primer año, sucede lo siguiente:

• El valor sin procesar para un paciente en particular es 0.95.
• El umbral de clasificación es 0.94.

Por lo tanto, el sistema diagnostica la clase positiva. (El paciente jadea: "¡Oh, no! Estoy enfermo").

Un año después, es posible que los valores ahora tengan el siguiente aspecto:

• El valor sin procesar para el mismo paciente permanece en 0.95.
• El umbral de clasificación cambia a 0.97.

Por lo tanto, el sistema ahora reclasifica a ese paciente como la clase negativa. ("¡Feliz día! No estoy enfermo"). El mismo paciente. El diagnóstico es diferente.

---

conjunto de datos con desequilibrio de clases

#fundamentals

Un conjunto de datos para un problema de clasificación en el que la cantidad total de etiquetas de cada clase difiere de manera significativa. Por ejemplo, considera un conjunto de datos de clasificación binaria cuyas dos etiquetas se dividen de la siguiente manera:

• 1,000,000 de etiquetas negativas
• 10 etiquetas positivas

La proporción de etiquetas negativas y positivas es de 100,000 a 1, por lo que este es un conjunto de datos desequilibrado.

Por el contrario, el siguiente conjunto de datos no está desequilibrado porque la proporción entre etiquetas negativas y positivas es relativamente cercana a 1:

• 517 etiquetas negativas
• 483 etiquetas positivas

Los conjuntos de datos de varias clases también pueden estar desequilibrados. Por ejemplo, el siguiente conjunto de datos de clasificación de clases múltiples también está desequilibrado porque una etiqueta tiene muchos más ejemplos que las otras dos:

• 1,000,000 de etiquetas con la clase "green"
• 200 etiquetas con la clase "púrpura"
• 350 etiquetas con la clase "orange"

Consulta también entropía, clase de mayoría y clase minoritaria.

recorte (clipping)

#fundamentals

Una técnica para controlar los valores atípicos mediante una de las siguientes opciones o ambas:

• Reducir los valores de feature que sean mayores que un umbral máximo hasta alcanzarlo
• Aumentar los valores de atributos que sean inferiores a un umbral mínimo hasta alcanzarlo

Por ejemplo, supongamos que menos del 0.5% de los valores de un atributo en particular están fuera del rango 40-60. En ese caso, podrías hacer lo siguiente:

• Recorta todos los valores superiores a 60 (el umbral máximo) para que sean exactamente 60.
• Recorta todos los valores por debajo de 40 (el umbral mínimo) para que sean exactamente 40.

Los valores atípicos pueden dañar los modelos y, a veces, causar que los pesos desbordan durante el entrenamiento. Algunos valores atípicos también pueden arruinar métricas drásticas, como la exactitud. El recorte es una técnica común para limitar el daño.

El recorte de gradiente fuerza los valores de gradiente dentro de un rango designado durante el entrenamiento.

matriz de confusión

#fundamentals

Tabla de n×n que resume la cantidad de predicciones correctas e incorrectas que realizó un modelo de clasificación. Por ejemplo, considera la siguiente matriz de confusión para un modelo de clasificación binaria:

	Es tumor (predicho)	No es tumor (predicho)
Tumor (verdad fundamental)	18 (VP)	1 (FN)
No es tumor (verdad fundamental)	6 (FP)	452 (VN)

En la matriz de confusión anterior, se muestra lo siguiente:

• De las 19 predicciones en las que la verdad fundamental fue Tumor, el modelo clasificó correctamente 18 y 1 de forma incorrecta.
• De las 458 predicciones en las que la verdad fundamental fue no tumor, el modelo clasificó correctamente 452 y, de forma incorrecta, 6.

La matriz de confusión para un problema de clasificación de clases múltiples puede ayudarte a identificar patrones de errores. Por ejemplo, considera la siguiente matriz de confusión para un modelo de clasificación de clases múltiples de 3 clases que categoriza tres tipos de iris diferentes (Virginica, Versicolor y Setosa). Cuando la verdad fundamental era Virginica, la matriz de confusión muestra que era más probable que el modelo prediga por error Versicolor que Setosa:

	Setosa (prevista)	Versicolor (predicho)	Virgenica (prevista)
Setosa (verdad fundamental)	88	12	0
Versicolor (verdad fundamental)	6	141	7
virginica (verdad fundamental)	2	27	109

Como otro ejemplo, una matriz de confusión podría revelar que un modelo entrenado para reconocer dígitos escritos a mano tiende a predecir de manera incorrecta 9 en lugar de 4, o a predecir erróneamente 1 en lugar de 7.

Las matrices de confusión contienen suficiente información para calcular una variedad de métricas de rendimiento, incluidas la precisión y la recuperación.

atributo continuo

#fundamentals

Atributo de punto flotante con un rango infinito de valores posibles, como la temperatura o el peso.

Compara esto con el atributo discreto.

convergencia

#fundamentals

Un estado que se alcanza cuando los valores de pérdida cambian muy poco o nada con cada iteración. Por ejemplo, la siguiente curva de pérdida sugiere la convergencia en alrededor de 700 iteraciones:

Un modelo convierte cuando un entrenamiento adicional no mejorará el modelo.

En el aprendizaje profundo, a veces, los valores de pérdida se mantienen constantes o casi durante muchas iteraciones y, finalmente, descienden. Durante un período prolongado de valores de pérdida constantes, puedes obtener temporalmente una falsa sensación de convergencia.

Consulta también interrupción anticipada.

D

DataFrame

#fundamentals

Tipo de datos popular de Pandas para representar conjuntos de datos en la memoria.

Un DataFrame es similar a una tabla o una hoja de cálculo. Cada columna de un DataFrame tiene un nombre (un encabezado) y cada fila se identifica con un número único.

Cada columna en un DataFrame está estructurada como un arreglo 2D, excepto que a cada columna se le puede asignar su propio tipo de datos.

Consulta también la página de referencia oficial de pandas.DataFrame.

conjunto de datos o conjunto de datos

#fundamentals

Una colección de datos sin procesar, comúnmente (pero no exclusivamente) organizados en uno de los siguientes formatos:

• una hoja de cálculo
• un archivo en formato CSV (valores separados por comas)

modelo profundo

#fundamentals

Red neuronal que contiene más de una capa oculta

Un modelo profundo también se denomina red neuronal profunda.

Compara esto con el modelo amplio.

atributo denso

#fundamentals

Atributo en el que la mayoría de los valores o todos los valores no son cero; por lo general, es un tensor de valores de punto flotante. Por ejemplo, el siguiente Tensor de 10 elementos es denso porque 9 de sus valores no son cero:

8

3

7

5

2

4

0

4

9

6

Compara esto con el atributo disperso.

depth

#fundamentals

Es la suma de los siguientes valores en una red neuronal:

• la cantidad de capas ocultas
• la cantidad de capas de salida, que suele ser de 1
• la cantidad de capas de incorporación

Por ejemplo, una red neuronal con cinco capas ocultas y una capa de salida tiene una profundidad de 6.

Ten en cuenta que la capa de entrada no influye en la profundidad.

atributo discreto

#fundamentals

Es un atributo con un conjunto finito de valores posibles. Por ejemplo, un atributo cuyos valores solo pueden ser animal, vegetal o mineral es un atributo discreto (o categórico).

Compara esto con el atributo continuo.

dinámico

#fundamentals

Algo que se hace con frecuencia o de forma continua. Los términos dinámico y en línea son sinónimos en el aprendizaje automático. Los siguientes son usos comunes de dinámico y en línea en el aprendizaje automático:

• Un modelo dinámico (o modelo en línea) es un modelo que se vuelve a entrenar con frecuencia o de forma continua.
• El entrenamiento dinámico (o entrenamiento en línea) es el proceso de entrenamiento con frecuencia o continua.
• La inferencia dinámica (o inferencia en línea) es el proceso de generar predicciones a pedido.

modelo dinámico

#fundamentals

Es un model que se vuelve a entrenar con frecuencia (incluso de manera continua). Un modelo dinámico es un "aprendiz de toda la vida" que se adapta constantemente a los datos en evolución. Un modelo dinámico también se conoce como modelo en línea.

Compara esto con el modelo estático.

E

interrupción anticipada

#fundamentals

Método para la regularización que implica finalizar el entrenamiento antes de que la pérdida de entrenamiento termine de disminuir. En la interrupción anticipada, dejas de entrenar de forma intencional el modelo cuando la pérdida en un conjunto de datos de validación comienza a aumentar, es decir, cuando empeora el rendimiento de la generalización.

Haz clic en el ícono para obtener notas adicionales.

La interrupción anticipada puede parecer contradictorio. Después de todo, decirle a un modelo que detenga el entrenamiento mientras la pérdida sigue disminuyendo puede parecer que le dices a un chef que deje de cocinar antes de que el postre se hornee por completo. Sin embargo, entrenar un modelo durante demasiado tiempo puede generar un sobreajuste. Es decir, si entrenas un modelo por demasiado tiempo, es posible que este se ajuste a los datos de entrenamiento tan cerca que no pueda realizar predicciones adecuadas sobre ejemplos nuevos.

---

Embedding Layer

#language

#fundamentals

Una capa oculta especial que se entrena en un atributo categórico de alta dimensión para aprender de forma gradual un vector de incorporación de menor dimensión. Una capa de incorporación permite que una red neuronal se entrene de manera mucho más eficiente que entrenar solo con un atributo categórico de alta dimensión.

Por ejemplo, actualmente, la Tierra tiene alrededor de 73,000 especies de árboles. Supongamos que la especie de árbol es un atributo de tu modelo, por lo que su capa de entrada incluye un vector one-hot de 73,000 elementos. Por ejemplo, quizás baobab se represente de la siguiente manera:

Un array de 73,000 elementos es muy largo. Si no agregas una capa de incorporación al modelo, el entrenamiento requerirá mucho tiempo debido a que se multiplican 72,999 ceros. Quizás elijas que la capa de incorporación tenga 12 dimensiones. En consecuencia, la capa de incorporación aprenderá de forma gradual un nuevo vector de incorporación para cada especie arbórea.

En ciertas situaciones, el hashing es una alternativa razonable a una capa de incorporación.

época

#fundamentals

Un entrenamiento completo pasa el conjunto de entrenamiento completo, de modo que cada ejemplo se procese una vez.

Un ciclo de entrenamiento representa las iteraciones de entrenamiento de N/tamaño del lote, en las que N es la cantidad total de ejemplos.

Por ejemplo, supongamos lo siguiente:

• El conjunto de datos consta de 1,000 ejemplos.
• El tamaño del lote es de 50 ejemplos.

Por lo tanto, un solo ciclo de entrenamiento requiere 20 iteraciones:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Ejemplo

#fundamentals

Son los valores de una fila de atributos y, posiblemente, de una etiqueta. Los ejemplos de aprendizaje supervisado se dividen en dos categorías generales:

• Un ejemplo etiquetado consta de uno o más atributos y una etiqueta. Los ejemplos etiquetados se usan durante el entrenamiento.
• Un ejemplo sin etiqueta consta de uno o más atributos, pero ninguna etiqueta. Los ejemplos sin etiqueta se usan durante la inferencia.

Por ejemplo, supongamos que estás entrenando un modelo para determinar la influencia de las condiciones climáticas en las calificaciones de los estudiantes. Estos son tres ejemplos etiquetados:

Atributos			Etiqueta
Temperatura	Humedad	Presionar	Puntuación de la prueba
15	47	998	Bueno
19	34	1020	Excelente
18	92	1012	Deficiente

Estos son tres ejemplos sin etiqueta:

Temperatura	Humedad	Presionar
12	62	1014
21	47	1017
19	41	1021

Por lo general, la fila de un conjunto de datos es la fuente sin procesar para un ejemplo. Es decir, un ejemplo generalmente consta de un subconjunto de las columnas del conjunto de datos. Además, los atributos de un ejemplo también pueden incluir atributos sintéticos, como combinaciones de atributos.

F.

falso negativo (FN)

#fundamentals

Ejemplo en el que el modelo predice la clase negativa de forma errónea. Por ejemplo, el modelo predice que un mensaje de correo electrónico en particular no es spam (la clase negativa), pero ese mensaje de correo electrónico sí es spam.

falso positivo (FP)

#fundamentals

Ejemplo en el que el modelo predice la clase positiva de forma errónea. Por ejemplo, el modelo predice que un mensaje de correo electrónico en particular es spam (la clase positiva), pero ese mensaje de correo electrónico en realidad no es spam.

tasa de falsos positivos (FPR)

#fundamentals

La proporción de ejemplos negativos reales para los que el modelo predijo de manera incorrecta la clase positiva. La siguiente fórmula calcula la tasa de falsos positivos:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

La tasa de falsos positivos es el eje x en una curva ROC.

característica

#fundamentals

Variable de entrada de un modelo de aprendizaje automático. Un ejemplo consta de uno o más atributos. Por ejemplo, supongamos que entrenas un modelo para determinar la influencia de las condiciones climáticas en las calificaciones de los estudiantes. En la siguiente tabla, se muestran tres ejemplos, cada uno de los cuales contiene tres atributos y una etiqueta:

Atributos			Etiqueta
Temperatura	Humedad	Presionar	Puntuación de la prueba
15	47	998	92
19	34	1020	84
18	92	1012	87

Compara esto con la etiqueta.

combinación de atributos

#fundamentals

Un atributo sintético formado por la “combinación” de atributos categóricos o agrupados.

Por ejemplo, considera un modelo de “previsión del estado de ánimo” que represente la temperatura en uno de los siguientes cuatro buckets:

• freezing
• chilly
• temperate
• warm

Y representa la velocidad del viento en uno de estos tres segmentos:

• still
• light
• windy

Sin combinaciones de atributos, el modelo lineal se entrena de forma independiente en cada uno de los siete buckets anteriores. Por lo tanto, el modelo se entrena con freezing, por ejemplo, independientemente del entrenamiento en windy.

Como alternativa, puedes crear una combinación de atributos de temperatura y velocidad del viento. Este atributo sintético tendría los siguientes 12 valores posibles:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Gracias a las combinaciones de atributos, el modelo puede aprender diferencias de ánimo entre un día de freezing-windy y un día de freezing-still.

Si creas un atributo sintético a partir de dos atributos que tienen muchos intervalos diferentes, la combinación de atributos resultante tendrá una gran cantidad de combinaciones posibles. Por ejemplo, si un atributo tiene 1,000 buckets y el otro tiene 2,000 buckets, la combinación de atributos resultante tiene 2,000,000 de buckets.

De manera formal, una cruz es un producto cartesiano.

Las combinaciones de atributos se usan, en su mayoría, con modelos lineales y rara vez con redes neuronales.

ingeniería de atributos

#fundamentals

#TensorFlow

Un proceso que implica los siguientes pasos:

1. Determinar qué atributos podrían ser útiles para entrenar un modelo
2. Convertir los datos sin procesar del conjunto de datos en versiones eficientes de esas características.

Por ejemplo, podrías determinar que temperature podría ser una función útil. Luego, puedes experimentar con el agrupamiento para optimizar lo que el modelo puede aprender de diferentes rangos temperature.

En algunas ocasiones, la ingeniería de atributos se denomina extracción de atributos.

Haz clic en el ícono para obtener notas adicionales sobre TensorFlow.

En TensorFlow, la ingeniería de atributos suele implicar la conversión de entradas de archivos de registro sin procesar en búferes de protocolo tf.Example. Consulta también tf.Transform.

---

conjunto de atributos

#fundamentals

Grupo de atributos con el que se entrena el modelo de aprendizaje automático. Por ejemplo, el código postal, el tamaño de la propiedad y el estado de la propiedad pueden incluir un conjunto de atributos simples para un modelo que predice los precios de la vivienda.

vector de atributos

#fundamentals

El array de valores de feature que comprende un ejemplo. El vector de atributos se ingresa durante el entrenamiento y durante la inferencia. Por ejemplo, el vector de atributos de un modelo con dos atributos discretos podría ser el siguiente:

[0.92, 0.56]

En cada ejemplo, se proporcionan diferentes valores para el vector de atributos, de modo que el vector de atributos del siguiente ejemplo podría ser algo así:

[0.73, 0.49]

La ingeniería de atributos determina cómo representar atributos en el vector de atributos. Por ejemplo, un atributo categórico binario con cinco valores posibles podría representarse con la codificación one-hot. En este caso, la parte del vector de atributos para un ejemplo en particular consistiría en cuatro ceros y un solo 1.0 en la tercera posición, de la siguiente manera:

[0.0, 0.0, 1.0, 0.0, 0.0]

Como otro ejemplo, supongamos que tu modelo consta de tres atributos:

• un atributo categórico binario con cinco valores posibles representados con codificación one-hot; por ejemplo: [0.0, 1.0, 0.0, 0.0, 0.0]
• otro atributo categórico binario con tres valores posibles representados con codificación one-hot; por ejemplo: [0.0, 0.0, 1.0]
• un atributo de punto flotante; por ejemplo: 8.3

En este caso, el vector de atributos de cada ejemplo estaría representado por nueve valores. Dados los valores de ejemplo de la lista anterior, el vector de atributos sería el siguiente:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

ciclo de reacción

#fundamentals

En el aprendizaje automático, una situación en la que las predicciones de un modelo influyen en los datos de entrenamiento para el mismo modelo o para otro. Por ejemplo, un modelo que recomienda películas influirá en las películas que las personas ven, lo que luego influirá en los modelos posteriores de recomendación de películas.

G

generalización

#fundamentals

La capacidad de un modelo para realizar predicciones correctas sobre datos nuevos nunca antes vistos. Un modelo que puede generalizar es lo opuesto a un modelo que se sobreajusta.

Haz clic en el ícono para obtener notas adicionales.

Entrenas un modelo con los ejemplos en el conjunto de entrenamiento. En consecuencia, el modelo aprende las peculiaridades de los datos en el conjunto de entrenamiento. En esencia, la generalización pregunta si tu modelo puede hacer buenas predicciones con ejemplos que no estén en el conjunto de entrenamiento.

Para fomentar la generalización, la regularización ayuda a un modelo a entrenarse de manera menos exacta según las peculiaridades de los datos en el conjunto de entrenamiento.

---

curva de generalización

#fundamentals

Es un trazado de la pérdida de entrenamiento y la pérdida de validación en función de la cantidad de iteraciones.

Una curva de generalización puede ayudarte a detectar un posible sobreajuste. Por ejemplo, la siguiente curva de generalización sugiere sobreajuste porque la pérdida de validación es, en última instancia, significativamente mayor que la pérdida de entrenamiento.

descenso de gradientes

#fundamentals

Técnica matemática para minimizar la pérdida. El descenso de gradientes ajusta de forma iterativa los pesos y los sesgos, y encuentra gradualmente la mejor combinación para minimizar la pérdida.

El descenso de gradientes es mucho más antiguo que el aprendizaje automático.

verdad fundamental

#fundamentals

Realidad.

Lo que realmente sucedió.

Por ejemplo, considera un modelo de clasificación binaria que prediga si un estudiante de primer año de la universidad se graduará en seis años. La verdad fundamental de este modelo es si el estudiante se graduó en seis años o no.

Haz clic en el ícono para obtener notas adicionales.

Evaluamos la calidad del modelo en función de la verdad fundamental. Sin embargo, la verdad fundamental no siempre es completamente veraz. Por ejemplo, considera los siguientes ejemplos de posibles imperfecciones en la verdad fundamental:

• En el ejemplo de la graduación, ¿estamos seguros de que los registros de graduación de cada estudiante siempre sean correctos? ¿Los registros de la universidad son impecables?
• Supongamos que la etiqueta es un valor de punto flotante medido por instrumentos (por ejemplo, barómetros). ¿Cómo podemos estar seguros de que cada instrumento se calibró de forma idéntica o de que cada lectura se realizó en las mismas circunstancias?
• Si la etiqueta es una cuestión de opinión humana, ¿cómo podemos estar seguros de que cada evaluador humano evalúa los eventos de la misma manera? A veces intervienen evaluadores humanos expertos para mejorar la coherencia.

---

H

capa oculta

#fundamentals

Es una capa en una red neuronal entre la capa de entrada (las características) y la capa de salida (la predicción). Cada capa oculta consta de una o más neuronas. Por ejemplo, la siguiente red neuronal contiene dos capas ocultas, la primera con tres neuronas y la segunda con dos neuronas:

Una red neuronal profunda contiene más de una capa oculta. Por ejemplo, la ilustración anterior es una red neuronal profunda porque el modelo contiene dos capas ocultas.

hiperparámetro

#fundamentals

Las variables que tú o un servicio de ajuste de hiperparámetrosajustan durante ejecuciones sucesivas de entrenamiento de un modelo. Por ejemplo, la tasa de aprendizaje es un hiperparámetro. Puedes configurar la tasa de aprendizaje en 0.01 antes de una sesión de capacitación. Si determinas que 0.01 es demasiado alto, podrías configurar la tasa de aprendizaje en 0.003 para la próxima sesión de entrenamiento.

Por el contrario, los parámetros son los diversos ponderaciones y sesgos que aprende el modelo durante el entrenamiento.

I

distribuida de forma independiente e idéntica (i.i.d)

#fundamentals

Son datos extraídos de una distribución que no cambia y en los que cada valor extraído no depende de valores que se obtuvieron anteriormente. Un i.i.d. es el gas ideal del aprendizaje automático; es una construcción matemática útil pero casi nunca se encuentra exactamente en el mundo real. Por ejemplo, la distribución de los visitantes de una página web puede ser i.i.d. en un período breve; es decir, la distribución no cambia durante ese período breve y la visita de un usuario suele ser independiente de la visita de otra. Sin embargo, si expandes ese período, pueden aparecer las diferencias por temporada en los visitantes de la página web.

Consulta también no estacionariedad.

inferencia

#fundamentals

En el aprendizaje automático, es el proceso de hacer predicciones mediante la aplicación de un modelo entrenado a ejemplos sin etiqueta.

Inferencia tiene un significado un poco diferente en estadística. Consulta el artículo de Wikipedia sobre inferencia estadística para obtener más detalles.

capa de entrada

#fundamentals

Es la capa de una red neuronal que contiene el vector de atributos. Es decir, la capa de entrada proporciona ejemplos de entrenamiento o inferencia. Por ejemplo, la capa de entrada en la siguiente red neuronal consta de dos características:

interpretabilidad

#fundamentals

La capacidad de explicar o presentar el razonamiento de un modelo de AA en términos comprensibles a un humano.

La mayoría de los modelos de regresión lineal, por ejemplo, son muy interpretables. (Solo tienes que revisar las ponderaciones entrenadas para cada atributo). Los bosques de decisión también son muy interpretables. Sin embargo, algunos modelos requieren una visualización sofisticada para ser interpretables.

Puedes usar la Herramienta de interpretabilidad de aprendizaje (LIT) para interpretar modelos de AA.

iteración

#fundamentals

Una sola actualización de los parámetros de un modelo (los pesos y los sesgos) durante el entrenamiento El tamaño del lote determina la cantidad de ejemplos que procesa el modelo en una sola iteración. Por ejemplo, si el tamaño del lote es 20, el modelo procesa 20 ejemplos antes de ajustar los parámetros.

Cuando se entrena una red neuronal, una sola iteración involucra las siguientes dos pasadas:

1. Un pase hacia delante para evaluar la pérdida en un solo lote.
2. Un pase hacia atrás (propagación inversa) para ajustar los parámetros del modelo en función de la pérdida y la tasa de aprendizaje

L

regularización L₀

#fundamentals

Es un tipo de regularización que penaliza la cantidad total de ponderaciones distintas de cero en un modelo. Por ejemplo, un modelo que tiene 11 ponderaciones distintas de cero sería penalizado más que un modelo similar que tiene 10 ponderaciones distintas de cero.

La regularización L₀ a veces se denomina regularización de la norma L0.

Haz clic en el ícono para obtener notas adicionales.

La regularización L₀ no suele ser práctica en los modelos grandes porque la regularización L₀ convierte el entrenamiento en un problema de optimización convexa.

---

pérdida L₁

#fundamentals

Función de pérdida que calcula el valor absoluto de la diferencia entre los valores reales de la etiqueta y los valores que predice un modelo. Por ejemplo, este es el cálculo de la pérdida de L₁ para un lote de cinco ejemplos:

Valor real del ejemplo	Valor previsto del modelo	Valor absoluto de delta
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = pérdida L1

La pérdida L₁ es menos sensible a los valores atípicos que la Pérdida L₂.

El error absoluto medio es la pérdida L₁ promedio por ejemplo.

Haz clic en el ícono para ver los cálculos formales.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

En el ejemplo anterior, se ilustra lo siguiente:

• $n$ es la cantidad de ejemplos.
• $y$ es el valor real de la etiqueta.
• $\hat{y}$ es el valor que predice el modelo para $y$.

---

regularización L₁

#fundamentals

Tipo de regularización que penaliza los pesos en proporción a la suma del valor absoluto de los pesos. La regularización L₁ ayuda a llevar los pesos de los atributos irrelevantes o apenas relevantes a exactamente 0. Un atributo con un peso de 0 se quita de forma efectiva del modelo.

Compara esto con la regularización L₂.

pérdida L₂

#fundamentals

Función de pérdida que calcula el cuadrado de la diferencia entre los valores reales de la etiqueta y los valores que predice un modelo. Por ejemplo, este es el cálculo de la pérdida de L₂ para un lote de cinco ejemplos:

Valor real del ejemplo	Valor previsto del modelo	Cuadrado de delta
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = pérdida L2

Debido al cuadrado, la pérdida de L₂ amplifica la influencia de los valores atípicos. Es decir, la pérdida L₂ reacciona de manera más fuerte a las predicciones malas que la pérdida L₁. Por ejemplo, la pérdida de L₁ para el lote anterior sería 8 en lugar de 16. Ten en cuenta que un solo valor atípico representa 9 de los 16.

Los modelos de regresión suelen usar la pérdida L₂ como función de pérdida.

El error cuadrático medio es la pérdida L₂ promedio por ejemplo. Pérdida al cuadrado es otro nombre para la pérdida L₂.

Haz clic en el ícono para ver los cálculos formales.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

En el ejemplo anterior, se ilustra lo siguiente:

• $n$ es la cantidad de ejemplos.
• $y$ es el valor real de la etiqueta.
• $\hat{y}$ es el valor que predice el modelo para $y$.

---

regularización L₂

#fundamentals

Tipo de regularización que penaliza los pesos en proporción a la suma de los cuadrados de los pesos. La regularización L₂ ayuda a llevar los pesos de valores atípicos (aquellos con valores negativos altos o negativos bajos) más cerca del 0, pero no exactamente a 0. Los atributos con valores muy cercanos a 0 permanecen en el modelo, pero no influyen mucho en su predicción.

La regularización L₂ siempre mejora la generalización en los modelos lineales.

Compara esto con la regularización L₁.

etiqueta

#fundamentals

En el aprendizaje automático supervisado, la parte de "respuesta" o "resultado" de un ejemplo.

Cada ejemplo etiquetado consta de uno o más atributos y una etiqueta. Por ejemplo, en un conjunto de datos de detección de spam, la etiqueta probablemente sería “es spam” o “no es spam”. En un conjunto de datos de lluvias, la etiqueta puede ser la cantidad de lluvia que cayó durante un período determinado.

ejemplo etiquetado

#fundamentals

Ejemplo que contiene uno o más atributos y una etiqueta. Por ejemplo, en la siguiente tabla, se muestran tres ejemplos etiquetados de un modelo de valoración de casas, cada uno con tres atributos y una etiqueta:

Cantidad de dormitorios	Cantidad de baños	Antigüedad de la casa	Precio de la casa (etiqueta)
3	2	15	USD 345,000
2	1	72	USD 179,000
4	2	34	USD 392,000

En el aprendizaje automático supervisado, los modelos se entrenan con ejemplos etiquetados y realizan predicciones con ejemplos sin etiqueta.

Compara el ejemplo etiquetado con los ejemplos sin etiqueta.

lambda

#fundamentals

Sinónimo de tasa de regularización.

Lambda es un término sobrecargado. Aquí nos enfocamos en la definición del término dentro de la regularización.

oculta

#fundamentals

Es un conjunto de neuronas en una red neuronal. A continuación, se indican tres tipos comunes de capas:

• La capa de entrada, que proporciona valores para todas las características.
• Una o más capas ocultas, que encuentran relaciones no lineales entre los componentes y la etiqueta.
• La capa de salida, que proporciona la predicción.

Por ejemplo, en la siguiente ilustración, se muestra una red neuronal con una capa de entrada, dos capas ocultas y una capa de salida:

En TensorFlow, las capas también son funciones de Python que toman tensores y opciones de configuración como entrada y producen otros tensores como resultado.

tasa de aprendizaje

#fundamentals

Es un número de punto flotante que le indica al algoritmo de descenso de gradientes con qué firmeza debe ajustar las ponderaciones y los sesgos en cada iteración. Por ejemplo, una tasa de aprendizaje de 0.3 ajustaría las ponderaciones y las ordenadas al origen tres veces más que una tasa de aprendizaje de 0.1.

La tasa de aprendizaje es un hiperparámetro clave. Si estableces la tasa de aprendizaje demasiado baja, el entrenamiento tardará demasiado. Si estableces la tasa de aprendizaje demasiado alta, el descenso de gradientes suele tener problemas para alcanzar la convergencia.

Haz clic en el icono para obtener una explicación más matemática.

Durante cada iteración, el algoritmo de descenso de gradientes multiplica la tasa de aprendizaje por el gradiente. El producto resultante se denomina paso de gradiente.

---

linear

#fundamentals

Es una relación entre dos o más variables que solo se puede representar mediante sumas y multiplicaciones.

La representación de una relación lineal es una línea.

Compara esto con los valores no lineales.

modelo lineal

#fundamentals

model que asigna un model por model para realizar model. (Los modelos lineales también incorporan un sesgo). Por el contrario, la relación de los atributos con las predicciones en los modelos profundos suele ser no lineal.

Los modelos lineales suelen ser más fáciles de entrenar y más interpretables que los modelos profundos. Sin embargo, los modelos profundos pueden aprender relaciones complejas entre atributos.

La regresión lineal y la regresión logística son dos tipos de modelos lineales.

Haz clic en el ícono para ver los cálculos.

Un modelo lineal sigue esta fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

En el ejemplo anterior, se ilustra lo siguiente:

• y' es la predicción sin procesar. (En algunos tipos de modelos lineales, esta predicción sin procesar se modificará aún más. Por ejemplo, consulta regresión logística).
• b es el sesgo.
• w es un peso, por lo que w₁ es el peso del primer atributo, w₂ es el peso del segundo atributo, y así sucesivamente.
• x es un atributo, de modo que x₁ es el valor del primer atributo, x₂ es el valor del segundo atributo, y así sucesivamente.

Por ejemplo, supongamos que un modelo lineal de tres atributos aprende los siguientes sesgos y pesos:

• b = 7
• w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

Por lo tanto, con tres atributos (x₁, x₂ y x₃), el modelo lineal usa la siguiente ecuación para generar cada predicción:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

Supongamos que un ejemplo en particular contiene los siguientes valores:

• x₁ = 4
• x₂ = -10
• x₃ = 5

Cuando se conectan esos valores a la fórmula, se genera una predicción para este ejemplo:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

Los modelos lineales incluyen no solo modelos que usan solo una ecuación lineal para hacer predicciones, sino también un conjunto más amplio de modelos que usan una ecuación lineal como solo un componente de la fórmula que hace predicciones. Por ejemplo, la regresión logística procesa posteriormente la predicción sin procesar (y') para producir un valor de predicción final entre 0 y 1, de forma exclusiva.

---

regresión lineal

#fundamentals

Es un tipo de modelo de aprendizaje automático en el que se cumplen las siguientes condiciones:

• Se trata de un modelo lineal.
• La predicción es un valor de punto flotante. (Esta es la parte de regresión de la regresión lineal).

Compara la regresión lineal con la regresión logística. Además, contrasta la regresión con la clasificación.

regresión logística

#fundamentals

Es un tipo de modelo de regresión que predice una probabilidad. Los modelos de regresión logística tienen las siguientes características:

• La etiqueta es categórica. El término regresión logística generalmente se refiere a regresión logística binaria, es decir, a un modelo que calcula probabilidades para etiquetas con dos valores posibles. Una variante menos común, la regresión logística multinomial, calcula las probabilidades de las etiquetas con más de dos valores posibles.
• La función de pérdida durante el entrenamiento es Pérdida logística. Se pueden colocar en paralelo varias unidades de pérdida logística para las etiquetas con más de dos valores posibles.
• El modelo tiene una arquitectura lineal, no una red neuronal profunda. Sin embargo, el resto de esta definición también se aplica a los modelos profundos que predicen las probabilidades de las etiquetas categóricas.

Por ejemplo, considera un modelo de regresión logística que calcula la probabilidad de que un correo electrónico de entrada sea spam o no spam. Durante la inferencia, supongamos que el modelo predice 0.72. Por lo tanto, el modelo estima lo siguiente:

• Una probabilidad del 72% de que el correo electrónico sea spam.
• Una probabilidad del 28% de que el correo electrónico no sea spam

Un modelo de regresión logística usa la siguiente arquitectura de dos pasos:

1. El modelo genera una predicción sin procesar (y') mediante la aplicación de una función lineal de atributos de entrada.
2. El modelo usa esa predicción sin procesar como entrada en una función sigmoidea, que convierte la predicción sin procesar en un valor entre 0 y 1, exclusivo.

Al igual que cualquier modelo de regresión, un modelo de regresión logística predice un número. Sin embargo, por lo general, este número se vuelve parte de un modelo de clasificación binaria de la siguiente manera:

• Si el número predicho es mayor que el umbral de clasificación, el modelo de clasificación binaria predice la clase positiva.
• Si el número predicho es menor que el umbral de clasificación, el modelo de clasificación binaria predice la clase negativa.

Pérdida logística

#fundamentals

La función de pérdida que se usa en la regresión logística binaria.

Haz clic en el ícono para ver los cálculos.

La siguiente fórmula calcula la pérdida logística:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

En el ejemplo anterior, se ilustra lo siguiente:

• \((x,y)\in D\) es el conjunto de datos que contiene muchos ejemplos etiquetados, que son \((x,y)\) pares.
• \(y\) es la etiqueta de un ejemplo etiquetado. Dado que se trata de regresión logística, cada valor de \(y\) debe ser 0 o 1.
• \(y'\) es el valor predicho (un valor entre 0 y 1, exclusivo), según el conjunto de atributos en \(x\).

---

logaritmo de probabilidad

#fundamentals

Es el logaritmo de las probabilidades de que ocurra algún evento.

Haz clic en el ícono para ver los cálculos.

Si el evento es una probabilidad binaria, entonces las probabilidades se refieren a la relación entre la probabilidad de éxito (p) y la de fracaso (1-p). Por ejemplo, supongamos que un evento determinado tiene una probabilidad del 90% de éxito y una probabilidad del 10% de fracaso. En este caso, las probabilidades se calculan de la siguiente manera:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

El logaritmo de probabilidad es simplemente el logaritmo de las probabilidades. Por convención, "logaritmo" se refiere al logaritmo natural, pero en realidad podría ser cualquier base mayor que 1. Por lo tanto, apegándose a la convención, los logaritmos de probabilidad de nuestro ejemplo son los siguientes:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

La función de logaritmo de probabilidad es lo inverso de la función sigmoidea.

---

pérdida

#fundamentals

Durante el entrenamiento de un modelo supervisado, una medida de la distancia a la que se encuentra la predicción de un modelo de su etiqueta.

Una función de pérdida calcula la pérdida.

curva de pérdida

#fundamentals

Un trazado de pérdida como una función de la cantidad de iteraciones de entrenamiento. En el siguiente gráfico, se muestra una curva de pérdida típica:

Las curvas de pérdida pueden ayudarte a determinar cuándo el modelo convierte o se sobreajusta.

Con las curvas de pérdida, se pueden representar todos los tipos de pérdida que se indican a continuación:

• pérdida de entrenamiento
• pérdida de validación
• pérdida de prueba

Consulta también la curva de generalización.

función de pérdida

#fundamentals

Durante el entrenamiento o las pruebas, una función matemática que calcula la pérdida en un lote de ejemplos. Una función de pérdida muestra una pérdida menor en los modelos que hacen buenas predicciones que en los modelos que hacen predicciones erróneas.

Por lo general, el objetivo del entrenamiento es minimizar la pérdida que muestra una función de pérdida.

Existen muchos tipos diferentes de funciones de pérdida. Elige la función de pérdida adecuada para el tipo de modelo que estás creando. Por ejemplo:

• La pérdida L₂ (o error cuadrático medio) es la función de pérdida para la regresión lineal.
• Pérdida logística es la función de pérdida para la regresión logística.

M

aprendizaje automático

#fundamentals

Es un programa o sistema que entrena un modelo a partir de datos de entrada. El modelo entrenado puede hacer predicciones útiles a partir de datos nuevos (nunca vistos) extraídos de la misma distribución que la que se usó para entrenar el modelo.

El aprendizaje automático también se refiere al campo de estudio relacionado con estos programas o sistemas.

clase mayoritaria

#fundamentals

Etiqueta más común en un conjunto de datos con desequilibrio de clases. Por ejemplo, dado un conjunto de datos que contiene un 99% de etiquetas negativas y un 1% de etiquetas positivas, las etiquetas negativas son la clase mayoritaria.

Compara esto con la clase minoritaria.

minilote

#fundamentals

Subconjunto pequeño seleccionado al azar de un lote procesado en una iteración. El tamaño del lote de un minilote generalmente es entre 10 y 1,000 ejemplos.

Por ejemplo, supongamos que todo el conjunto de entrenamiento (el lote completo) consta de 1,000 ejemplos. Además, supongamos que estableces el tamaño del lote de cada minilote en 20. Por lo tanto, cada iteración determina la pérdida en un 20 al azar de los 1,000 ejemplos y, luego, ajusta los pesos y los sesgos según corresponda.

Es mucho más eficiente calcular la pérdida en un minilote que la pérdida en todos los ejemplos del lote completo.

clase minoritaria

#fundamentals

Etiqueta menos común en un conjunto de datos con desequilibrio de clases. Por ejemplo, dado un conjunto de datos que contiene un 99% de etiquetas negativas y un 1% de etiquetas positivas, las etiquetas positivas son la clase minoritaria.

Compara esto con la clase de mayoría.

Haz clic en el ícono para obtener notas adicionales.

Un conjunto de entrenamiento con un millón de ejemplos suena impresionante. Sin embargo, si la clase minoritaria está mal representada, incluso un conjunto de entrenamiento muy grande podría no ser suficiente. Enfócate menos en la cantidad total de ejemplos del conjunto de datos y más en la cantidad de ejemplos en la clase minoritaria.

Si tu conjunto de datos no contiene suficientes ejemplos de clases minoritarias, considera usar la reducción de muestreo (la definición en el segundo punto) para complementar la clase minoritaria.

---

model

#fundamentals

En general, cualquier construcción matemática que procese datos de entrada y muestre un resultado. En otras palabras, un modelo es el conjunto de parámetros y estructura necesarios para que un sistema haga predicciones. En el aprendizaje automático supervisado, un modelo toma un ejemplo como entrada y, luego, infiere una predicción como salida. Dentro del aprendizaje automático supervisado, los modelos difieren un poco. Por ejemplo:

• Un modelo de regresión lineal consta de un conjunto de pesos y un sesgo.
• Un modelo de red neuronal consta de lo siguiente:
  • Un conjunto de capas ocultas, cada una de las cuales contiene una o más neuronas.
  • Los pesos y el sesgo asociados con cada neurona.
• Un modelo de árbol de decisión consta de lo siguiente:
  • La forma del árbol, es decir, el patrón en el que se conectan las condiciones y las hojas.
  • Las condiciones se van.

Puedes guardar, restablecer o hacer copias de un modelo.

El aprendizaje automático no supervisado también genera modelos, por lo general, una función que puede asignar un ejemplo de entrada al clúster más apropiado.

Haz clic en el ícono para comparar funciones algebraicas y de programación con modelos de AA.

Una función algebraica como la siguiente es un modelo:

  f(x, y) = 3x -5xy + y2 + 17

La función anterior asigna valores de entrada (x e y) al resultado.

De manera similar, una función de programación como la siguiente también es un modelo:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

Un emisor pasa argumentos a la función de Python anterior, y esta genera un resultado (a través de la declaración return).

Aunque una red neuronal profunda tiene una estructura matemática muy diferente a la de una función algebraica o de programación, una red neuronal profunda aún toma entradas (un ejemplo) y muestra un resultado (una predicción).

Un programador humano codifica manualmente una función de programación. Por el contrario, un modelo de aprendizaje automático aprende gradualmente los parámetros óptimos durante el entrenamiento automatizado.

---

clasificación de clases múltiples

#fundamentals

En el aprendizaje supervisado, es un problema de clasificación en el que el conjunto de datos contiene más de dos clases de etiquetas. Por ejemplo, las etiquetas en el conjunto de datos Iris deben ser una de las siguientes tres clases:

• iris setosa;
• iris virginica
• Iris versicolor

Un modelo entrenado con el conjunto de datos Iris que predice el tipo Iris en ejemplos nuevos está realizando una clasificación de clases múltiples.

Por el contrario, los problemas de clasificación que distinguen entre exactamente dos clases son modelos de clasificación binaria. Por ejemplo, un modelo de correo electrónico que predice si es spam o no es spam es un modelo de clasificación binaria.

En los problemas de agrupamiento en clústeres, la clasificación de clases múltiples se refiere a más de dos clústeres.

N

clase negativa

#fundamentals

En la clasificación binaria, una clase se denomina positiva y la otra se denomina negativa. La clase positiva es lo que el modelo está probando y la clase negativa es la otra posibilidad. Por ejemplo:

• La clase negativa en un examen médico puede ser “no es tumor”.
• La clase negativa en un clasificador de correo electrónico puede ser "no es spam".

Compara esto con la clase positiva.

neuronal prealimentada

#fundamentals

Un model que contiene al menos una model Una red neuronal profunda es un tipo de red neuronal que contiene más de una capa oculta. Por ejemplo, en el siguiente diagrama, se muestra una red neuronal profunda que contiene dos capas ocultas.

Cada neurona en una red neuronal se conecta a todos los nodos de la siguiente capa. Por ejemplo, en el diagrama anterior, observa que cada una de las tres neuronas en la primera capa oculta se conecta por separado a las dos neuronas de la segunda capa oculta.

A veces, las redes neuronales implementadas en computadoras se denominan redes neuronales artificiales para diferenciarlas de las redes neuronales que se encuentran en el cerebro y otros sistemas nerviosos.

Algunas redes neuronales pueden imitar relaciones no lineales extremadamente complejas entre diferentes atributos y la etiqueta.

Consulta también red neuronal convolucional y red neuronal recurrente.

neurona

#fundamentals

En el aprendizaje automático, es una unidad distinta dentro de una capa oculta de una red neuronal. Cada neurona realiza la siguiente acción de dos pasos:

1. Calcula la suma ponderada de los valores de entrada multiplicados por sus pesos correspondientes.
2. Pasa la suma ponderada como entrada a una función de activación.

Una neurona en la primera capa oculta acepta entradas de los valores de los atributos en la capa de entrada. Una neurona en cualquier capa oculta más allá de la primera acepta entradas de las neuronas en la capa oculta anterior. Por ejemplo, una neurona en la segunda capa oculta acepta entradas de las neuronas en la primera capa oculta.

En la siguiente ilustración, se destacan dos neuronas y sus entradas.

Una neurona en una red neuronal imita el comportamiento de las neuronas en el cerebro y otras partes de los sistemas nerviosos.

nodo (red neuronal)

#fundamentals

neurona en una capa oculta.

no lineal

#fundamentals

Es una relación entre dos o más variables que no se pueden representar únicamente mediante sumas y multiplicaciones. Una relación lineal se puede representar como una línea, mientras que una relación no lineal no se puede representar como una línea. Por ejemplo, considera dos modelos que relacionen cada atributo con una sola etiqueta. El modelo de la izquierda es lineal y el de la derecha es no lineal:

no estacionariedad

#fundamentals

Atributo cuyos valores cambian en una o más dimensiones, generalmente, tiempo. Por ejemplo, considera los siguientes ejemplos de no estacionariedad:

• La cantidad de trajes de baño que se venden en una tienda específica varía según la temporada.
• La cantidad de una fruta específica cosechada en una región en particular es cero durante gran parte del año, pero grande durante un período breve.
• Debido al cambio climático, las temperaturas medias anuales están cambiando.

Compara esto con la estacionaridad.

normalización (normalization)

#fundamentals

En términos generales, el proceso de convertir el rango real de valores de una variable en un rango estándar de valores, como el siguiente:

• -1 a +1
• De 0 a 1
• la distribución normal

Por ejemplo, supongamos que el rango real de valores de un atributo determinado es de 800 a 2,400. Como parte de la ingeniería de atributos, puedes normalizar los valores reales a un rango estándar, como de -1 a +1.

La normalización es una tarea común en la ingeniería de atributos. Por lo general, los modelos se entrenan más rápido (y producen mejores predicciones) cuando todos los atributos numéricos del vector de atributos tienen más o menos el mismo rango.

datos numéricos

#fundamentals

Atributos representados como números enteros o de valores reales. Por ejemplo, un modelo de valuación de casas probablemente representaría el tamaño de una casa (en pies cuadrados o metros cuadrados) como datos numéricos. La representación de un atributo como datos numéricos indica que los valores del atributo tienen una relación matemática con la etiqueta. Es decir, el número de metros cuadrados de una casa probablemente tenga alguna relación matemática con el valor de la casa.

No todos los datos de números enteros deben representarse como datos numéricos. Por ejemplo, los códigos postales de algunas partes del mundo son números enteros; sin embargo, estos códigos no deben representarse como datos numéricos en los modelos. Esto se debe a que un código postal de 20000 no es dos veces más (o la mitad) potente que un código postal de 10000. Además, aunque los diferentes códigos postales sí se correlacionan con distintos valores de bienes raíces, no podemos suponer que los valores de bienes raíces en el código postal 20000 son dos veces más valiosos que los valores de bienes raíces en el código postal 10000. En su lugar, los códigos postales deben representarse como datos categóricos.

Los atributos numéricos a veces se denominan atributos continuos.

O

sin conexión

#fundamentals

Sinónimo de estática.

inferencia sin conexión

#fundamentals

Es el proceso en el que un modelo genera un lote de predicciones y, luego, almacena en caché (guarda) esas predicciones. Luego, las apps pueden acceder a la predicción deseada desde la caché en lugar de volver a ejecutar el modelo.

Por ejemplo, considera un modelo que genere pronósticos meteorológicos locales (predicciones) una vez cada cuatro horas. Después de que se ejecuta cada modelo, el sistema almacena en caché todas las previsiones meteorológicas locales. Las aplicaciones meteorológicas recuperan los pronósticos de la caché.

La inferencia sin conexión también se denomina inferencia estática.

Compara esto con la inferencia en línea.

codificación one-hot

#fundamentals

La representación de datos categóricos como un vector en el que:

• Un elemento se establece en 1.
• Todos los demás elementos se establecen en 0.

La codificación one-hot se usa comúnmente para representar strings o identificadores que tienen un conjunto finito de valores posibles. Por ejemplo, supongamos que un determinado atributo categórico llamado Scandinavia tiene cinco valores posibles:

• "Dinamarca"
• “Suecia”
• "Noruega"
• "Finlandia"
• “Islandia”

La codificación one-hot podría representar cada uno de los cinco valores de la siguiente manera:

country	Vector
"Dinamarca"	1	0	0	0	0
“Suecia”	0	1	0	0	0
"Noruega"	0	0	1	0	0
"Finlandia"	0	0	0	1	0
“Islandia”	0	0	0	0	1

Gracias a la codificación one-hot, un modelo puede aprender diferentes conexiones en función de cada uno de los cinco países.

Representar un atributo como datos numéricos es una alternativa a la codificación one-hot. Por desgracia, representar numéricamente los países escandinavos no es una buena opción. Por ejemplo, considera la siguiente representación numérica:

• "Dinamarca" es 0
• "Suecia" es 1
• "Noruega" es 2
• "Finlandia" tiene 3
• "Islandia" tiene 4

Con la codificación numérica, un modelo interpretaría los números sin procesar matemáticamente y trataría de entrenar con esos números. Sin embargo, Islandia en realidad no es el doble (o la mitad) de algo que Noruega, por lo que el modelo llegaría a conclusiones extrañas.

uno frente a todos

#fundamentals

Dado un problema de clasificación con clases N, una solución que consta de N clasificadores binarios independientes, es decir, un clasificador binario para cada resultado posible. Por ejemplo, dado un modelo que clasifica ejemplos como animales, vegetales o minerales, una solución de uno frente a todos proporcionaría los siguientes tres clasificadores binarios independientes:

• animal frente a no animal
• vegetal versus no vegetal
• mineral frente a no mineral

en línea

#fundamentals

Sinónimo de dinámico.

inferencia en línea

#fundamentals

Generación de predicciones a pedido. Por ejemplo, supongamos que una app pasa una entrada a un modelo y emite una solicitud para una predicción. Un sistema que usa inferencia en línea responde a la solicitud ejecutando el modelo (y mostrándole la predicción a la app).

Compara esto con la inferencia sin conexión.

capa de salida

#fundamentals

Capa "final" de una red neuronal. La capa de salida contiene la predicción.

En la siguiente ilustración, se muestra una pequeña red neuronal profunda con una capa de entrada, dos capas ocultas y una capa de salida:

sobreajuste

#fundamentals

Crear un model que coincida tan estrechamente con los model que no pueda realizar predicciones correctas con datos nuevos.

La regularización puede reducir el sobreajuste. El entrenamiento en un conjunto de entrenamiento grande y diverso también puede reducir el sobreajuste.

Haz clic en el ícono para obtener notas adicionales.

El sobreajuste es como seguir estrictamente los consejos de tu profesor favorito. Es probable que tengas éxito en la clase de ese profesor, pero podrías "sobreajustarte" a las ideas de ese profesor y no tener éxito en otras clases. Si sigues los consejos de una combinación de profesores, podrás adaptarte mejor a las nuevas situaciones.

---

P

pandas

#fundamentals

Una API de análisis de datos orientada a las columnas compilada sobre numpy. Muchos frameworks de aprendizaje automático, incluido TensorFlow, admiten estructuras de datos de Pandas como entradas. Para obtener más información, consulta la documentación de Pandas.

parámetro

#fundamentals

Los ponderaciones y los sesgos que aprende un modelo durante el entrenamiento. Por ejemplo, en un modelo de regresión lineal, los parámetros constan del sesgo (b) y todos los pesos (w₁, w₂, etc.) en la siguiente fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Por el contrario, los hiperparámetros son los valores que tú (o un servicio de conversión de hiperparámetros) proporcionas al modelo. Por ejemplo, una tasa de aprendizaje es un hiperparámetro.

clase positiva

#fundamentals

La clase que estás probando.

Por ejemplo, la clase positiva en un modelo de cáncer podría ser “tumor”. La clase positiva en un clasificador de correos electrónicos puede ser "es spam".

Compara esto con la clase negativa.

Haz clic en el ícono para obtener notas adicionales.

El término clase positiva puede ser confuso, ya que el resultado "positivo" de muchas pruebas suele ser un resultado no deseado. Por ejemplo, la clase positiva en muchos exámenes médicos corresponde a tumores o enfermedades. En general, querrás que un médico te diga: "¡Felicitaciones! El resultado de la prueba fue negativo". En cualquier caso, la clase positiva es el evento que la prueba busca encontrar.

Ciertamente, estás probando las clases positiva y negativa al mismo tiempo.

---

posprocesamiento

#fairness

#fundamentals

Ajustar el resultado de un modelo después de que este se haya ejecutado El posprocesamiento se puede usar para aplicar restricciones de equidad sin modificar los modelos.

Por ejemplo, podrías aplicar el posprocesamiento a un clasificador binario si estableces un umbral de clasificación de modo que se mantenga la igualdad de oportunidades para algún atributo. Para ello, verifica que la tasa de verdaderos positivos sea la misma para todos los valores de ese atributo.

Predicción

#fundamentals

Resultado de un modelo. Por ejemplo:

• La predicción de un modelo de clasificación binaria es la clase positiva o la clase negativa.
• La predicción de un modelo de clasificación de clases múltiples es de una clase.
• La predicción de un modelo de regresión lineal es un número.

etiquetas de proxy

#fundamentals

Datos que se usan para aproximar etiquetas que no están disponibles directamente en un conjunto de datos.

Por ejemplo, supongamos que debes entrenar un modelo para predecir el nivel de estrés de los empleados. Tu conjunto de datos contiene muchos atributos predictivos, pero no una etiqueta llamada nivel de estrés. Sin desanimarse, elige "accidentes laborales" como una etiqueta de proxy para el nivel de estrés. Después de todo, los empleados bajo mucho estrés tienen más accidentes que los empleados tranquilos. ¿O no? Quizás los accidentes en el lugar de trabajo en realidad suben y bajan por múltiples razones.

Como segundo ejemplo, supongamos que deseas que ¿está lloviendo? sea una etiqueta booleana para tu conjunto de datos, pero este no contiene datos sobre lluvia. Si hay fotografías disponibles, puedes establecer imágenes de personas con paraguas como una etiqueta de proxy para ¿está lloviendo? ¿Esa es una buena etiqueta de proxy? Sin embargo, en algunas culturas es más probable que lleven paraguas para protegerse del sol que de la lluvia.

Las etiquetas de proxy suelen ser imperfectas. Cuando sea posible, elige etiquetas reales en lugar de etiquetas de proxy. Dicho esto, cuando falta una etiqueta real, elige la etiqueta de proxy con mucho cuidado y elige la opción menos horrible para la etiqueta de proxy.

R

evaluador

#fundamentals

Una persona que proporciona etiquetas para los ejemplos “Annotador” es otro nombre para evaluador.

Unidad lineal rectificada (ReLU)

#fundamentals

Una función de activación con el siguiente comportamiento:

• Si la entrada es negativa o cero, el resultado es 0.
• Si la entrada es positiva, el resultado es igual a la entrada.

Por ejemplo:

• Si la entrada es -3, el resultado es 0.
• Si la entrada es +3, el resultado es 3.0.

Este es un gráfico de ReLU:

ReLU es una función de activación muy popular. A pesar de su comportamiento simple, ReLU aún permite que una red neuronal aprenda relaciones no lineales entre atributos y la etiqueta.

modelo de regresión

#fundamentals

Informalmente, un modelo que genera una predicción numérica. (en cambio, un modelo de clasificación genera una predicción de clase). Por ejemplo, los siguientes son todos modelos de regresión:

• Es un modelo que predice el valor de una casa determinada, como 423,000 euros.
• Es un modelo que predice la esperanza de vida de un árbol determinado, como 23.2 años.
• Un modelo que predice la cantidad de lluvia que caerá en una ciudad determinada durante las próximas seis horas, por ejemplo, 0.40 cm.

Los siguientes son dos tipos comunes de modelos de regresión:

• Regresión lineal, que encuentra la línea que mejor ajusta los valores de las etiquetas a los atributos.
• Regresión logística, que genera una probabilidad entre 0.0 y 1.0 de que un sistema generalmente asigne a una predicción de clase.

No todos los modelos que generan predicciones numéricas son modelos de regresión. En algunos casos, una predicción numérica es en realidad solo un modelo de clasificación que tiene nombres de clase numéricos. Por ejemplo, un modelo que predice un código postal numérico es un modelo de clasificación, no un modelo de regresión.

regularización

#fundamentals

Cualquier mecanismo que reduzca el sobreajuste Entre los tipos populares de regularización, se incluyen los siguientes:

• Regularización L₁
• Regularización L₂
• regularización de retirados
• interrupción anticipada (este no es un método de regularización formal, pero puede limitar el sobreajuste de manera efectiva)

La regularización también se puede definir como la penalización en la complejidad de un modelo.

Haz clic en el ícono para obtener notas adicionales.

La regularización es contraintuitiva. Por lo general, aumentar la regularización aumenta la pérdida de entrenamiento, lo cual es confuso, ya que el objetivo no es minimizar la pérdida de entrenamiento.

En realidad, no. El objetivo no es minimizar la pérdida de entrenamiento. El objetivo es realizar predicciones excelentes a partir de ejemplos del mundo real. Es interesante que, aunque aumentar la regularización aumenta la pérdida de entrenamiento, suele ayudar a los modelos a realizar mejores predicciones con los ejemplos del mundo real.

---

tasa de regularización

#fundamentals

Un número que especifica la importancia relativa de la regularización durante el entrenamiento. El aumento de la tasa de regularización reduce el sobreajuste, pero puede reducir el poder predictivo del modelo. Por el contrario, omitir o reducir la tasa de regularización aumenta el sobreajuste.

Haz clic en el ícono para ver los cálculos.

Por lo general, la tasa de regularización se representa como la lambda de la letra griega. En la siguiente ecuación de pérdida simplificada, se muestra la influencia de lambda:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

En el ejemplo anterior, la regularización es cualquier mecanismo de regularización, incluidos los siguientes:

• Regularización L₁
• Regularización L₂

---

ReLU

#fundamentals

Abreviatura de Unidad lineal rectificada.

generación aumentada con recuperación

#fundamentals

Arquitectura de software que se usa comúnmente en aplicaciones de modelos de lenguaje extenso (LLM). Entre las motivaciones comunes para usar la generación aumentada mediante recuperación incluyen:

• Aumentar la exactitud fáctica de las respuestas generadas del modelo
• Darle al modelo acceso al conocimiento con el que no se entrenó
• Cambiar el conocimiento que usa el modelo
• Cómo permitir que el modelo cite fuentes

Por ejemplo, supongamos que una app de química usa la API de PaLM para generar resúmenes relacionados con las consultas de los usuarios. Cuando el backend de la app recibe una consulta, primero busca ("recupera") datos relevantes para la consulta del usuario, agrega ("aumentos") los datos químicos relevantes a la consulta del usuario y le indica al LLM que cree un resumen basado en los datos agregados.

Curva ROC (característica operativa del receptor)

#fundamentals

Gráfico de la tasa de verdaderos positivos en comparación con la tasa de falsos positivos para diferentes umbrales de clasificación en la clasificación binaria.

La forma de una curva ROC sugiere la capacidad de un modelo de clasificación binaria para separar las clases positivas de las negativas. Por ejemplo, supongamos que un modelo de clasificación binaria separa a la perfección todas las clases negativas de todas las positivas:

La curva ROC del modelo anterior se ve de la siguiente manera:

En cambio, en la siguiente ilustración, se muestran los valores de regresión logística sin procesar para un modelo terrible que no puede separar las clases negativas de las positivas en absoluto:

La curva ROC de este modelo se ve de la siguiente manera:

Mientras tanto, en el mundo real, la mayoría de los modelos de clasificación binaria separan las clases positivas y negativas en cierta medida, pero, por lo general, no a la perfección. Por lo tanto, una curva ROC típica se encuentra entre los dos extremos:

En teoría, el punto en una curva ROC más cercano a (0.0,1.0) identifica el umbral ideal de clasificación. Sin embargo, muchos otros problemas del mundo real influyen en la selección del umbral de clasificación ideal. Por ejemplo, tal vez los falsos negativos causan mucho más dolor que los falsos positivos.

Una métrica numérica llamada AUC resume la curva ROC en un valor de punto flotante único.

Raíz cuadrada del error cuadrático medio (RMSE)

#fundamentals

Raíz cuadrada del error cuadrático medio.

S

función sigmoidea

#fundamentals

Función matemática que "comprime" un valor de entrada en un rango restringido, generalmente 0 a 1 o -1 a +1. Es decir, puedes pasar cualquier número (dos, un millón, mil millones negativos, lo que sea) a un sigmoide y el resultado seguirá estando en el rango restringido. El gráfico de la función de activación sigmoidea se ve de la siguiente manera:

La función sigmoidea tiene varios usos en el aprendizaje automático, incluidos los siguientes:

• Convertir el resultado sin procesar de un modelo de regresión logística o regresión multinomial en una probabilidad.
• Actúa como una función de activación en algunas redes neuronales.

Haz clic en el ícono para ver los cálculos.

La función sigmoidea sobre un número de entrada x tiene la siguiente fórmula:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

En el aprendizaje automático, x suele ser una suma ponderada.

---

softmax

#fundamentals

Función que determina las probabilidades para cada clase posible en un modelo de clasificación de clases múltiples. Las probabilidades suman exactamente 1.0. Por ejemplo, en la siguiente tabla, se muestra cómo softmax distribuye varias probabilidades:

La imagen es...	Probabilidad
perro	.85
Cat	.13
caballo	0.02

softmax también se conoce como softmax completo.

Compara esto con el muestreo de candidatos.

Haz clic en el ícono para ver los cálculos.

La ecuación de softmax es de la siguiente manera:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

En el ejemplo anterior, se ilustra lo siguiente:

• $\sigma_i$ es el vector de salida. Cada elemento del vector de salida especifica la probabilidad de este elemento. La suma de todos los elementos en el vector de salida es 1.0. El vector de salida contiene la misma cantidad de elementos que el vector de entrada, $z$.
• $z$ es el vector de entrada. Cada elemento del vector de entrada contiene un valor de punto flotante.
• $K$ es la cantidad de elementos en el vector de entrada (y el vector de salida).

Por ejemplo, supongamos que el vector de entrada es:

[1.2, 2.5, 1.8]

Por lo tanto, softmax calcula el denominador de la siguiente manera:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

Por lo tanto, la probabilidad de softmax de cada elemento es la siguiente:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

Por lo tanto, el vector de salida es el siguiente:

$$\sigma = [0.154, 0.565, 0.281]$$

La suma de los tres elementos en $\sigma$ es 1.0. ¡Vaya!

---

atributo disperso

#language

#fundamentals

Un atributo cuyos valores son predominantemente cero o están vacíos. Por ejemplo, un atributo que contiene un solo valor de 1 y un millón de valores de 0 es disperso. Por el contrario, un atributo denso tiene valores que en su mayoría no son cero ni vacíos.

En el aprendizaje automático, una cantidad sorprendente de atributos son atributos dispersos. Los atributos categóricos suelen ser atributos dispersos. Por ejemplo, de las 300 especies de árboles posibles en un bosque, un solo ejemplo podría identificar solo un árbol de arce. O, entre los millones de videos posibles en una biblioteca de videos, un solo ejemplo podría identificar solo "Casablanca".

En un modelo, por lo general, representas atributos dispersos con la codificación one-hot. Si la codificación one-hot es grande, puedes colocar una capa de incorporación sobre la codificación one-hot para obtener una mayor eficiencia.

representación dispersa

#language

#fundamentals

Almacenar solo las posiciones de elementos que no sean cero en un atributo disperso

Por ejemplo, supongamos que un atributo categórico llamado species identifica las 36 especies de árbol en un bosque en particular. Además, supongamos que cada ejemplo identifica solo una especie.

Podrías usar un vector one-hot para representar las especies arbóreas de cada ejemplo. Un vector one-hot debería contener un único elemento 1 (para representar las especies de árbol en particular de ese ejemplo) y 35 0 (para representar las 35 especies de árboles que no se incluyen en ese ejemplo). Por lo tanto, la representación one-hot de maple podría verse de la siguiente manera:

Por otro lado, la representación dispersa simplemente identificaría la posición de la especie en particular. Si maple está en la posición 24, la representación dispersa de maple simplemente sería:

24

Ten en cuenta que la representación dispersa es mucho más compacta que la representación one-hot.

Nota: No debes pasar una representación dispersa como una entrada directa de atributos a un modelo. En cambio, debes convertir la representación dispersa en una representación de un solo 1 antes de entrenarla.

Haz clic en el ícono para ver un ejemplo un poco más complejo.

Supongamos que cada ejemplo en tu modelo debe representar las palabras de una oración en inglés, pero no su orden. El inglés tiene alrededor de 170,000 palabras, por lo que es un atributo categórico con alrededor de 170,000 elementos. La mayoría de las oraciones en inglés usan una fracción extremadamente pequeña de esas 170,000 palabras, por lo que el conjunto de palabras de un solo ejemplo probablemente serán datos escasos.

Considera la siguiente oración:

My dog is a great dog

Puedes usar una variante de vector one-hot para representar las palabras de esta oración. En esta variante, varias celdas del vector pueden contener un valor distinto de cero. Además, en esta variante, una celda puede contener un número entero distinto de uno. Aunque las palabras “mi”, “es”, “a” y “excelente” aparecen solo una vez en la oración, la palabra “perro” aparece dos veces. El uso de esta variante de vectores one-hot para representar las palabras de esta oración genera el siguiente vector de 170,000 elementos:

Una representación dispersa de la misma oración sería simplemente:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

Haz clic en el ícono si estás confundido.

El término "representación dispersa" confunde a muchas personas porque la representación dispersa no es un vector disperso. En cambio, la representación dispersa es en realidad una representación densa de un vector disperso. La representación del índice de sinónimos es un poco más clara que la "representación dispersa".

---

vector disperso

#fundamentals

Vector cuyos valores son en su mayoría ceros. Consulta también atributo disperso y dispersión.

pérdida al cuadrado

#fundamentals

Sinónimo de pérdida L₂.

static

#fundamentals

Algo que se hace una vez, en lugar de hacerlo de forma continua Los términos estático y sin conexión son sinónimos. Los siguientes son usos comunes de la estática y sin conexión en el aprendizaje automático:

• Un modelo estático (o modelo sin conexión) es un modelo que se entrena una vez y, luego, se usa durante un tiempo.
• El entrenamiento estático (o entrenamiento sin conexión) es el proceso de entrenar un modelo estático.
• La inferencia estática (o inferencia sin conexión) es un proceso en el que un modelo genera un lote de predicciones a la vez.

Compara esto con los valores dinámicos.

inferencia estática

#fundamentals

Sinónimo de inferencia sin conexión.

estacionariedad

#fundamentals

Es un atributo cuyos valores no cambian en una o más dimensiones; generalmente, el tiempo. Por ejemplo, un atributo cuyos valores se ven casi iguales en 2021 y 2023 muestra estacionariedad.

En el mundo real, muy pocos elementos muestran estacionariedad. Incluso los componentes sinónimos de estabilidad (como el nivel del mar) cambian con el tiempo.

Compara esto con la no estacionariedad.

descenso de gradientes estocástico (SGD)

#fundamentals

Algoritmo de descenso de gradientes en el que el tamaño del lote es uno. En otras palabras, el SGD entrena en un solo ejemplo elegido de manera uniforme al azar de un conjunto de entrenamiento.

aprendizaje automático supervisado

#fundamentals

Entrenar un model a partir de model y sus model correspondientes El aprendizaje automático supervisado es similar al aprendizaje de un tema mediante el estudio de un conjunto de preguntas y sus respuestas correspondientes. Después de dominar la asignación entre preguntas y respuestas, el alumno puede proporcionar respuestas a preguntas nuevas (nunca antes vistas) sobre el mismo tema.

Compara esto con el aprendizaje automático no supervisado.

atributo sintético

#fundamentals

Atributo que no está presente entre los atributos de entrada, pero que se ensambla a partir de uno o más de ellos. Los métodos para crear atributos sintéticos incluyen los siguientes:

• Agrupamiento de un atributo continuo en discretizaciones de rango
• Crear una combinación de atributos
• Multiplicación (o división) de un atributo por otros atributos o por sí mismo Por ejemplo, si a y b son atributos de entrada, los siguientes son ejemplos de atributos sintéticos:
  • ab
  • a²
• Aplicación de una función trascendental a un valor de atributo. Por ejemplo, si c es un atributo de entrada, los siguientes son ejemplos de atributos sintéticos:
  • sin(c)
  • ln(c)

Las funciones creadas mediante la normalización o el ajuste por sí solas no se consideran atributos sintéticos.

T

pérdida de prueba

#fundamentals

Una métrica que representa la pérdida de un modelo en comparación con el conjunto de prueba. Cuando compilas un model, por lo general, se intenta minimizar la pérdida de prueba. Esto se debe a que una pérdida de prueba baja es una señal de calidad más fuerte que una pérdida de entrenamiento baja o una pérdida de validación baja.

A veces, una gran brecha entre la pérdida de prueba y la pérdida de entrenamiento o la pérdida de validación sugiere que debes aumentar la tasa de regularización.

modelos

#fundamentals

Es el proceso de determinar los parámetros ideales (pesos y sesgos) que conforman un modelo. Durante el entrenamiento, un sistema lee ejemplos y ajusta los parámetros de manera gradual. El entrenamiento usa cada ejemplo desde unas pocas veces hasta miles de millones de veces.

pérdida de entrenamiento

#fundamentals

Una métrica que representa la pérdida de un modelo durante una iteración de entrenamiento particular. Por ejemplo, supongamos que la función de pérdida es Error cuadrático medio. Quizás la pérdida de entrenamiento (el error cuadrático medio) para la iteración 10 sea 2.2 y la pérdida de entrenamiento de la iteración número 100 sea 1.9.

Una curva de pérdida representa la pérdida de entrenamiento en comparación con la cantidad de iteraciones. Una curva de pérdida proporciona los siguientes consejos sobre el entrenamiento:

• Una pendiente descendente implica que el modelo está mejorando.
• Una pendiente ascendente significa que el modelo está empeorando.
• Una pendiente plana implica que el modelo alcanzó la convergencia.

Por ejemplo, la siguiente curva de pérdida, algo idealizada, se muestra:

• Una pendiente descendente empinada durante las iteraciones iniciales, lo que implica una mejora rápida del modelo
• Una pendiente aplanada gradualmente (pero aún descendente) hasta cerca del final del entrenamiento, lo que implica una mejora continua del modelo a un ritmo un poco más lento que durante las iteraciones iniciales
• Una pendiente plana hacia el final del entrenamiento, lo que sugiere convergencia.

Aunque la pérdida de entrenamiento es importante, consulta también la generalización.

desviación entre el entrenamiento y la entrega

#fundamentals

La diferencia entre el rendimiento de un modelo durante el entrenamiento y el rendimiento de ese mismo modelo durante la entrega.

conjunto de entrenamiento

#fundamentals

Subconjunto del conjunto de datos que se usa para entrenar un modelo.

Por lo general, los ejemplos del conjunto de datos se dividen en los siguientes tres subconjuntos distintos:

• un conjunto de entrenamiento
• Un conjunto de validación
• un conjunto de prueba

Lo ideal sería que cada ejemplo del conjunto de datos pertenezca a solo uno de los subconjuntos anteriores. Por ejemplo, un solo ejemplo no debe pertenecer al conjunto de entrenamiento y al conjunto de validación.

verdadero negativo (VN)

#fundamentals

Ejemplo en el que el modelo predice correctamente la clase negativa. Por ejemplo, el modelo infiere que un mensaje de correo electrónico en particular no es spam, y ese mensaje de correo electrónico realmente no es spam.

verdadero positivo (VP) (VP)

#fundamentals

Ejemplo en el que el modelo predice correctamente la clase positiva. Por ejemplo, el modelo infiere que un mensaje de correo electrónico en particular es spam y que ese mensaje de correo electrónico realmente es spam.

tasa de verdaderos positivos (TPR)

#fundamentals

Sinónimo de recuperación. Es decir:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

La tasa de verdaderos positivos es el eje Y en una curva ROC.

U

subajuste (subajuste)

#fundamentals

Producir un model con poca capacidad predictiva porque el modelo no capturó por completo la complejidad de los datos de entrenamiento. El subajuste puede estar causado por varios problemas, como los siguientes:

• Entrenamiento con el conjunto incorrecto de atributos
• Entrena muy pocos ciclos de entrenamiento o con una tasa de aprendizaje muy baja.
• Entrenamiento con una tasa de regularización demasiado alta
• Proporcionar muy pocas capas ocultas en una red neuronal profunda

ejemplo sin etiqueta

#fundamentals

Un ejemplo que contiene características, pero no una etiqueta. Por ejemplo, en la siguiente tabla se muestran tres ejemplos sin etiqueta de un modelo de valoración de casas, cada uno con tres atributos, pero sin valor de vivienda:

Cantidad de dormitorios	Cantidad de baños	Antigüedad de la casa
3	2	15
2	1	72
4	2	34

En el aprendizaje automático supervisado, los modelos se entrenan con ejemplos etiquetados y realizan predicciones con ejemplos sin etiqueta.

En el aprendizaje semisupervisado y no supervisado, los ejemplos sin etiqueta se usan durante el entrenamiento.

Compara el ejemplo sin etiqueta con el ejemplo etiquetado.

aprendizaje automático no supervisado (no supervisado)

#clustering

#fundamentals

Entrenamiento de un model para encontrar patrones en un conjunto de datos, generalmente sin etiqueta.

El uso más común del aprendizaje automático no supervisado es agrupar en clústeres los datos en grupos de ejemplos similares. Por ejemplo, un algoritmo de aprendizaje automático no supervisado puede agrupar canciones en función de varias propiedades de la música. Los clústeres resultantes pueden convertirse en una entrada para otros algoritmos de aprendizaje automático (por ejemplo, para un servicio de recomendación de música). El agrupamiento en clústeres puede ser útil cuando las etiquetas útiles son escasas o ausentes. Por ejemplo, en dominios como la protección contra el abuso y el fraude, los clústeres pueden ayudar a las personas a comprender mejor los datos.

Compara esto con el aprendizaje automático supervisado.

Haz clic en el ícono para obtener notas adicionales.

Otro ejemplo de aprendizaje automático no supervisado es el análisis de componentes principales (ACP). Por ejemplo, aplicar el PCA en un conjunto de datos con el contenido de millones de carritos de compras podría revelar que los carritos de compras que contienen limones con frecuencia también contienen antiácidos.

---

V

la validación de políticas

#fundamentals

Es la evaluación inicial de la calidad de un modelo. La validación comprueba la calidad de las predicciones de un modelo en comparación con el conjunto de validación.

Debido a que el conjunto de validación difiere del conjunto de entrenamiento, la validación ayuda a protegerte contra el sobreajuste.

Puedes considerar evaluar el modelo con el conjunto de validación como la primera ronda de pruebas y evaluar el modelo con el conjunto de prueba como la segunda ronda de pruebas.

pérdida de validación

#fundamentals

Una métrica que representa la pérdida de un modelo en el conjunto de validación durante una iteración particular del entrenamiento.

Consulta también la curva de generalización.

conjunto de validación

#fundamentals

Subconjunto del conjunto de datos que realiza la evaluación inicial en comparación con un modelo entrenado. Por lo general, el modelo entrenado se evalúa con el conjunto de validación varias veces antes de evaluarlo con el conjunto de prueba.

Por lo general, se dividen los ejemplos del conjunto de datos en los siguientes tres subconjuntos distintos:

• un conjunto de entrenamiento
• un conjunto de validación
• un conjunto de prueba

Lo ideal sería que cada ejemplo del conjunto de datos pertenezca a solo uno de los subconjuntos anteriores. Por ejemplo, un solo ejemplo no debe pertenecer al conjunto de entrenamiento y al conjunto de validación.

M

peso

#fundamentals

Valor que un modelo multiplica por otro. El entrenamiento es el proceso de determinar los pesos ideales de un modelo; la inferencia es el proceso de usar esos pesos aprendidos para hacer predicciones.

Haz clic en el ícono para ver un ejemplo de pesos en un modelo lineal.

Imagina un modelo lineal con dos atributos. Supongamos que el entrenamiento determina las siguientes ponderaciones (y sesgos):

• El sesgo, b, tiene un valor de 2.2
• El peso, w₁ asociado con un atributo es 1.5.
• El peso, w₂ asociado con el otro atributo es 0.4.

Ahora imagina un ejemplo con los siguientes valores de atributo:

• El valor de un atributo, x₁, es 6.
• El valor del otro atributo, x₂, es 10.

Este modelo lineal usa la siguiente fórmula para generar una predicción, y':

$$y' = b + w_1x_1 + w_2x_2$$

Por lo tanto, la predicción es la siguiente:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

Si un peso es 0, el atributo correspondiente no contribuye al modelo. Por ejemplo, si w₁ es 0, el valor de x₁ es irrelevante.

---

suma ponderada

#fundamentals

Es la suma de todos los valores de entrada relevantes multiplicados por sus ponderaciones correspondientes. Por ejemplo, supongamos que las entradas relevantes constan de lo siguiente:

valor de entrada	ingresar peso
2	-1.3
-1	0.6
3	0.4

Por lo tanto, la suma ponderada es la siguiente:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Una suma ponderada es el argumento de entrada de una función de activación.

Z

Normalización de puntuación Z

#fundamentals

Una técnica de escalamiento que reemplaza un valor de atributo sin procesar por un valor de punto flotante que representa la cantidad de desviaciones estándar de la media de ese atributo. Por ejemplo, considera un atributo cuya media es 800 y cuya desviación estándar es 100. En la siguiente tabla, se muestra cómo la normalización de la puntuación Z asignaría el valor sin procesar a su puntuación Z:

Valor sin procesar	Puntaje Z
800	0
950	Más de 1.5
575	-2.25

Luego, el modelo de aprendizaje automático se entrena con las puntuaciones Z para ese atributo en lugar de los valores sin procesar.