Glosario sobre aprendizaje automático

En este glosario se definen los términos generales del aprendizaje automático, además de los términos específicos de TensorFlow.

¿Sabías que?

Para filtrar el glosario, elige un tema del menú desplegable Glosario que se encuentra en la barra de navegación superior. El ícono del pájaro emergente hace referencia a las definiciones dirigidas a los principiantes del AA.

A

ablación

Es una técnica para evaluar la importancia de un atributo o componente cuando lo quita temporalmente de un modelo. Luego, vuelves a entrenar el modelo sin ese atributo o componente. Si el rendimiento del modelo que se vuelve a entrenar es mucho peor, es probable que el atributo o componente que se quitó sea importante.

Por ejemplo, supongamos que entrenas un modelo de clasificación con 10 atributos y logras un 88% de precisión en el conjunto de prueba. Para verificar la importancia del primer atributo, puedes volver a entrenar el modelo con solo los otros nueve atributos. Si el modelo que se volvió a entrenar tiene un rendimiento mucho peor (por ejemplo, una precisión del 55%), es probable que la función que se quitó fuera importante. Por el contrario, si el modelo que se volvió a entrenar funciona igual de bien, es probable que esa función no sea tan importante.

La ablación también puede ayudar a determinar la importancia de los siguientes elementos:

• Componentes más grandes, como un subsistema completo de un sistema de AA más grande
• Procesos o técnicas, como un paso de procesamiento previo de los datos

En ambos casos, observarás cómo cambia (o no cambia) el rendimiento del sistema después de haber quitado el componente.

Pruebas A/B

Forma estadística de comparar dos (o más) técnicas: la A y la B. Por lo general, la A es una técnica existente y la B es una técnica nueva. Las pruebas A/B no solo determinan qué técnica tiene un mejor rendimiento, sino también si la diferencia tiene importancia estadística.

Por lo general, las pruebas A/B comparan una sola métrica en dos técnicas. Por ejemplo, ¿en qué se diferencia la exactitud del modelo para dos técnicas? Sin embargo, las pruebas A/B también pueden comparar cualquier cantidad limitada de métricas.

chip acelerador

#GoogleCloud

Es una categoría de componentes de hardware especializados diseñados para realizar cálculos de claves necesarios para los algoritmos de aprendizaje profundo.

Los chips de aceleradores (o solo aceleradores, para abreviar) pueden aumentar significativamente la velocidad y eficiencia de las tareas de inferencia y entrenamiento en comparación con una CPU de uso general. Son ideales para entrenar redes neuronales y tareas similares con mucha carga de procesamiento.

Estos son algunos ejemplos de chips aceleradores:

• Unidades de procesamiento tensorial (TPU) de Google con hardware dedicado para el aprendizaje profundo
• Las GPU de NVIDIA que, aunque están diseñadas inicialmente para procesamiento de gráficos, están diseñadas para habilitar el procesamiento paralelo, lo que puede aumentar significativamente la velocidad de procesamiento.

accuracy

#fundamentals

Es la cantidad de predicciones de clasificación correctas dividida por la cantidad total de predicciones. Es decir:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

Por ejemplo, un modelo que hizo 40 predicciones correctas y 10 predicciones incorrectas tendría la siguiente exactitud:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

La clasificación binaria proporciona nombres específicos para las diferentes categorías de predicciones correctas y predicciones incorrectas. Por lo tanto, la fórmula de exactitud para la clasificación binaria es la siguiente:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

Donde:

• VP es la cantidad de verdaderos positivos (predicciones correctas).
• VN es la cantidad de verdaderos negativos (predicciones correctas).
• FP es la cantidad de falsos positivos (predicciones incorrectas).
• FN es la cantidad de falsos negativos (predicciones incorrectas).

Comparar y contrastar la precisión con la precisión y la recuperación.

Haz clic en el ícono de notas adicionales.

Aunque es una métrica valiosa en algunas situaciones, la exactitud es muy engañosa para otras. En particular, la exactitud suele ser una métrica deficiente para evaluar modelos de clasificación que procesan conjuntos de datos con desequilibrio de clases.

Por ejemplo, supongamos que la nieve cae solo 25 días por siglo en una ciudad subtropical determinada. Dado que los días sin nieve (la clase negativa) superan en gran medida los días con nieve (la clase positiva), el conjunto de datos de nieve de esta ciudad está desequilibrado. Imagina un modelo de clasificación binaria que se supone que predice si hay nieve o no nieve todos los días, pero que simplemente predice “ninguna nieve” todos los días. Este modelo es muy preciso, pero no tiene poder predictivo. En la siguiente tabla, se resumen los resultados de un siglo de predicciones:

Categoría	Número
VP	0
VN	36500
FP	25
FN	0

Por lo tanto, la exactitud de este modelo es la siguiente:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

Aunque una exactitud del 99.93% parece un porcentaje impresionante, en realidad el modelo no tiene poder predictivo.

Por lo general, la precisión y la recuperación son métricas más útiles que la exactitud para evaluar modelos entrenados con conjuntos de datos desequilibrados.

---

acción

#rl

En el aprendizaje por refuerzo, el mecanismo mediante el cual el agente hace la transición entre los estados del entorno. El agente elige la acción mediante una política.

función de activación

#fundamentals

Función que permite que las redes neuronales aprendan relaciones no lineales (complejas) entre los atributos y la etiqueta.

Entre las funciones de activación más populares, se incluyen las siguientes:

• ReLU
• Sigmoide

Los diagramas de las funciones de activación nunca son líneas rectas únicas. Por ejemplo, el diagrama de la función de activación de ReLU consta de dos líneas rectas:

Un trazado de la función de activación sigmoidea se ve de la siguiente manera:

Haz clic en el ícono para ver un ejemplo.

En una red neuronal, las funciones de activación manipulan la suma ponderada de todas las entradas a una neurona. Para calcular una suma ponderada, la neurona suma los productos de los valores y pesos relevantes. Por ejemplo, supongamos que la entrada relevante para una neurona consta de lo siguiente:

valor de entrada	peso de entrada
2	-1,3
-1	0.6
3	0.4

Por lo tanto, la suma ponderada es la siguiente:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Supongamos que el diseñador de esta red neuronal elige la función sigmoidea como la función de activación. En ese caso, la neurona calcula el sigmoide de -2.0, que es aproximadamente 0.12. Por lo tanto, la neurona pasa 0.12 (en lugar de -2.0) a la siguiente capa de la red neuronal. En la siguiente figura, se muestra la parte relevante del proceso:

---

aprendizaje activo

Un enfoque de entrenamiento en el que el algoritmo elige algunos de los datos sobre los que aprende. El aprendizaje activo es particularmente valioso cuando los ejemplos etiquetados son escasos o costosos de obtener. En lugar de buscar a ciegas un rango diverso de ejemplos etiquetados, un algoritmo de aprendizaje activo busca de forma selectiva el rango particular de ejemplos que necesita para aprender.

AdaGrad

Es un algoritmo de descenso de gradientes sofisticado que reajusta los gradientes de cada parámetro y le otorga a cada parámetro una tasa de aprendizaje independiente. Para obtener una explicación completa, consulta este artículo de AdaGrad.

agente

#rl

En el aprendizaje por refuerzo, la entidad que usa una política para maximizar el retorno esperado de la transición entre los estados del entorno.

En términos más generales, un agente es un software que planifica y ejecuta de forma autónoma una serie de acciones en pos de un objetivo, con la capacidad de adaptarse a los cambios en su entorno. Por ejemplo, los agentes basados en LLM pueden usar el LLM para generar un plan, en lugar de aplicar una política de aprendizaje por refuerzo.

agrupamiento aglomerado

#clustering

Consulta agrupamiento en clústeres jerárquico.

detección de anomalías

Proceso de identificación de valores atípicos. Por ejemplo, si la media para un atributo determinado es 100 con una desviación estándar de 10, la detección de anomalías debe marcar un valor de 200 como sospechoso.

AR

Abreviatura de realidad aumentada.

área bajo la curva de PR

Consulta AUC de PR (área bajo la curva de PR).

área bajo la curva ROC

Consulta AUC (área bajo la curva ROC).

inteligencia artificial general

Un mecanismo no humano que demuestra una amplia variedad de soluciones de problemas, creatividad y adaptabilidad. Por ejemplo, un programa que demuestra la inteligencia general artificial podría traducir texto, componer sinfonías y destacarse en juegos que aún no se inventaron.

se cree erróneamente

#fundamentals

Es un programa o model no humano que puede resolver tareas sofisticadas. Por ejemplo, los programas o modelos que traducen textos o que identifican enfermedades a partir de imágenes radiológicas son muestras de inteligencia artificial.

De manera formal, el aprendizaje automático es un subcampo de la inteligencia artificial. Sin embargo, en los últimos años, algunas organizaciones comenzaron a usar los términos inteligencia artificial y aprendizaje automático de manera indistinta.

Attention,

#language

Mecanismo usado en una red neuronal que indica la importancia de una palabra en particular o una parte de una palabra. La atención comprime la cantidad de información que un modelo necesita para predecir el siguiente token o palabra. Un mecanismo de atención típico puede consistir en una suma ponderada sobre un conjunto de entradas, en la que otra parte de la red neuronal calcula la ponderación de cada entrada.

Consulta también la autoatención y la autoatención de varias cabezas, que son los componentes básicos de los Transformers.

atributo

#fairness

Sinónimo de feature.

En la equidad en el aprendizaje automático, los atributos suelen hacer referencia a características relativas a los individuos.

muestreo de atributos

#df

Una táctica para entrenar un bosque de decisión en el que cada árbol de decisión considera solo un subconjunto aleatorio de atributos posibles cuando aprende la condición. Por lo general, se muestra un subconjunto diferente de funciones para cada nodo. Por el contrario, cuando se entrena un árbol de decisión sin el muestreo de atributos, se consideran todos los atributos posibles para cada nodo.

AUC (área bajo la curva ROC)

#fundamentals

Un número entre 0.0 y 1.0 que representa la capacidad de un modelo de clasificación binaria para separar clases positivas de clases negativas. Cuanto más cerca esté el AUC de 1.0, mejor será la capacidad del modelo para separar clases entre sí.

Por ejemplo, en la siguiente ilustración, se muestra un modelo clasificador que separa a la perfección las clases positivas (óvalos verdes) de las clases negativas (rectángulos púrpuras). Este modelo poco realista tiene un AUC de 1.0:

Por el contrario, en la siguiente ilustración, se muestran los resultados de un modelo clasificador que generó resultados aleatorios. Este modelo tiene un AUC de 0.5:

Sí, el modelo anterior tiene un AUC de 0.5, no de 0.0.

La mayoría de los modelos se encuentran entre los dos extremos. Por ejemplo, el siguiente modelo separa los positivos de los negativos de alguna manera y, por lo tanto, tiene un AUC entre 0.5 y 1.0:

El AUC ignora cualquier valor que establezcas para el umbral de clasificación. En cambio, el AUC considera todos los umbrales de clasificación posibles.

Haz clic en el ícono para obtener más información sobre la relación entre las curvas AUC y ROC.

El AUC representa el área bajo una curva ROC. Por ejemplo, la curva ROC para un modelo que separa a la perfección los positivos de los negativos se ve de la siguiente manera:

El AUC es el área de la región gris en la ilustración anterior. En este caso inusual, el área es simplemente la longitud de la región gris (1.0) multiplicada por el ancho de la región gris (1.0). Por lo tanto, el producto de 1.0 y 1.0 produce un AUC de exactamente 1.0, que es la puntuación AUC más alta posible.

Por el contrario, la curva ROC para un clasificador que no puede separar clases en absoluto es la siguiente. El área de esta región gris es 0.5.

Una curva de ROC más típica se ve aproximadamente de la siguiente manera:

Sería muy minucioso calcular el área bajo esta curva de forma manual, por lo que un programa generalmente calcula la mayoría de los valores de AUC.

---

Haz clic en el ícono para obtener una definición más formal del AUC.

El AUC es la probabilidad de que un clasificador tenga más certeza de que un ejemplo positivo elegido al azar sea realmente positivo en comparación con que un ejemplo negativo elegido al azar sea positivo.

---

realidad aumentada

#image

Es una tecnología que superpone una imagen generada por computadora en la vista de un usuario del mundo real, lo que proporciona una vista compuesta.

codificador automático

#language

#image

Un sistema que aprende a extraer la información más importante de la entrada. Los codificadores automáticos son una combinación de un codificador y un decodificador. Los codificadores automáticos se basan en el siguiente proceso de dos pasos:

1. El codificador asigna la entrada a un formato (intermedio) con pérdida de dimensión baja.
2. El decodificador compila una versión con pérdida de la entrada original asignando el formato de menor dimensión al formato de entrada original de mayor dimensión.

Los codificadores automáticos se entrenan de extremo a extremo haciendo que el decodificador intente reconstruir la entrada original a partir del formato intermedio del codificador lo más cerca posible. Debido a que el formato intermedio es más pequeño (de menor dimensión) que el original, el codificador automático se ve obligado a aprender qué información de la entrada es esencial, y el resultado no será perfectamente idéntico a la entrada.

Por ejemplo:

• Si los datos de entrada son un gráfico, la copia no exacta sería similar al gráfico original, pero algo modificado. Es posible que la copia no exacta quite el ruido del gráfico original o rellene algunos píxeles faltantes.
• Si los datos de entrada son texto, un codificador automático generaría texto nuevo que imitaría el texto original (pero no es idéntico al mismo).

Consulta también los codificadores automáticos variacionales.

sesgo de automatización

#fairness

Cuando una persona que toma decisiones favorece las recomendaciones hechas por un sistema automatizado de toma de decisiones sobre la información obtenida sin automatización, incluso cuando el sistema automatizado de toma de decisiones comete errores.

AutoML

Cualquier proceso automatizado para compilar modelos de aprendizaje automático AutoML puede realizar automáticamente tareas como las siguientes:

• Busca el modelo más adecuado.
• Ajustar hiperparámetros.
• Preparar datos (incluida la ingeniería de atributos)
• Implementa el modelo resultante.

AutoML es útil para los científicos de datos porque puede ahorrarles tiempo y esfuerzo en el desarrollo de canalizaciones de aprendizaje automático y mejorar la exactitud de las predicciones. También es útil para los inexpertos, ya que permite que las tareas complicadas de aprendizaje automático sean más accesibles para ellos.

modelo de regresión automático

#language

#image

#IAgenerativa

model que infiere una predicción a partir de sus propias predicciones anteriores. Por ejemplo, los modelos de lenguaje de regresión automática predicen el siguiente token según los tokens que se predijeron con anterioridad. Todos los modelos grandes de lenguaje basados en Transformer son de regresión automática.

Por el contrario, los modelos de imagen basados en GAN no suelen ser autorregresivos, ya que generan una imagen en un solo pase hacia delante y no de manera iterativa en pasos. Sin embargo, algunos modelos de generación de imágenes son de regresión automáticos porque generan una imagen en pasos.

pérdida auxiliar

Una función de pérdida, que se usa junto con la función de pérdida principal de un modelo de red neuronal que ayuda a acelerar el entrenamiento durante las primeras iteraciones, cuando los pesos se inicializan de forma aleatoria.

Las funciones de pérdida auxiliares envían gradientes eficaces a las capas anteriores. Esto facilita la convergencia durante el entrenamiento mediante la lucha contra el problema de desvanecimiento del gradiente.

precisión promedio

Una métrica para resumir el rendimiento de una secuencia clasificada de resultados. Para calcular la precisión promedio, se toma el promedio de los valores de precisión de cada resultado relevante (cada resultado en la lista clasificada en la que la recuperación aumenta en relación con el resultado anterior).

Consulta también Área bajo la curva de PR.

condición alineada con el eje

#df

En un árbol de decisiones, es una condición que involucra solo un atributo. Por ejemplo, si el área es un componente, la siguiente condición es alineada con el eje:

area > 200

Compara esto con la condición oblicua.

B

propagación inversa

#fundamentals

Algoritmo que implementa el descenso de gradientes en redes neuronales.

El entrenamiento de una red neuronal implica muchas iteraciones del siguiente ciclo de dos pases:

1. Durante el movimiento de avance, el sistema procesa un lote de ejemplos para generar predicciones. El sistema compara cada predicción con cada valor de label. La diferencia entre la predicción y el valor de la etiqueta es la pérdida de ese ejemplo. El sistema agrega las pérdidas de todos los ejemplos para calcular la pérdida total del lote actual.
2. Durante el retroceso (propagación inversa), el sistema ajusta los pesos de todas las neuronas en todas las capas ocultas para reducir la pérdida.

Las redes neuronales a menudo contienen muchas neuronas en muchas capas ocultas. Cada una de esas neuronas contribuye a la pérdida general de diferentes maneras. La propagación inversa determina si se deben aumentar o disminuir los pesos aplicados a neuronas específicas.

La tasa de aprendizaje es un multiplicador que controla el grado en el que cada avance aumenta o disminuye cada ponderación. Una tasa de aprendizaje grande aumentará o disminuirá cada peso más que una tasa de aprendizaje pequeña.

En términos de cálculo, la propagación inversa implementa la regla de la cadena del cálculo. Es decir, la propagación inversa calcula la derivada parcial del error con respecto a cada parámetro.

Hace años, los profesionales del AA tenían que escribir código para implementar la propagación inversa. Las APIs de AA modernas como TensorFlow ahora implementan la propagación inversa por ti. ¡Vaya!

bolsa

#df

Es un método para entrenar un ensamble en el que cada modelo constituyente entrena en un subconjunto aleatorio de ejemplos de entrenamiento muestreados con reemplazo. Por ejemplo, un bosque aleatorio es una colección de árboles de decisión entrenados con el empaquetado.

El término bolsos es la forma abreviada de bootstrap aggregating.

bolsa de palabras

#language

Es una representación de las palabras en una frase o pasaje, sin importar el orden. Por ejemplo, una bolsa de palabras representa las siguientes tres frases de forma idéntica:

• el perro salta
• salta el perro
• perro salta el

Cada palabra se asigna a un índice en un vector disperso, donde el vector tiene un índice para cada palabra del vocabulario. Por ejemplo, la frase el perro salta se asigna a un vector de atributos con valores distintos de cero en los tres índices correspondientes a las palabras el, perro y salta. El valor distinto de cero puede ser cualquiera de los siguientes:

• Un 1 para indicar la presencia de una palabra.
• Es la cantidad de veces que una palabra aparece en la bolsa. Por ejemplo, si la frase fuera el perro granate es un perro con pelaje granate, entonces tanto negro como perro se representarían como 2, mientras que las demás palabras se representarían con un 1.
• Algún otro valor, como el logaritmo de la cantidad de veces que una palabra aparece en la bolsa

modelo de referencia

model que se usa como punto de referencia para comparar qué tan bueno es el rendimiento de otro modelo (por lo general, uno más complejo). Por ejemplo, un modelo de regresión logística podría servir como un buen modelo de referencia para un modelo profundo.

Para un problema particular, el modelo de referencia ayuda a los desarrolladores de modelos a cuantificar el rendimiento mínimo esperado que un modelo nuevo debe alcanzar para que sea útil.

lote

#fundamentals

El conjunto de ejemplos que se usa en una iteración de entrenamiento. El tamaño del lote determina la cantidad de ejemplos de un lote.

Consulta el ciclo de entrenamiento para obtener una explicación de cómo se relaciona un lote con un ciclo de entrenamiento.

inferencia por lotes

#TensorFlow

#GoogleCloud

Es el proceso de inferir predicciones en varios ejemplos sin etiqueta divididos en subconjuntos más pequeños (“lotes”).

La inferencia por lotes puede aprovechar las funciones de paralelización de los chips aceleradores. Es decir, varios aceleradores pueden inferir predicciones de forma simultánea en lotes de ejemplos sin etiquetar, lo que aumenta drásticamente la cantidad de inferencias por segundo.

normalización por lotes

Normaliza la entrada o la salida de las funciones de activación en una capa oculta. La normalización por lotes puede proporcionar los siguientes beneficios:

• Haz que las redes neuronales sean más estables protegiendo contra pesos atípicos.
• Habilita tasas de aprendizaje más altas, lo que puede acelerar el entrenamiento.
• Reduce el sobreajuste.

tamaño del lote

#fundamentals

La cantidad de ejemplos en un lote. Por ejemplo, si el tamaño del lote es de 100, el modelo procesa 100 ejemplos por iteración.

Las siguientes son estrategias populares de tamaño de lotes:

• Descenso de gradientes estocástico (SGD), en el que el tamaño del lote es 1.
• Lote completo, en el que el tamaño del lote es la cantidad de ejemplos del conjunto de entrenamiento completo. Por ejemplo, si el conjunto de entrenamiento contiene un millón de ejemplos, el tamaño del lote sería de un millón de ejemplos. Por lo general, los lotes completos son una estrategia ineficiente.
• minilote en el que el tamaño del lote suele ser entre 10 y 1,000. Los minilotes suelen ser la estrategia más eficiente.

red neuronal bayesiana

Es una red neuronal de probabilidad que representa la incertidumbre en ponderaciones y resultados. Por lo general, un modelo de regresión de red neuronal estándar predice un valor escalar; por ejemplo, un modelo estándar predice el precio de una casa de 853,000. Por el contrario, una red neuronal bayesiana predice una distribución de valores; por ejemplo, un modelo bayesiano predice el precio de una casa en 853,000 con una desviación estándar de 67,200.

Las redes neuronales bayesianas se basan en el Teorema de Bayes para calcular la incertidumbre de los pesos y las predicciones. Una red neuronal bayesiana puede ser útil cuando es importante cuantificar la incertidumbre, como en modelos relacionados con la industria farmacéutica. Las redes neuronales bayesianas también pueden ayudar a prevenir el sobreajuste.

Optimización bayesiana

Es una técnica del modelo de regresión probabilístico para optimizar funciones objetivas de costos computacionales mediante la optimización de un subrogado que cuantifica la incertidumbre con una técnica de aprendizaje bayesiano. Dado que la optimización bayesiana es muy costosa, por lo general, se usa para optimizar tareas costosas de evaluar que tienen una pequeña cantidad de parámetros, como la selección de hiperparámetros.

Ecuación de Bellman

#rl

En el aprendizaje por refuerzo, la función Q óptima cumple con la siguiente identidad:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Los algoritmos de aprendizaje por refuerzo aplican esta identidad para crear Q-learning a través de la siguiente regla de actualización:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Además del aprendizaje por refuerzo, la ecuación de Bellman se usa en la programación dinámica. Consulta la entrada de Wikipedia sobre la ecuación de Bellman.

BERT (representaciones de codificador bidireccional de transformadores)

#language

Arquitectura de modelo para la representación de texto. Un modelo BERT entrenado puede actuar como parte de un modelo más grande para la clasificación de texto, o bien otras tareas de AA.

BERT tiene las siguientes características:

• Usa la arquitectura de Transformer y, por lo tanto, se basa en la autoatención.
• Usa la parte del codificador del transformador. El trabajo del codificador es producir buenas representaciones de texto, en lugar de realizar una tarea específica como la clasificación.
• Es bidireccional.
• Usa el enmascaramiento para el entrenamiento no supervisado.

Las variantes de BERT incluyen las siguientes:

• ALBERT, que es el acrónimo de A Light BERT.
• LaBSE.

Consulta Código abierto de BERT: Entrenamiento previo de vanguardia para procesamiento de lenguaje natural para obtener una descripción general de BERT.

sesgo (ética/equidad)

#fairness

#fundamentals

1. Estereotipo, prejuicio o preferencia de objetos, personas o grupos por sobre otros. Estos sesgos pueden afectar la recopilación y la interpretación de los datos, el diseño de un sistema y la forma en que los usuarios interactúan con él. Entre las formas de este tipo de sesgo se incluyen las siguientes:

• sesgo de automatización
• sesgo de confirmación
• sesgo del investigador
• sesgo de correspondencia
• sesgo implícito
• sesgo endogrupal
• sesgo de homogeneidad de los demás

2. Error sistemático debido a un procedimiento de muestreo o de elaboración de informes. Entre las formas de este tipo de sesgo se incluyen las siguientes:

• sesgo de cobertura
• sesgo de no respuesta
• sesgo de participación
• sesgo de reporte
• sesgo muestral
• sesgo de selección

No se debe confundir con el término de sesgo en los modelos de aprendizaje automático o con el sesgo de predicción.

término de sesgo (matemática) o sesgo

#fundamentals

Una intercepción o desplazamiento desde un origen. El sesgo es un parámetro en los modelos de aprendizaje automático, que se simboliza mediante una de las siguientes opciones:

• b
• s₀

Por ejemplo, la ordenada al origen es la b en la siguiente fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

En una línea bidimensional simple, sesgo simplemente significa “intersección en y”. Por ejemplo, el sesgo de la línea en la siguiente ilustración es 2.

El sesgo existe porque no todos los modelos comienzan en el origen (0,0). Por ejemplo, supongamos que la entrada a un parque de atracciones cuesta 2 euros y 0.5 euros adicionales por cada hora de estadía de un cliente. Por lo tanto, un modelo que asigna el costo total tiene un sesgo de 2 porque el costo más bajo es de 2 euros.

No se debe confundir el sesgo con el sesgo en la ética y la equidad ni con el sesgo de predicción.

bidireccional

#language

Término usado para describir un sistema que evalúa el texto que precede y sigue una sección de texto objetivo. Por el contrario, un sistema unidireccional solo evalúa el texto que antecede a una sección de texto objetivo.

Por ejemplo, considera un modelo de lenguaje enmascarado que debe determinar las probabilidades de la palabra o las palabras que representan el subrayado en la siguiente pregunta:

¿Qué _____ contigo?

Un modelo de lenguaje unidireccional tendría que basar sus probabilidades solo en el contexto proporcionado por las palabras “qué”, “es” y “el”. Por el contrario, un modelo de lenguaje bidireccional también podría obtener contexto de “con” y “tú”, lo que podría ayudar al modelo a generar mejores predicciones.

modelo de lenguaje bidireccional

#language

Es un modelo de idioma que determina la probabilidad de que un token determinado esté presente en una ubicación determinada en un extracto de texto según el texto anterior y siguiente.

bigrama

#seq

#language

n-grama en el que n=2.

clasificación binaria

#fundamentals

Un tipo de tarea de clasificación que predice una de dos clases mutuamente excluyentes:

• la clase positiva
• la clase negativa

Por ejemplo, los siguientes dos modelos de aprendizaje automático realizan cada una clasificación binaria:

• Modelo que determina si los mensajes de correo electrónico son spam (la clase positiva) o no spam (la clase negativa).
• Modelo que evalúa los síntomas médicos para determinar si una persona tiene una enfermedad en particular (la clase positiva) o no (la clase negativa).

Compara esto con la clasificación de clases múltiples.

Consulta también la regresión logística y el umbral de clasificación.

condición binaria

#df

En un árbol de decisiones, es una condición que solo tiene dos resultados posibles, generalmente sí o no. Por ejemplo, la siguiente es una condición binaria:

temperature >= 100

Compara esto con la condición no binaria.

discretización

Sinónimo de agrupamiento.

BLEU (Bilingual Evaluation Understudy)

#language

Una puntuación entre 0.0 y 1.0 inclusive, que indica la calidad de una traducción entre dos idiomas humanos (por ejemplo, entre inglés y ruso). Una puntuación BLEU de 1.0 indica una traducción perfecta; una puntuación BLEU de 0.0 indica una traducción terrible.

potenciando

Técnica de aprendizaje automático que combina de forma iterativa un conjunto de clasificadores simples y no muy precisos (conocidos como clasificadores "débiles") en un clasificador con alta precisión (un clasificador "fuerte") mediante un aumento de ponderación en los ejemplos que el modelo está clasificando de forma errónea.

cuadro de límite

#image

En una imagen, las coordenadas (x, y) de un rectángulo alrededor de un área de interés, como el perro en la imagen de abajo.

emisión

En una operación matemática de matrices, expansión de la forma de un operando a dimensiones compatibles para esa operación. Por ejemplo, el álgebra lineal requiere que los dos operandos en una operación de suma de matrices tengan las mismas dimensiones. En consecuencia, no puedes agregar una matriz de forma (m, n) a un vector de longitud n. La transmisión permite esta operación mediante la expansión virtual del vector de longitud n en una matriz de forma (m, n) replicando los mismos valores en cada columna.

Por ejemplo, dadas las siguientes definiciones, el álgebra lineal prohíbe A+B porque A y B tienen dimensiones diferentes:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

Sin embargo, la transmisión permite la operación A+B expandiendo B virtualmente a lo siguiente:

 [[2, 2, 2],
  [2, 2, 2]]

Por lo tanto, A+B ahora es una operación válida:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Consulta la siguiente descripción de emisión en NumPy para obtener más detalles.

agrupamiento

#fundamentals

Convertir un solo atributo en varios atributos binarios llamados buckets o contenedores, por lo general, se basa en un rango de valores. Por lo general, el atributo cortado es un atributo continuo.

Por ejemplo, en lugar de representar la temperatura como una sola función continua de punto flotante, podrías dividir los rangos de temperatura en buckets discretos, como los siguientes:

• <= 10 grados Celsius sería el bucket "frío".
• Si la temperatura es de 11 a 24 grados Celsius, el intervalo "temperado" se establecería.
• >= 25 grados Celsius sería el bucket "cálido".

El modelo tratará todos los valores del mismo bucket de manera idéntica. Por ejemplo, los valores 13 y 22 están en el bucket templado, por lo que el modelo trata los dos valores de manera idéntica.

Haz clic en el ícono de notas adicionales.

Si representas la temperatura como un atributo continuo, el modelo la trata como un solo atributo. Si representas la temperatura como tres buckets, el modelo trata cada uno como un atributo independiente. Es decir, un modelo puede aprender relaciones independientes de cada bucket para la etiqueta. Por ejemplo, un modelo de regresión lineal puede aprender pesos independientes para cada bucket.

Aumentar la cantidad de buckets hace que tu modelo sea más complicado, ya que aumenta la cantidad de relaciones que tu modelo debe aprender. Por ejemplo, los buckets fríos, templados y calientes son tres características distintas con las que tu modelo debe entrenarse. Si decides agregar dos buckets más, por ejemplo, con congelamiento y en caliente, tu modelo ahora tendrá que entrenar en cinco atributos distintos.

¿Cómo sabes cuántos buckets crear o cuáles deberían ser los rangos para cada bucket? Por lo general, las respuestas requieren mucha experimentación.

---

C

capa de calibración

Ajuste posterior a la predicción, generalmente para dar cuenta del sesgo de predicción. Las predicciones ajustadas y las probabilidades deben coincidir con la distribución de un conjunto de etiquetas observado.

generación de candidatos

#recsystems

Corresponde al conjunto inicial de recomendaciones elegidas por un sistema de recomendaciones. Por ejemplo, considera una librería que ofrece 100,000 títulos. La fase de generación de candidatos crea una lista mucho más pequeña de libros adecuados para un usuario en particular, digamos 500. Pero incluso 500 libros son demasiados para recomendar a un usuario. Las fases posteriores y más costosas de un sistema de recomendación (como la puntuación y la reclasificación) reducen esas 500 recomendaciones a un conjunto de recomendaciones mucho más pequeño y útil.

muestreo de candidatos

Una optimización del tiempo de entrenamiento que calcula una probabilidad para todas las etiquetas positivas con, por ejemplo, softmax, pero solo para una muestra aleatoria de etiquetas negativas. Por ejemplo, en un ejemplo con las etiquetas beagle y perro, el muestreo de candidatos calcula las probabilidades predichas y los términos de pérdida correspondientes para lo siguiente:

• beagle
• perro
• un subconjunto aleatorio de las clases negativas restantes (por ejemplo, cat, lollipop, fence).

La idea es que las clases negativas pueden aprender del refuerzo negativo menos frecuente, siempre que las clases positivas siempre obtengan un refuerzo positivo adecuado y esto se observa de forma empírica.

El muestreo de candidatos es más eficiente en términos de procesamiento que los algoritmos de entrenamiento que calculan predicciones para todas las clases negativas, en especial cuando la cantidad de clases negativas es muy grande.

datos categóricos

#fundamentals

Atributos que tienen un conjunto específico de valores posibles. Por ejemplo, considera un atributo categórico llamado traffic-light-state, que solo puede tener uno de los siguientes tres valores posibles:

• red
• yellow
• green

Cuando se representa traffic-light-state como un atributo categórico, un modelo puede aprender los diferentes impactos de red, green y yellow en el comportamiento del controlador.

A veces, los atributos categóricos se denominan atributos discretos.

Compara esto con los datos numéricos.

modelo causal de lenguaje

#language

Sinónimo de modelo unidireccional de lenguaje.

Consulta el modelo de lenguaje bidireccional para contrastar diferentes enfoques direccionales en el modelado de lenguaje.

centroid

#clustering

El centro de un clúster, según lo determinado por un algoritmo k-means o k-median. Por ejemplo, si k es 3, entonces el algoritmo k-means o k-mediana encuentra 3 centroides.

agrupamiento en clústeres basado en centroides

#clustering

Es una categoría de algoritmos de agrupamiento en clústeres que organiza datos en clústeres no jerárquicos. k-means es el algoritmo de agrupamiento en clústeres basado en centroides más utilizado.

Compara esto con algoritmos de agrupamiento en clústeres jerárquico.

cadena de pensamientos

#language

#IAgenerativa

Es una técnica de ingeniería de instrucciones que fomenta que un modelo grande de lenguaje (LLM) explique su razonamiento, paso a paso. Por ejemplo, considera la siguiente instrucción y presta especial atención a la segunda oración:

¿Cuántas fuerzas g experimentaría un conductor en un automóvil que va de 0 a 96 kilómetros por hora en 7 segundos? En la respuesta, muestra todos los cálculos relevantes.

Es probable que la respuesta del LLM tenga las siguientes características:

• Muestra una secuencia de fórmulas físicas, ingresando los valores 0, 60 y 7 en los lugares adecuados.
• Explica por qué eligió esas fórmulas y qué significan las distintas variables.

La indicación de cadena de pensamiento fuerza al LLM a realizar todos los cálculos, lo que podría conducir a una respuesta más correcta. Además, las indicaciones de cadena de pensamientos permiten al usuario examinar los pasos del LLM para determinar si la respuesta tiene sentido o no.

chatear

#language

#IAgenerativa

El contenido de un diálogo de ida y vuelta con un sistema de AA, por lo general, un modelo grande de lenguaje. La interacción anterior en un chat (lo que escribiste y cómo respondió el modelo de lenguaje extenso) se convierte en el contexto para las partes posteriores del chat.

Un chatbot es una aplicación de un modelo grande de lenguaje.

checkpoint

Datos que capturan el estado de los parámetros de un modelo en una iteración de entrenamiento particular. Los puntos de control permiten exportar pesos del modelo o realizar entrenamientos en varias sesiones. Los puntos de control también permiten que el entrenamiento continúe después de los errores (por ejemplo, la interrupción de trabajos).

Cuando se realiza el ajuste, el punto de partida para entrenar el modelo nuevo será un punto de control específico del modelo previamente entrenado.

clase

#fundamentals

Es una categoría a la que puede pertenecer una etiqueta. Por ejemplo:

• En un modelo de clasificación binaria que detecta spam, las dos clases pueden ser spam y no spam.
• En un modelo de clasificación de clases múltiples que identifica razas de perros, las clases pueden ser poodle, beagle, pug, etcétera.

Un modelo de clasificación predice una clase. Por el contrario, un modelo de regresión predice un número en lugar de una clase.

modelo de clasificación

#fundamentals

model cuya predicción es una model. Por ejemplo, los siguientes son todos modelos de clasificación:

• Un modelo que predice el idioma de una oración de entrada (¿francés? ¿Español? italiano).
• Un modelo que predice especies de árboles (¿Maple? Oak? ¿Baobab?).
• Modelo que predice la clase positiva o negativa de una enfermedad en particular.

Por el contrario, los modelos de regresión predicen números en lugar de clases.

Los siguientes son dos tipos comunes de modelos de clasificación:

• clasificación binaria
• clasificación de clases múltiples

umbral de clasificación

#fundamentals

En una clasificación binaria, un número entre 0 y 1 que convierte el resultado sin procesar de un modelo de regresión logística en una predicción de la clase positiva o la clase negativa. Ten en cuenta que el umbral de clasificación es un valor que elige una persona, no un valor elegido por el entrenamiento de modelos.

Un modelo de regresión logística da como resultado un valor sin procesar entre 0 y 1. Luego, haz lo siguiente:

• Si este valor sin procesar es mayor que el umbral de clasificación, se predice la clase positiva.
• Si este valor sin procesar es menor que el umbral de clasificación, se predice la clase negativa.

Por ejemplo, supongamos que el umbral de clasificación es 0.8. Si el valor sin procesar es 0.9, el modelo predice la clase positiva. Si el valor sin procesar es 0.7, el modelo predice la clase negativa.

La elección del umbral de clasificación influye en gran medida en la cantidad de falsos positivos y falsos negativos.

Haz clic en el ícono de notas adicionales.

A medida que los modelos o los conjuntos de datos evolucionan, a veces los ingenieros también cambian el umbral de clasificación. Cuando cambia el umbral de clasificación, las predicciones de clase positivas pueden convertirse repentinamente en clases negativas, y viceversa.

Por ejemplo, considera un modelo de predicción de enfermedades de clasificación binaria. Supongamos que, cuando el sistema se ejecuta en el primer año, sucede lo siguiente:

• El valor sin procesar para un paciente en particular es de 0.95.
• El umbral de clasificación es 0.94.

Por lo tanto, el sistema diagnostica la clase positiva. (El paciente jadea: "¡Oh, no! Estoy enfermo").

Un año después, es posible que los valores ahora tengan el siguiente aspecto:

• El valor sin procesar para el mismo paciente permanece en 0.95.
• El umbral de clasificación cambia a 0.97.

Por lo tanto, el sistema ahora reclasifica a ese paciente como la clase negativa. ("¡Feliz día! No estoy enfermo"). Mismo paciente. Diagnóstico diferente.

---

conjunto de datos con desequilibrio de clases

#fundamentals

Conjunto de datos para un problema de clasificación en el que la cantidad total de etiquetas de cada clase difiere de forma significativa. Por ejemplo, considera un conjunto de datos de clasificación binaria cuyas dos etiquetas se dividen de la siguiente manera:

• 1,000,000 de etiquetas negativas
• 10 etiquetas positivas

La proporción entre etiquetas negativas y positivas es de 100,000 a 1, por lo que este es un conjunto de datos desequilibrados.

Por el contrario, el siguiente conjunto de datos no tiene desequilibrio de clases porque la proporción de etiquetas negativas a positivas es relativamente cercana a 1:

• 517 etiquetas negativas
• 483 etiquetas positivas

Los conjuntos de datos de varias clases también pueden estar desequilibrados. Por ejemplo, el siguiente conjunto de datos de clasificación de clases múltiples también está desequilibrado porque una etiqueta tiene muchos más ejemplos que las otras dos:

• 1,000,000 de etiquetas con la clase “green”
• 200 etiquetas con la clase “púrpura”
• 350 etiquetas con la clase “naranja”

Consulta también entropía, clase de mayoría y clase minoritaria.

recorte

#fundamentals

Una técnica para controlar los valores atípicos mediante una de las siguientes acciones o ambos:

• Reducir los valores de feature que sean mayores que el umbral máximo hasta alcanzarlo
• Aumentar valores de atributos que sean inferiores a un umbral mínimo hasta alcanzar ese umbral mínimo

Por ejemplo, supongamos que menos del 0.5% de los valores de un atributo en particular están fuera del rango de 40 a 60. En ese caso, podrías hacer lo siguiente:

• Recorta todos los valores superiores a 60 (el umbral máximo) para que sean exactamente 60.
• Recorta todos los valores por debajo de 40 (el umbral mínimo) para que sean exactamente 40.

Los valores atípicos pueden dañar los modelos y, a veces, causar que los pesos desbordan durante el entrenamiento. Algunos valores atípicos también pueden arruinar drásticamente métricas como la exactitud. El recorte es una técnica común para limitar el daño.

El recorte de gradientes fuerza los valores de gradiente dentro de un rango designado durante el entrenamiento.

Cloud TPU

#TensorFlow

#GoogleCloud

Un acelerador de hardware especializado diseñado para acelerar las cargas de trabajo de aprendizaje automático en Google Cloud.

agrupamiento en clústeres

#clustering

Agrupar ejemplos relacionados, en particular durante aprendizaje no supervisado Una vez que todos los ejemplos están agrupados, una persona puede, de manera opcional, proporcionar un significado a cada clúster.

Existen muchos algoritmos de agrupamiento en clústeres. Por ejemplo, los ejemplos de clústeres de algoritmo k-means en función de su proximidad a un centroide, como en el siguiente diagrama:

Un investigador humano podría luego revisar los clústeres y, por ejemplo, etiquetar el grupo 1 como “árboles enanos” y el grupo 2 como “árboles de tamaño completo”.

Como otro ejemplo, considera un algoritmo de agrupamiento en clústeres basado en la distancia del ejemplo desde un punto central, como se ilustra a continuación:

coadaptación

Es el momento en que las neuronas predicen patrones en los datos de entrenamiento basándose casi exclusivamente en salidas de otras neuronas específicas, en lugar de basarse en el comportamiento de la red como un todo. Cuando los patrones que causan la coadaptación no están presentes en los datos de validación, la coadaptación provoca un sobreajuste. La regularización de retirados reduce la coadaptación porque asegura que las neuronas no puedan depender únicamente de otras neuronas específicas.

filtrado colaborativo

#recsystems

Hacer predicciones sobre los intereses de un usuario en función de los intereses de muchos otros usuarios El filtrado colaborativo se usa a menudo en los sistemas de recomendación.

desviación de conceptos

Un cambio en la relación entre los atributos y la etiqueta. Con el tiempo, la desviación de conceptos reduce la calidad de un modelo.

Durante el entrenamiento, el modelo aprende la relación entre los atributos y sus etiquetas en el conjunto de entrenamiento. Si las etiquetas del conjunto de entrenamiento son buenas proxies para el mundo real, el modelo debe realizar buenas predicciones reales. Sin embargo, debido a la desviación de conceptos, las predicciones del modelo tienden a degradarse con el tiempo.

Por ejemplo, considera un modelo de clasificación binaria que prediga si un determinado modelo de auto es “con eficiencia de combustible”. Es decir, los atributos podrían ser los siguientes:

• peso del auto
• compresión del motor
• tipo de transmisión

mientras que la etiqueta tiene las siguientes características:

• ahorro de combustible
• no consume menos combustible

Sin embargo, el concepto de "vehículo con consumo eficiente de combustible" cambia constantemente. Un modelo de auto etiquetado como consumo de combustible en 1994 seguramente se etiquetaría como no eficiente en términos de combustible en 2024. Un modelo que sufre de desviación de conceptos tiende a hacer predicciones cada vez menos útiles a lo largo del tiempo.

Compara y contrasta con la no estacionariedad.

Haz clic en el ícono de notas adicionales.

Para compensar la desviación de conceptos, vuelve a entrenar los modelos más rápido que la frecuencia de la desviación de conceptos. Por ejemplo, si la desviación de conceptos reduce la precisión del modelo en un margen significativo cada dos meses, vuelve a entrenar tu modelo con mayor frecuencia que cada dos meses.

---

condición

#df

En un árbol de decisión, cualquier nodo que evalúe una expresión. Por ejemplo, la siguiente parte de un árbol de decisión contiene dos condiciones:

Una condición también se denomina división o prueba.

Compara la condición con la hoja.

Consulta lo siguiente:

• condición binaria
• condición no binaria.
• condición alineada al eje
• condición oblicua

confabulación

#language

Sinónimo de alucinación.

Confabulación es probablemente un término técnicamente más preciso que alucinación. Sin embargo, la alucinación se hizo popular primero.

configuration

El proceso de asignación de los valores de propiedad iniciales que se usan para entrenar un modelo incluye lo siguiente:

• las capas compuestas del modelo
• la ubicación de los datos
• hiperparámetros como los siguientes:
  • tasa de aprendizaje
  • iteraciones
  • optimizador
  • función de pérdida

En los proyectos de aprendizaje automático, la configuración se puede realizar a través de un archivo de configuración especial o con bibliotecas de configuración como las siguientes:

• HParam
• Ginebra
• Fiddle

sesgo de confirmación

#fairness

Tendencia a buscar, interpretar, favorecer y recordar la información de una manera que confirme las creencias o hipótesis preexistentes. Los desarrolladores de aprendizaje automático pueden recopilar o etiquetar inadvertidamente datos de formas que influyan en un resultado que respalde sus creencias. El sesgo de confirmación es una forma de sesgo implícito.

El sesgo de investigación es una forma de sesgo de confirmación en el que un investigador continúa entrenando modelos hasta que se confirma una hipótesis preexistente.

matriz de confusión

#fundamentals

Tabla de nxN que resume la cantidad de predicciones correctas e incorrectas que realizó un modelo de clasificación. Por ejemplo, considera la siguiente matriz de confusión para un modelo de clasificación binaria:

	Es tumor (predicho)	No es tumor (predicho)
Tumor (verdad fundamental)	18 (VP)	1 (FN)
No es tumor (verdad fundamental)	6 (FP)	452 (VN)

En la matriz de confusión anterior, se muestra lo siguiente:

• De las 19 predicciones en las que la verdad fundamental fue tumor, el modelo clasificó correctamente 18 y 1, de manera incorrecta.
• De las 458 predicciones en las que la verdad fundamental fue No tumor, el modelo clasificó correctamente 452 y clasificó 6 de manera incorrecta.

La matriz de confusión para un problema de clasificación de clases múltiples puede ayudarte a identificar patrones de errores. Por ejemplo, considera la siguiente matriz de confusión para un modelo de clasificación de clases múltiples de 3 clases que categoriza tres tipos de iris diferentes (Virginica, Versicolor y Setosa). Cuando la verdad fundamental era Virginica, la matriz de confusión muestra que era mucho más probable que el modelo predijera Versicolor de manera errónea que Setosa:

	Setosa (predicción)	Versicolor (predicho)	Vírgenes (previstas)
Setosa (verdad fundamental)	88	12	0
Versicolor (verdad fundamental)	6	141	7
virgen (verdad fundamental)	2	27	109

Como otro ejemplo, una matriz de confusión podría revelar que un modelo entrenado para reconocer dígitos escritos a mano tiende a predecir de manera errónea 9 en lugar de 4, o a predecir 1 en lugar de 7 de manera errónea.

Las matrices de confusión contienen suficiente información para calcular una variedad de métricas de rendimiento, incluidas la precisión y la recuperación.

análisis de la circunstancia

#language

Dividir una oración en estructuras gramaticales más pequeñas ("componentes"). Una parte posterior del sistema de AA, como un modelo de comprensión del lenguaje natural, puede analizar los componentes con mayor facilidad que la oración original. Por ejemplo, considera la siguiente oración:

Mi amigo adoptó dos gatos.

Un analizador de circunstancia puede dividir esta oración en los siguientes dos:

• My Friend es una frase nominal.
• adoptó dos gatos es una frase verbal.

Estos componentes pueden subdividirse en más pequeños. Por ejemplo, la frase verbal

adoptó dos gatos

podría subdividirse en:

• adopted es un verbo.
• two cats es otra frase nominal.

incorporación de lenguaje contextualizada

#language

#IAgenerativa

Una incorporación que se acerca a la "comprensión" de palabras y frases en formas en que los hablantes humanos nativos pueden hacerlo. Las incorporaciones de lenguaje contextualizado pueden comprender sintaxis, semántica y contexto complejos.

Por ejemplo, considera la incorporación de la palabra en inglés cow. Las incorporaciones más antiguas, como word2vec, pueden representar palabras en inglés, de modo que la distancia en el espacio de incorporación de vaca a toro sea similar a la distancia entre ewe (oveja hembra) y carnero (oveja macho) o de female a male. Las incorporaciones de lenguaje contextualizado pueden ir un paso más allá, ya que pueden reconocer que los angloparlantes a veces usan de manera casual la palabra vaca para referirse a la vaca o el toro.

ventana de contexto

#language

#IAgenerativa

La cantidad de tokens que un modelo puede procesar en una instrucción determinada. Cuanto más grande sea la ventana de contexto, más información podrá usar el modelo para proporcionar respuestas coherentes a la instrucción.

atributo continuo

#fundamentals

Un atributo de punto flotante con un rango infinito de valores posibles, como la temperatura o el peso.

Compara esto con el atributo discreto.

muestreo de conveniencia

Uso de un conjunto de datos no recopilados científicamente con el objetivo de ejecutar experimentos rápidos. Más adelante, es fundamental cambiar a un conjunto de datos recopilados científicamente.

convergencia

#fundamentals

Es un estado que se alcanza cuando los valores de loss cambian muy poco o nada con cada iteración. Por ejemplo, la siguiente curva de pérdida sugiere una convergencia en alrededor de 700 iteraciones:

Un modelo convierte cuando un entrenamiento adicional no mejorará el modelo.

En el aprendizaje profundo, a veces, los valores de pérdida se mantienen constantes o casi durante muchas iteraciones antes de descender finalmente. Durante un período largo de valores de pérdida constante, es posible que obtengas temporalmente una falsa sensación de convergencia.

Consulta también interrupción anticipada.

función convexa

Función en la que la región por encima del gráfico de la función es un conjunto convexo. La función convexa prototípica tiene una forma similar a la letra U. Por ejemplo, las siguientes son todas funciones convexas:

Por el contrario, la siguiente función no es convexa. Observa cómo la región por encima del gráfico no es un conjunto convexo:

Una función estrictamente convexa tiene exactamente un punto mínimo local, que también es el punto mínimo global. Las funciones clásicas con forma de U son funciones estrictamente convexas. Sin embargo, algunas funciones convexas (por ejemplo, las líneas rectas) no son en U.

Haz clic en el ícono para analizar los cálculos con más detalle.

Muchas de las funciones de pérdida comunes, incluidas las siguientes, son funciones convexas:

• pérdida L₂
• Pérdida logística
• Regularización L₁
• Regularización L₂

Muchas variaciones del descenso de gradientes garantizan encontrar un punto cerca del mínimo de una función estrictamente convexa. De manera similar, muchas variaciones del descenso de gradientes estocástico tienen una alta probabilidad (aunque no una garantía) de encontrar un punto cercano al mínimo de una función estrictamente convexa.

La suma de dos funciones convexas (por ejemplo, pérdida L₂ + regularización L₁) es una función convexa.

Los modelos profundos nunca son funciones convexas. Cabe destacar que los algoritmos diseñados para la optimización convexa tienden a encontrar soluciones razonablemente buenas en redes profundas de todos modos, aunque no se garantiza que esas soluciones sean un mínimo global.

---

optimización convexa

Es el proceso de usar técnicas matemáticas, como el descenso de gradientes, para encontrar el mínimo de una función convexa. Gran parte de la investigación en aprendizaje automático se ha centrado en formular varios problemas como problemas de optimización convexa y en resolverlos de manera más eficiente.

Para obtener información completa, consulta Convex Optimization de Boyd y Vandenberghe.

conjunto convexo

Subconjunto del espacio euclidiano en que una línea dibujada entre dos puntos cualesquiera en el subconjunto permanece completamente dentro del subconjunto. Por ejemplo, las siguientes dos formas son conjuntos convexos:

Por el contrario, las dos formas siguientes no son conjuntos convexos:

convolución

#image

En matemática, informalmente, es una mezcla de dos funciones. En el aprendizaje automático, una convolución mezcla el filtro convolucional y la matriz de entrada para entrenar pesos.

En el aprendizaje automático, el término "convolución" suele ser una forma abreviada de referirse a la operación convolucional o la capa convolucional.

Sin convoluciones, un algoritmo de aprendizaje automático tendría que aprender un peso separado para cada celda de un tensor grande. Por ejemplo, un entrenamiento de algoritmo de aprendizaje automático en imágenes de 2K x 2K se vería obligado a encontrar 4 millones de pesos separados. Gracias a las convoluciones, un algoritmo de aprendizaje automático solo tiene que encontrar pesos para cada celda en el filtro convolucional, lo que reduce drásticamente la memoria necesaria para entrenar el modelo. Cuando se aplica el filtro convolucional, simplemente se replica en las celdas de modo que cada una se multiplica por el filtro.

filtro convolucional

#image

Uno de los dos actores en una operación convolucional (El otro es una porción de una matriz de entrada). Un filtro convolucional es una matriz que tiene el mismo rango que la de entrada, pero una forma más pequeña. Por ejemplo, en una matriz de entrada de 28 × 28, el filtro podría ser cualquier matriz 2D más pequeña que 28 × 28.

En la manipulación fotográfica, todas las celdas de un filtro convolucional suelen establecerse en un patrón constante de unos y ceros. En el aprendizaje automático, los filtros convolucionales suelen propagarse con números aleatorios y, luego, la red entrena los valores ideales.

capa convolucional

#image

Es una capa de una red neuronal profunda en la que un filtro convolucional pasa a lo largo de una matriz de entrada. Por ejemplo, considera el siguiente filtro convolucional de 3×3:

En la siguiente animación, se muestra una capa convolucional que consta de 9 operaciones que involucran la matriz de entrada de 5 × 5. Observa que cada operación convolucional funciona en una porción diferente de 3 x 3 de la matriz de entrada. La matriz 3 x 3 resultante (a la derecha) consta de los resultados de las 9 operaciones convolucionales:

red neuronal convolucional

#image

Red neuronal en la que al menos una capa es una capa convolucional. Una red neuronal convolucional típica consiste en una combinación de las siguientes capas:

• capas convolucionales
• reunir capas
• capas densas

Las redes neuronales convolucionales han tenido gran éxito en ciertos tipos de problemas, como el reconocimiento de imágenes.

operación convolucional

#image

La siguiente operación matemática de dos pasos:

1. Multiplicación por elementos del filtro convolucional y una porción de una matriz de entrada (la porción de la matriz de entrada tiene el mismo rango y tamaño que el filtro convolucional).
2. Suma de todos los valores en la matriz de producto resultante.

Por ejemplo, considera la siguiente matriz de entrada de 5 x 5:

Ahora imagina el siguiente filtro convolucional de 2 x 2:

Cada operación convolucional implica una sola porción de 2 × 2 de la matriz de entrada. Por ejemplo, supongamos que usamos la porción de 2 x 2 en la parte superior izquierda de la matriz de entrada. Por lo tanto, la operación de convolución en esta porción se ve de la siguiente manera:

Una capa convolucional consta de una serie de operaciones convolucionales que actúan en una porción diferente de la matriz de entrada.

costo

Sinónimo de pérdida.

capacitación conjunta

Un enfoque de aprendizaje semisupervisado útil cuando se cumplen las siguientes condiciones:

• La proporción entre los ejemplos sin etiqueta y los ejemplos etiquetados en el conjunto de datos es alta.
• Este es un problema de clasificación (binario o de clases múltiples).
• El conjunto de datos contiene dos conjuntos diferentes de atributos predictivos que son independientes entre sí y complementarios.

En esencia, el coentrenamiento amplifica los indicadores independientes para convertirlos en una más fuerte. Por ejemplo, considera un modelo de clasificación que clasifique automóviles usados individuales como Bueno o Malos. Un conjunto de atributos predictivos puede enfocarse en características agregadas, como el año, la marca y el modelo del vehículo; otro conjunto de atributos predictivos podría enfocarse en el registro de conducción del propietario anterior y el historial de mantenimiento del vehículo.

El artículo fundamental sobre el entrenamiento conjunto es Combining Labeled and Unlabeled Data with Co-Training de Blum y Mitchell.

equidad contrafáctica

#fairness

Una métrica de equidad que verifica si un clasificador produce el mismo resultado para una persona que para otra que es idéntica a la primera, excepto con respecto a uno o más atributos sensibles. La evaluación de un clasificador para la equidad contrafáctica es un método para mostrar las posibles fuentes de sesgo en un modelo.

Consulta "When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness" para obtener un análisis más detallado de la equidad contrafáctica.

sesgo de cobertura

#fairness

Consulta Sesgo de selección.

flor de cola

#language

Oración o frase con un significado ambiguo. Un Crash blossom presenta un problema importante para la comprensión del lenguaje natural. Por ejemplo, el título La cinta roja que sostiene un rascacielos es un "crash blossom" porque un modelo CLN podría interpretar el titular de forma literal o figurada.

Haz clic en el ícono de notas adicionales.

Solo para aclarar este titular misterioso:

• La cinta roja puede hacer referencia a cualquiera de las siguientes opciones:
  • Un adhesivo
  • Exceso de burocracia
• Retenciones podría hacer referencia a cualquiera de las siguientes opciones:
  • Soporte estructural
  • Demoras

---

crítico

#rl

Sinónimo de Deep Q-Network.

entropía cruzada

Una generalización de la Pérdida logística a problemas de clasificación de clases múltiples. La entropía cruzada cuantifica la diferencia entre dos distribuciones de probabilidad. Consulta también perplejidad.

validación cruzada

Un mecanismo para calcular qué tan bien un model generalizaría datos nuevos mediante la prueba con uno o más subconjuntos de datos no superpuestos del model.

función de distribución acumulada (CDF)

Es una función que define la frecuencia de las muestras menor o igual que un valor objetivo. Por ejemplo, considera una distribución normal de valores continuos. Una CDF te indica que aproximadamente el 50% de las muestras deben ser menores o iguales a la media y que aproximadamente el 84% de las muestras deben ser menores o iguales a una desviación estándar por encima de la media.

D

análisis de datos

Obtener una comprensión de los datos mediante el uso de muestras, mediciones y visualización. El análisis de datos puede ser muy útil cuando se recibe un conjunto de datos por primera vez, antes de crear el primer model. También es crucial para comprender los experimentos y problemas de depuración del sistema.

magnificación de datos

#image

Se aumenta artificialmente el rango y la cantidad de ejemplos de entrenamiento mediante la transformación de los ejemplos existentes para crear ejemplos adicionales. Por ejemplo, supongamos que las imágenes son uno de los atributos, pero tu conjunto de datos no contiene suficientes ejemplos de imágenes para que el modelo aprenda asociaciones útiles. Lo ideal sería agregar suficientes imágenes etiquetadas al conjunto de datos para permitir que el modelo se entrene de forma correcta. Si eso no es posible, la magnificación de datos puede rotar, estirar y reflejar cada imagen para producir muchas variantes de la imagen original, lo que podría producir suficientes datos etiquetados como para permitir un entrenamiento excelente.

DataFrame

#fundamentals

Tipo de datos de pandas popular para representar conjuntos de datos en la memoria.

Un DataFrame es similar a una tabla o una hoja de cálculo. Cada columna de un DataFrame tiene un nombre (un encabezado) y cada fila se identifica con un número único.

Cada columna en un DataFrame se estructura como un arreglo 2D, excepto que a cada columna se le puede asignar su propio tipo de datos.

Consulta también la página de referencia oficial de pandas.DataFrame.

paralelismo de datos

Es una forma de escalar un entrenamiento o inferencia que replica un modelo completo en varios dispositivos y, luego, pasa un subconjunto de los datos de entrada a cada uno. El paralelismo de datos puede habilitar el entrenamiento y la inferencia en tamaños de lotes muy grandes. Sin embargo, el paralelismo de datos requiere que el modelo sea lo suficientemente pequeño como para adaptarse a todos los dispositivos.

Por lo general, el paralelismo de datos acelera el entrenamiento y la inferencia.

Consulta también paralelismo de modelos.

conjunto de datos o conjunto de datos

#fundamentals

Es una colección de datos sin procesar, organizados de manera habitual (pero no exclusiva) en uno de los siguientes formatos:

• una hoja de cálculo
• un archivo en formato CSV (valores separados por coma)

API de Dataset (tf.data)

#TensorFlow

Una API de TensorFlow de alto nivel para leer datos y transformarlos en un formato que requiera un algoritmo de aprendizaje automático Un objeto tf.data.Dataset representa una secuencia de elementos, en la que cada uno contiene uno o más tensores. Un objeto tf.data.Iterator proporciona acceso a los elementos de una Dataset.

Para obtener detalles sobre la API de Dataset, consulta tf.data: Compila canalizaciones de entrada de TensorFlow en la Guía para programadores de TensorFlow.

límite de decisión

El separador entre clases que aprendió un modelo en una clase binaria o problemas de clasificación de clases múltiples. Por ejemplo, en la siguiente imagen, que representa un problema de clasificación binaria, el límite de decisión es la frontera entre la clase naranja y la azul:

bosque de decisión

#df

Es un modelo creado a partir de varios árboles de decisión. Un bosque de decisión realiza una predicción agregando las predicciones de sus árboles de decisión. Los tipos populares de bosques de decisión incluyen los bosques aleatorios y los árboles con boosting del gradiente.

umbral de decisión

Sinónimo de umbral de clasificación.

árbol de decisión

#df

Un modelo de aprendizaje supervisado compuesto por un conjunto de conditions y conditions organizadas de manera jerárquica. Por ejemplo, el siguiente es un árbol de decisiones:

decodificador

#language

En general, cualquier sistema de AA que convierta una representación procesada, densa o interna a una más sin procesar, dispersa o externa.

Los decodificadores suelen ser un componente de un modelo más grande, en el que suelen vincularse con un codificador.

En las tareas de secuencia a secuencia, un decodificador comienza con el estado interno que genera el codificador para predecir la siguiente secuencia.

Consulta Transformador para obtener la definición de un decodificador dentro de la arquitectura de transformadores.

modelo profundo

#fundamentals

Red neuronal que contiene más de una capa oculta

Un modelo profundo también se denomina red neuronal profunda.

Compara esto con el modelo amplio.

diseño de red neuronal profunda

Sinónimo de modelo profundo.

Deep Q-Network (DQN)

#rl

En Q-learning, una red neuronal profunda que predice funciones Q.

Critic es sinónimo de Deep Q-Network.

paridad demográfica

#fairness

Métrica de equidad que se cumple si los resultados de la clasificación de un modelo no dependen de un atributo sensible determinado.

Por ejemplo, si tanto los liliputantes como los Brobdingnagianos se postulan a la Universidad de Glubbdubdrib, la paridad demográfica se logra si el porcentaje de usuarios admitidos es igual al porcentaje de residentes de Brobdingnaga, independientemente de que un grupo esté en promedio más calificado que el otro.

Compara esto con las probabilidades iguales y la igualdad de oportunidades, que permiten que los resultados de clasificación en conjunto dependan de atributos sensibles, pero no permiten que los resultados de clasificación de ciertas etiquetas de verdad fundamental especificadas dependan de atributos sensibles. Consulta “Cómo atacar la discriminación con un aprendizaje automático más inteligente” para obtener una visualización que explora las ventajas y desventajas a la hora de realizar optimizaciones en función de la paridad demográfica.

reducción de ruido

#language

Un enfoque común para el aprendizaje autosupervisado en el que se cumple lo siguiente:

1. Ruido se agrega artificialmente al conjunto de datos.
2. El model intenta quitar el ruido.

La reducción de ruido permite aprender a partir de ejemplos sin etiqueta. El conjunto de datos original sirve como destino o etiqueta, y los datos ruidosos como entrada.

Algunos modelos de lenguaje enmascarados usan la reducción de ruido de la siguiente manera:

1. El ruido se agrega de forma artificial a una oración sin etiqueta a través del enmascaramiento de algunos tokens.
2. El modelo intenta predecir los tokens originales.

atributo denso

#fundamentals

Atributo en el que la mayoría o todos los valores no son cero, generalmente un tensor de valores de punto flotante. Por ejemplo, el siguiente Tensor de 10 elementos es denso porque 9 de sus valores no son cero:

8

3

7

5

2

4

0

4

9

6

Compara esto con el atributo disperso.

capa densa

Sinónimo de capa completamente conectada.

depth

#fundamentals

Es la suma de los siguientes elementos en una red neuronal:

• la cantidad de capas ocultas
• la cantidad de capas de salida, que suele ser de 1
• la cantidad de capas de incorporación

Por ejemplo, una red neuronal con cinco capas ocultas y una capa de salida tiene una profundidad de 6.

Ten en cuenta que la capa de entrada no influye en la profundidad.

Red neuronal convolucional separable en profundidad (sepCNN)

#image

Una arquitectura de red neuronal convolucional basada en Inception, pero en la que los módulos de Inception se reemplazan por convoluciones separables en profundidad. También conocido como Xception.

Una convolución separable en profundidad (también abreviada como convolución separable) factoriza una convolución 3D estándar en dos operaciones de convolución separadas que son más eficientes desde el punto de vista computacional: primero, una convolución en profundidad, con una profundidad de 1 (n ✕n ✕ 1) y, luego, una convolución de punto ✕ 1 con un ancho de ✕n y una convolución de punto ✕1).

Para obtener más información, consulta Xception: aprendizaje profundo con convoluciones separables de profundidad.

etiqueta derivada

Sinónimo de etiqueta de proxy.

dispositivo

#TensorFlow

#GoogleCloud

Término sobrecargado con las siguientes dos definiciones posibles:

1. Categoría de hardware que puede ejecutar una sesión de TensorFlow y que incluye CPU, GPU y TPU.
2. Cuando se entrena un modelo de AA con chips aceleradores (GPU o TPU), la parte del sistema que realmente manipula los tensores y las incorporaciones. El dispositivo se ejecuta en chips aceleradores. Por el contrario, el host suele ejecutarse en una CPU.

privacidad diferencial

En el aprendizaje automático, es un enfoque de anonimización para proteger los datos sensibles (por ejemplo, la información personal de un individuo) incluidos en el conjunto de entrenamiento de un modelo. Este enfoque garantiza que el model no aprenda ni recuerde mucho sobre una persona específica. Esto se logra mediante el muestreo y la adición de ruido durante el entrenamiento de modelos para ocultar datos individuales, lo que mitiga el riesgo de exponer datos de entrenamiento sensibles.

La privacidad diferencial también se usa fuera del aprendizaje automático. Por ejemplo, los científicos de datos a veces usan la privacidad diferencial para proteger la privacidad individual cuando calculan estadísticas de uso de productos para diferentes segmentos demográficos.

reducción de dimensiones

Disminuir la cantidad de dimensiones que se usan para representar un atributo particular en un vector de atributos, generalmente mediante la conversión en un vector de incorporación

dimensions

Término sobrecargado con alguna de las siguientes definiciones:

• La cantidad de coordenadas en un tensor. Por ejemplo:

  • Un escalar tiene cero dimensiones; por ejemplo, ["Hello"].
  • Un vector tiene una dimensión; por ejemplo, [3, 5, 7, 11].
  • Una matriz tiene dos dimensiones; por ejemplo, [[2, 4, 18], [5, 7, 14]].

  En un vector de una dimensión con una coordenada, puedes especificar de forma exclusiva una celda específica. Necesitas dos coordenadas para especificar de forma exclusiva una celda específica en una matriz bidimensional.

• La cantidad de entradas en un vector de atributos

• La cantidad de elementos en una capa de incorporación.

mensajes directos

#language

#IAgenerativa

Sinónimo de instrucción sin ejemplos.

atributo discreto

#fundamentals

Es un atributo con un conjunto finito de valores posibles. Por ejemplo, un atributo cuyos valores solo pueden ser animal, vegetal o mineral es un atributo discreto (o categórico).

Compara esto con el atributo continuo.

modelo discriminativo

model que predice model a partir de un conjunto de uno o más model. De manera más formal, los modelos discriminativos definen la probabilidad condicional de un resultado a partir de los atributos y las ponderaciones, es decir:

p(output | features, weights)

Por ejemplo, un modelo que predice si un correo electrónico es spam de los atributos y pesos es un modelo discriminativo.

La gran mayoría de los modelos de aprendizaje supervisado, incluidos los modelos de clasificación y regresión, son modelos discriminativos.

Compara esto con el modelo generativo.

discriminador

Es un sistema que determina si los ejemplos son reales o falsos.

Como alternativa, el subsistema dentro de una red generativa adversaria que determina si los ejemplos creados por el generador son reales o falsos.

impacto dispar

#fairness

Tomar decisiones sobre personas que tienen un impacto desproporcionado en los distintos subgrupos poblacionales. Por lo general, esto se refiere a situaciones en las que un proceso de toma de decisiones algorítmica perjudica o beneficia a algunos subgrupos más que a otros.

Por ejemplo, supongamos que un algoritmo que determina la elegibilidad de un liliputiano para un préstamo hipotecario en miniatura tiene más probabilidades de clasificarlo como “no apto” si su dirección de correo postal contiene un código postal determinado. Si es más probable que los liliputianos de Big-Endian tengan direcciones de correo postal con este código postal que los de Little-Endian, este algoritmo puede generar un impacto dispar.

Compara esto con el tratamiento dispar, que se enfoca en las disparidades que se producen cuando las características de los subgrupos son entradas explícitas a un proceso de toma de decisiones algorítmica.

tratamiento distinto

#fairness

Factorizar los atributos sensibles de los sujetos en un proceso de toma de decisiones algorítmica, de modo que los diferentes subgrupos de personas se traten de manera diferente.

Por ejemplo, considera un algoritmo que determine la elegibilidad de los liliputantes para un préstamo hipotecario en miniatura en función de los datos que proporcionen en su solicitud de préstamo. Si el algoritmo usa la afiliación de un liliputiano como Big-Endian o Little-Endian como entrada, está ejecutando un tratamiento dispar en esa dimensión.

Compara esto con el impacto dispar, que se enfoca en las disparidades en los impactos sociales de las decisiones algorítmicas en subgrupos, independientemente de si esos subgrupos son entradas del modelo.

Advertencia: Debido a que los atributos sensibles casi siempre se correlacionan con otros atributos que puedan tener los datos, quitar la información de atributos sensibles de forma explícita no garantiza que los subgrupos se traten de la misma manera. Por ejemplo, quitar atributos demográficos sensibles de un conjunto de datos de entrenamiento que aún incluye el código postal como atributo puede abordar el tratamiento dispar de subgrupos, pero podría haber un impacto dispar en estos grupos, ya que el código postal podría servir como proxy para otra información demográfica.

síntesis

#IAgenerativa

Es el proceso de reducir el tamaño de un model (conocido como model) a un modelo más pequeño (conocido como model) que emula las predicciones del modelo original con la mayor fidelidad posible. La síntesis es útil porque el modelo más pequeño tiene dos beneficios clave en comparación con el modelo más grande (el profesor):

• Tiempo de inferencia más rápido
• Memoria y uso de energía reducidos

Sin embargo, las predicciones del estudiante generalmente no son tan buenas como las del profesor.

La síntesis entrena al modelo estudiante para minimizar una función de pérdida basada en la diferencia entre los resultados de las predicciones de los modelos estudiante y profesor.

Compara y contrasta la síntesis con los siguientes términos:

• ajuste
• aprendizaje basado en instrucciones

distribución

La frecuencia y el rango de diferentes valores para un atributo o una etiqueta determinados. Una distribución captura la probabilidad de un valor particular.

En la siguiente imagen, se muestran histogramas de dos distribuciones diferentes:

• A la izquierda, la distribución de la riqueza según la ley de poder en comparación con la cantidad de personas que poseen esa riqueza.
• A la derecha, una distribución normal de estatura frente al número de personas que poseen esa altura.

Comprender la distribución de cada atributo y etiqueta puede ayudarte a determinar cómo normalizar los valores y detectar valores atípicos.

La frase fuera de distribución se refiere a un valor que no aparece en el conjunto de datos o es muy raro. Por ejemplo, una imagen del planeta Saturno se consideraría fuera de la distribución para un conjunto de datos compuesto por imágenes de gatos.

agrupamiento en clústeres divisivo

#clustering

Consulta agrupamiento en clústeres jerárquico.

reducción de muestreo

#image

Término sobrecargado que puede significar cualquiera de las siguientes opciones:

• Reducir la cantidad de información en un atributo para entrenar un modelo de manera más eficiente. Por ejemplo, antes de entrenar un modelo de reconocimiento de imágenes, se reduce el muestreo de imágenes de alta resolución a un formato de menor resolución.
• Entrenar con un porcentaje desproporcionadamente bajo de ejemplos de clases sobrerrepresentados para mejorar el entrenamiento de modelos en clases subrepresentadas Por ejemplo, en un conjunto de datos desequilibrados, los modelos tienden a aprender mucho sobre la clase de mayoría y no lo suficiente sobre la clase minoritaria. La reducción de muestreo ayuda a equilibrar la cantidad de entrenamiento en la mayoría y las clases minoritarias.

DQN

#rl

Abreviatura de Deep Q-Network.

regularización de retirados

Es una forma de regularización útil para entrenar redes neuronales. La regularización de retirados quita una selección aleatoria de un número fijo de unidades de una capa de red para un solo paso de gradiente. Cuantas más unidades se extraigan, mejor será la regularización. Esto es análogo a entrenar la red para emular un conjunto exponencialmente grande de redes más pequeñas. Para obtener información completa, consulta Dropout: A Simple Way to Prevent Neural Networks from Overajustes.

dinámico

#fundamentals

Algo que se hace con frecuencia o continuamente. Los términos dinámico y en línea son sinónimos en el aprendizaje automático. Los siguientes son usos comunes de las funciones dinámicas y en línea en el aprendizaje automático:

• Un modelo dinámico (o modelo en línea) es un modelo que se vuelve a entrenar con frecuencia o continuamente.
• El entrenamiento dinámico (o entrenamiento en línea) es el proceso de entrenamiento frecuente o continua.
• La inferencia dinámica (o inferencia en línea) es el proceso de generar predicciones a pedido.

modelo dinámico

#fundamentals

Un model que se vuelve a entrenar con frecuencia (incluso de manera continua) Un modelo dinámico es un modelo que aprende toda la vida y se adapta constantemente a los datos que evolucionan. Un modelo dinámico también se conoce como modelo en línea.

Compara esto con el modelo estático.

E

ejecución inmediata

#TensorFlow

Entorno de programación de TensorFlow en el que las operations se ejecutan de inmediato. Por el contrario, las operaciones llamadas ejecución por grafos no se ejecutan hasta que se evalúen explícitamente. La ejecución inmediata es una interfaz imperativa, tal como el código en la mayoría de los lenguajes de programación. Los programas de ejecución inmediata son generalmente mucho más fáciles de depurar que los programas de ejecución por grafos.

interrupción anticipada

#fundamentals

Método de regularización que implica finalizar el entrenamiento antes de que la pérdida de entrenamiento termine de disminuir. En la interrupción anticipada, dejas de entrenar el modelo de manera intencional cuando la pérdida en un conjunto de datos de validación comienza a aumentar, es decir, cuando empeora el rendimiento de la generalización.

Haz clic en el ícono de notas adicionales.

La interrupción anticipada puede parecer contradictoria. Después de todo, decirle a un modelo que detenga el entrenamiento mientras la pérdida continúa disminuyendo puede parecer como decirle a un chef que deje de cocinar antes de que el postre se hornee por completo. Sin embargo, entrenar un modelo durante demasiado tiempo puede generar un sobreajuste. Es decir, si entrenas un modelo por demasiado tiempo, es posible que se ajuste a los datos de entrenamiento tan cerca que no pueda realizar predicciones correctas con ejemplos nuevos.

---

distancia de la persona que se mueve la tierra (EMD)

Es una medida de la similitud relativa de dos distribuciones. Cuanto más baja sea la distancia de movimiento de la tierra, más similares serán las distribuciones.

editar distancia

#language

Es una medida de qué tan similares son dos cadenas de texto entre sí. En el aprendizaje automático, editar la distancia es útil porque es fácil de calcular y es una manera eficaz de comparar dos strings que se sabe que son similares o encontrar strings similares a una string determinada.

Hay varias definiciones de editar distancia, cada una de ellas con diferentes operaciones de cadena. Por ejemplo, la distancia de Levenshtein considera la menor cantidad de operaciones de eliminación, inserción y sustitución.

Por ejemplo, la distancia Levenshtein entre las palabras "corazón" y "darts" es 3 porque las siguientes 3 ediciones son la menor cantidad de cambios para convertir una palabra en otra:

1. corazón → deart (sustituye "h" por "d")
2. deart → dart (borrar "e")
3. dart → dardos (insert "s")

Notación de Einsum

Una notación eficiente para describir cómo se combinan dos tensores. Los tensores se combinan multiplicando los elementos de un tensor por los elementos del otro y, luego, sumando los productos. La notación de Einsum usa símbolos para identificar los ejes de cada tensor, que se reordenan para especificar la forma del nuevo tensor resultante.

NumPy proporciona una implementación común de Einsum.

capa de Embedding

#language

#fundamentals

Una capa oculta especial que se entrena en un atributo categórico de alta dimensión para aprender gradualmente un vector de incorporación de menor dimensión. Una capa de incorporación permite que una red neuronal se entrene de manera mucho más eficiente que entrenar solo con el atributo categórico de alta dimensión.

Por ejemplo, la Tierra actualmente admite cerca de 73,000 especies de árboles. Supongamos que las especies de árbol son un atributo en tu modelo, por lo que la capa de entrada del modelo incluye un vector one-hot de 73,000 elementos de longitud. Por ejemplo, quizás baobab se represente de la siguiente manera:

Un array de 73,000 elementos es muy largo. Si no agregas una capa de incorporación al modelo, el entrenamiento requerirá mucho tiempo debido a la multiplicación de 72,999 ceros. Quizás elijas que la capa de incorporación tenga 12 dimensiones. En consecuencia, la capa de incorporación aprenderá de forma gradual un nuevo vector de incorporación para cada especie de árbol.

En algunas situaciones, la codificación hash es una alternativa razonable a una capa de incorporación.

espacio de incorporaciones

#language

Espacio de vector de d dimensiones al que se asignan atributos de un espacio de vector de mayor dimensión. Lo ideal sería que el espacio de incorporaciones contenga una estructura que produzca resultados matemáticos significativos. Por ejemplo, en un espacio de incorporaciones ideal, la adición y resta de incorporaciones puede resolver tareas de analogía de palabras.

El producto escalar de dos incorporaciones es la medida de su similitud.

vector de incorporación

#language

En términos generales, un array de números de punto flotante tomados de cualquier capa oculta que describe las entradas a esa capa oculta. A menudo, un vector de incorporación es el array de números de punto flotante entrenados en una capa de incorporación. Por ejemplo, supongamos que una capa de incorporación debe aprender un vector de incorporación para cada una de las 73,000 especies de árboles de la Tierra. Es posible que el siguiente array sea el vector de incorporación de un árbol baobab:

Un vector de incorporación no es un conjunto de números aleatorios. Una capa de incorporación determina estos valores a través del entrenamiento, de manera similar a la forma en que una red neuronal aprende otros pesos durante el entrenamiento. Cada elemento del array es una calificación según alguna característica de una especie de árbol. ¿Qué elemento representa la característica de qué especie de árbol? Es muy difícil de determinar para los humanos.

La parte matemáticamente notable de un vector de incorporación es que los elementos similares tienen conjuntos similares de números de punto flotante. Por ejemplo, las especies de árboles similares tienen un conjunto de números de punto flotante más parecido que las especies de árboles diferentes. Las secuoyas y las secuoyas son especies de árboles relacionados, por lo que tendrán un conjunto de números de punta flotante más similar a los de las secoyas y las secuoyas. Los números en el vector de incorporación cambiarán cada vez que se vuelva a entrenar el modelo, incluso si se vuelve a entrenar el modelo con una entrada idéntica.

función de distribución acumulada empírica (eCDF o EDF)

Función de distribución acumulada basada en mediciones empíricas de un conjunto de datos real. El valor de la función en cualquier punto del eje x es la fracción de observaciones del conjunto de datos que son menores o iguales que el valor especificado.

minimización del riesgo empírico (ERM)

Elección de la función que minimiza la pérdida en el conjunto de entrenamiento. Compara esto con la minimización del riesgo estructural.

codificador

#language

En general, cualquier sistema de AA que convierta una representación sin procesar, dispersa o externa en una representación más procesada, densa o más interna.

Los codificadores suelen ser un componente de un modelo más grande, en el que se vinculan con un decodificador. Algunos Transformers vinculan codificadores con decodificadores, aunque otros Transformers usan solo el codificador o solo el decodificador.

Algunos sistemas usan la salida del codificador como entrada para una red de clasificación o regresión.

En las tareas de secuencia a secuencia, un codificador toma una secuencia de entrada y muestra un estado interno (un vector). Luego, el decodificador usa ese estado interno para predecir la siguiente secuencia.

Consulta Transformador para obtener la definición de codificador en la arquitectura de transformadores.

ensamble

Una colección de modelos entrenados de forma independiente cuyas predicciones se promedian o se agregan. En muchos casos, un ensamble produce mejores predicciones que un solo modelo. Por ejemplo, un bosque aleatorio es un ensamble compilado a partir de varios árboles de decisión. Ten en cuenta que no todos los bosques de decisión son ensambles.

entropía

#df

En la teoría de la información, es una descripción de cuán impredecible es una distribución de probabilidad. Alternativamente, la entropía también se define como cuánta información contiene cada ejemplo. Una distribución tiene la entropía más alta posible cuando todos los valores de una variable aleatoria tienen las mismas probabilidades.

La entropía de un conjunto con dos valores posibles “0” y “1” (por ejemplo, las etiquetas en un problema de clasificación binaria) tiene la siguiente fórmula:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

Donde:

• H es la entropía.
• p es la fracción de ejemplos de “1”.
• q es la fracción de ejemplos de "0". Ten en cuenta que q = (1 - p)
• log suele ser log₂. En este caso, la unidad de entropía es un poco.

Por ejemplo, supongamos lo siguiente:

• 100 ejemplos contienen el valor "1"
• 300 ejemplos contienen el valor “0”

Por lo tanto, el valor de la entropía es el siguiente:

• p = 0.25
• q = 0.75
• H = (-0.25)log₂(0.25) - (0.75)log₂(0.75) = 0.81 bits por ejemplo

Un conjunto que está perfectamente equilibrado (por ejemplo, 200 “0” y 200 “1”) tendría una entropía de 1 bits por ejemplo. A medida que un conjunto se vuelve más desequilibrado, su entropía se mueve hacia 0.0.

En los árboles de decisión, la entropía ayuda a formular la ganancia de información para ayudar al divisor a seleccionar las condiciones durante el crecimiento de un árbol de decisión de clasificación.

Comparar la entropía con:

• impureza de gin
• Función de pérdida de entropía cruzada

La entropía se suele llamar entropía de Shannon.

de producción

#rl

En el aprendizaje por refuerzo, el mundo que contiene al agente y le permite observar el estado de ese mundo. Por ejemplo, el mundo representado puede ser un juego, como el ajedrez, o un mundo físico, como un laberinto. Cuando el agente aplica una acción al entorno, este pasa de un estado a otro.

episodio

#rl

En el aprendizaje por refuerzo, cada uno de los intentos repetidos del agente de aprender un entorno.

época

#fundamentals

Un pase de entrenamiento completo por todo el conjunto de entrenamiento, de modo que cada ejemplo se procese una vez.

Un ciclo de entrenamiento representa las iteraciones de entrenamiento N/tamaño del lote, en el que N es la cantidad total de ejemplos.

Por ejemplo, supongamos lo siguiente:

• El conjunto de datos consta de 1,000 ejemplos.
• El tamaño del lote es de 50 ejemplos.

Por lo tanto, un solo ciclo de entrenamiento requiere 20 iteraciones:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

política codiciosa de épsilon

#rl

En el aprendizaje por refuerzo, una política que sigue una política aleatoria con probabilidad de épsilon o una política voraz en caso contrario. Por ejemplo, si la épsilon es 0.9, entonces la política sigue una política aleatoria el 90% de las veces y una política codiciosa el 10% de las veces.

En episodios sucesivos, el algoritmo reduce el valor de épsilon para pasar de seguir una política aleatoria a seguir una política voraz. Con el cambio de la política, el agente primero explora el entorno de forma aleatoria y, luego, explota con audacia los resultados de la exploración aleatoria.

igualdad de oportunidades

#fairness

Una métrica de equidad para evaluar si un modelo predice el resultado deseado de la misma manera para todos los valores de un atributo sensible. En otras palabras, si el resultado deseado para un modelo es la clase positiva, el objetivo sería que la tasa de verdaderos positivos sea la misma en todos los grupos.

La igualdad de oportunidades está relacionada con las probabilidades iguales, que requieren que tanto las tasas de verdaderos positivos como las tasas de falsos positivos sean iguales para todos los grupos.

Supongamos que la Universidad de Glubbdubdrib admite a estudiantes de Lilliputians y Brobdingnagians en un riguroso programa de matemáticas. Las escuelas secundarias de Liliputians ofrecen un plan de estudios sólido de clases de matemáticas, y la gran mayoría de los estudiantes están calificados para el programa universitario. Las escuelas secundarias de Brobdingnagians no ofrecen clases de matemáticas en absoluto y, por lo tanto, muchos menos estudiantes están calificados. La igualdad de oportunidades se satisface para la etiqueta preferida de "admitido" con respecto a la nacionalidad (liliputiana o brobdingnagiana) si los estudiantes calificados tienen las mismas probabilidades de ser admitidos, independientemente de si son liliputianos o brobdingnaguianos.

Por ejemplo, supongamos que 100 liliputantes y 100 brobdingnagianos se postulan a la Universidad de Glubbdubdrib, y las decisiones de admisión se toman de la siguiente manera:

Tabla 1: Postulantes liliputes (el 90% están calificados)

	Calificado	No cumple con los requisitos
Admitido	45	3
Rechazado	45	7
Total	90	10
Porcentaje de estudiantes calificados admitidos: 45/90 = 50% Porcentaje de estudiantes no calificados que se rechazaron: 10/7 = 70% Porcentaje total de estudiantes de Liliputi admitidos: (45 + 3)/100 = 48%

 

Tabla 2: Postulantes de Brobdingnag (10% están calificados):

	Calificado	No cumple con los requisitos
Admitido	5	9
Rechazado	5	81
Total	10	90
Porcentaje de estudiantes calificados admitidos: 5/10 = 50% Porcentaje de estudiantes no calificados que se rechazaron: 81/90 = 90% Porcentaje total de estudiantes de Brobdingnag admitidos: (5 + 9)/100 = 14%

Los ejemplos anteriores satisfacen la igualdad de oportunidades de aceptación de estudiantes calificados porque los liliputantes y los Brobdingnag calificados tienen un 50% de posibilidades de ser admitidos.

Si bien se cumple la igualdad de oportunidades, no se cumplen las siguientes dos métricas de equidad:

• Paridad demográfica: Los liliputantes y los brobdingnagues ingresan a la universidad a diferentes tasas; el 48% de los estudiantes de Liliputi pueden ingresar, pero solo el 14% de los estudiantes de Brobdingnag.
• probabilidades igualadas: si bien los estudiantes liliputianos y brobdingnaguis calificados tienen las mismas posibilidades de ser admitidos, no se satisface la restricción adicional de que los liliputianos y los brobdingnagues no calificados tienen las mismas posibilidades de ser rechazados. Los liliputantes no calificados tienen una tasa de rechazo del 70%, mientras que los de Brobdingnagian no calificados tienen una tasa de rechazo del 90%.

Consulta "Igualdad de oportunidades en el aprendizaje supervisado" para obtener un análisis más detallado sobre la igualdad de oportunidades. Consulta también “Cómo atacar la discriminación con un aprendizaje automático más inteligente” para obtener una visualización que explora las ventajas y desventajas a la hora de realizar optimizaciones en función de la igualdad de oportunidades.

probabilidades igualadas

#fairness

Una métrica de equidad para evaluar si un modelo predice los resultados de forma igualitaria para todos los valores de un atributo sensible con respecto a la clase positiva y a la clase negativa, no solo a una clase o a la otra de forma exclusiva. En otras palabras, la tasa de verdaderos positivos y la tasa de falsos negativos deben ser iguales para todos los grupos.

Las probabilidades equitativas están relacionadas con la igualdad de oportunidades, que solo se enfoca en las tasas de error de una sola clase (positiva o negativa).

Por ejemplo, supongamos que la Universidad de Glubbdubdrib admite tanto a estudiantes de Liliputi como a estudiantes de Brobdingnag en un riguroso programa de matemáticas. Las escuelas secundarias de Liliputians ofrecen un plan de estudios sólido de clases de matemáticas, y la gran mayoría de los alumnos están calificados para el programa universitario. Las escuelas secundarias de Brobdingnagians no ofrecen clases de matemáticas en absoluto y, por lo tanto, muchos menos de sus estudiantes están calificados. Las probabilidades equitativas se cumplen siempre que no importa si un postulante es liliputiano o brobdingnaga, si está calificado, tiene las mismas probabilidades de ser admitido en el programa y si no lo es, tienen la misma probabilidad de ser rechazado.

Supongamos que 100 liliputantes y 100 brobdingnagianos se postulan a la Universidad de Glubbdubdrib y las decisiones de admisión se toman de la siguiente manera:

Tabla 3: Postulantes liliputes (el 90% están calificados)

	Calificado	No cumple con los requisitos
Admitido	45	2
Rechazado	45	8
Total	90	10
Porcentaje de estudiantes calificados admitidos: 45/90 = 50% Porcentaje de estudiantes no calificados que se rechazaron: 10/8 = 80% Porcentaje total de estudiantes de Liliputi admitidos: (45+2)/100 = 47%

 

Tabla 4. Postulantes de Brobdingnag (10% están calificados):

	Calificado	No cumple con los requisitos
Admitido	5	18
Rechazado	5	72
Total	10	90
Porcentaje de estudiantes calificados admitidos: 5/10 = 50% Porcentaje de estudiantes no calificados que se rechazaron: 72/90 = 80% Porcentaje total de estudiantes de Brobdingnag admitidos: (5+18)/100 = 23%

Las probabilidades igualadas se cumplen porque los estudiantes liliputianos y brobdingnagies calificados tienen un 50% de probabilidades de ser admitidos, mientras que los estudiantes liliputianos y brobdingnagianos no calificados tienen un 80% de probabilidades de ser rechazados.

Nota: Si bien las probabilidades igualadas se cumplen aquí, la paridad demográfica no se cumple. Los estudiantes de Liliputian y Brobdingnagian entran a la Universidad de Glubbdubdrib a diferentes ritmos. El 47% de los estudiantes liliputantes están admitidos y el 23% de los estudiantes de Borbdingnag.

Las probabilidades igualadas se definen formalmente en "Igualdad de oportunidades en el aprendizaje supervisado" de la siguiente manera: "predictor Ŷ satisface las probabilidades igualadas con respecto al atributo protegido A y el resultado Y si Ŷ y A son independientes, condicionales en Y".

Nota: Compara las probabilidades igualadas con la métrica de igualdad de oportunidades más relajada.

Estimador

#TensorFlow

Una API de TensorFlow obsoleta. Utiliza tf.keras en lugar de Estimadores.

sin conexión

Es el proceso de medir la calidad de las predicciones de un modelo de aprendizaje automático. Cuando desarrollas un modelo, por lo general, se aplican métricas de evaluación no solo en el conjunto de entrenamiento, sino también en un conjunto de validación y un conjunto de prueba. También puedes usar métricas de evaluación para comparar modelos diferentes.

Ejemplo

#fundamentals

Los valores de una fila de atributos y, posiblemente, una etiqueta. Los ejemplos del aprendizaje supervisado se dividen en dos categorías generales:

• Un ejemplo etiquetado consta de uno o más atributos y una etiqueta. Los ejemplos etiquetados se usan durante el entrenamiento.
• Un ejemplo sin etiqueta consta de uno o más atributos, pero ninguna etiqueta. Los ejemplos sin etiqueta se usan durante la inferencia.

Por ejemplo, supongamos que estás entrenando un modelo para determinar la influencia de las condiciones climáticas en las calificaciones de los estudiantes. Aquí hay tres ejemplos etiquetados:

Funciones			Etiqueta
Temperatura	Humedad	Presionar	Puntuación de la prueba
15	47	998	Bueno
19	34	1020	Excelente
18	92	1012	Deficiente

Estos son tres ejemplos sin etiqueta:

Temperatura	Humedad	Presionar
12	62	1014
21	47	1017
19	41	1021

La fila de un conjunto de datos suele ser la fuente sin procesar para un ejemplo. Es decir, un ejemplo generalmente consta de un subconjunto de las columnas en el conjunto de datos. Además, los atributos de un ejemplo también pueden incluir atributos sintéticos, como las combinaciones de atributos.

volver a reproducir la experiencia

#rl

En el aprendizaje por refuerzo, se usa una técnica de DQN para reducir las correlaciones temporales en los datos de entrenamiento. El agente almacena las transiciones de estado en un búfer de reproducción y, luego, muestra las transiciones desde el búfer de reproducción para crear datos de entrenamiento.

sesgo del investigador

#fairness

Consulta sesgo de confirmación.

problema de gradiente con alto crecimiento

#seq

La tendencia de los gradientes en las redes neuronales profundas (en especial, en las redes neuronales recurrentes) a aumentar de manera sorprendente (alta). Los gradientes empinados suelen causar actualizaciones muy grandes en los pesos de cada nodo en una red neuronal profunda.

Los modelos que sufren el problema del aumento repentino del gradiente se vuelven difíciles o imposibles de entrenar. El recorte de gradientes puede mitigar este problema.

Compara con el problema de desvanecimiento del gradiente.

F

F₁

Una métrica de clasificación binaria de tipo "roll-up" que se basa tanto en la precisión como en la recuperación. Esta es la fórmula:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

Por ejemplo, dado lo siguiente:

• precisión = 0.6
• recuperación = 0.4

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

Cuando la precisión y la recuperación son bastante similares (como en el ejemplo anterior), F₁ está cerca de su media. Cuando la precisión y la recuperación difieren significativamente, F₁ está más cerca del valor más bajo. Por ejemplo:

• precisión = 0.9
• recuperación = 0.1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

restricción de equidad

#fairness

La aplicación de una restricción a un algoritmo para garantizar que se cumplan una o más definiciones de equidad. Estos son algunos ejemplos de limitaciones de equidad:

• Realizar un procesamiento posterior de la salida del modelo.
• Modificar la función de pérdida para incorporar una penalización por infringir una métrica de equidad
• Adición directa de una restricción matemática a un problema de optimización.

métrica de equidad

#fairness

Una definición matemática de "equidad" que es medible. Entre las métricas de equidad de uso general, se incluyen las siguientes:

• probabilidades iguales
• paridad predictiva
• equidad contrafáctica
• paridad demográfica

Muchas métricas de equidad son mutuamente excluyentes; consulta incompatibilidad de métricas de equidad.

falso negativo (FN)

#fundamentals

Ejemplo en el que el modelo predice de forma errónea la clase negativa. Por ejemplo, el modelo predice que un mensaje de correo electrónico en particular no es spam (la clase negativa), pero ese mensaje de correo electrónico sí es spam.

tasa de falsos negativos

Es la proporción de ejemplos positivos reales para los que el modelo predijo de manera errónea la clase negativa. La siguiente fórmula calcula la tasa de falsos negativos:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

falso positivo (FP)

#fundamentals

Ejemplo en el que el modelo predice la clase positiva de forma errónea. Por ejemplo, el modelo predice que un mensaje de correo electrónico en particular es spam (la clase positiva), pero ese mensaje de correo electrónico en realidad no es spam.

tasa de falsos positivos (FPR)

#fundamentals

Es la proporción de ejemplos negativos reales para los que el modelo predijo de manera errónea la clase positiva. La siguiente fórmula calcula la tasa de falsos positivos:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

La tasa de falsos positivos es el eje x en una curva ROC.

característica

#fundamentals

Una variable de entrada para un modelo de aprendizaje automático. Un ejemplo consta de uno o más atributos. Por ejemplo, supongamos que estás entrenando un modelo para determinar la influencia de las condiciones climáticas en las calificaciones de los estudiantes. En la siguiente tabla, se muestran tres ejemplos, cada uno de los cuales contiene tres atributos y una etiqueta:

Funciones			Etiqueta
Temperatura	Humedad	Presionar	Puntuación de la prueba
15	47	998	92
19	34	1020	84
18	92	1012	87

Compara esto con la etiqueta.

combinación de atributos

#fundamentals

Un atributo sintético formado mediante la “combinación” de atributos categóricos o agrupados.

Por ejemplo, considera un modelo de “previsión del estado de ánimo” que represente la temperatura en uno de los siguientes cuatro buckets:

• freezing
• chilly
• temperate
• warm

Y representa la velocidad del viento en uno de estos tres buckets:

• still
• light
• windy

Sin combinaciones de atributos, el modelo lineal se entrena de forma independiente en cada uno de los siete buckets anteriores. Por ejemplo, el modelo se entrena con freezing, independientemente del entrenamiento en windy.

Como alternativa, puedes crear una combinación de atributos de temperatura y velocidad del viento. Este atributo sintético tendría los siguientes 12 valores posibles:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Gracias a las combinaciones de atributos, el modelo puede aprender diferencias de estados de ánimo entre un día de freezing-windy y un día de freezing-still.

Si creas un atributo sintético a partir de dos atributos que tienen muchos buckets diferentes, la combinación de atributos resultante tendrá una gran cantidad de combinaciones posibles. Por ejemplo, si un atributo tiene 1,000 buckets y el otro atributo tiene 2,000 buckets, la combinación de atributos resultante tiene 2,000,000 de buckets.

De manera formal, una cruz es un producto cartesiano.

Las combinaciones de atributos se usan, principalmente, con modelos lineales y rara vez con redes neuronales.

ingeniería de atributos.

#fundamentals

#TensorFlow

Un proceso que implica los siguientes pasos:

1. Determinar qué atributos podrían ser útiles para entrenar un modelo
2. Convertir los datos sin procesar del conjunto de datos en versiones eficientes de esos atributos.

Por ejemplo, podrías determinar que temperature podría ser una función útil. Luego, puedes experimentar con el agrupamiento para optimizar lo que el modelo puede aprender de los diferentes rangos temperature.

En ocasiones, la ingeniería de atributos se denomina extracción de atributos o incorporación.

Haz clic en el ícono para obtener notas adicionales sobre TensorFlow.

En TensorFlow, la ingeniería de atributos suele implicar la conversión de entradas de archivos de registro sin procesar en búferes de protocolo tf.Example. Consulta también tf.Transform.

---

extracción de atributos

Término sobrecargado con alguna de las siguientes definiciones:

• Recuperar representaciones de atributos intermedios calculadas por un modelo no supervisado o previamente entrenado (por ejemplo, valores de capa oculta en una red neuronal) para usar en otro modelo como entrada
• Sinónimo de ingeniería de atributos.

importancias de los atributos

#df

Sinónimo de importancias variables.

conjunto de atributos

#fundamentals

Grupo de atributos con el que se entrena el modelo de aprendizaje automático. Por ejemplo, código postal, tamaño de la propiedad y estado de la propiedad pueden conformar un conjunto de atributos simples para un modelo que predice los precios de la vivienda.

especificación de atributos

#TensorFlow

Describe la información necesaria para extraer los datos de features del búfer de protocolo tf.Example. Debido a que el búfer de protocolo tf.Example es solo un contenedor de datos, debes especificar lo siguiente:

• Los datos que se extraerán (es decir, las claves de los atributos)
• El tipo de datos (por ejemplo, flotante o int)
• La longitud (fija o variable)

vector de atributos

#fundamentals

El array de valores de atributo que comprende un ejemplo. El vector de atributos se ingresa durante el entrenamiento y durante la inferencia. Por ejemplo, el vector de atributos para un modelo con dos atributos discretos podría ser el siguiente:

[0.92, 0.56]

Cada ejemplo proporciona valores diferentes para el vector de atributos, de manera que el vector de atributos del siguiente ejemplo podría ser similar al siguiente:

[0.73, 0.49]

La ingeniería de atributos determina cómo representar atributos en el vector de atributos. Por ejemplo, un atributo categórico binario con cinco valores posibles podría representarse con la codificación one-hot. En este caso, la parte del vector de atributos de un ejemplo en particular constaría de cuatro ceros y un solo 1.0 en la tercera posición, de la siguiente manera:

[0.0, 0.0, 1.0, 0.0, 0.0]

Como otro ejemplo, supongamos que tu modelo consta de tres atributos:

• un atributo categórico binario con cinco valores posibles representados con codificación one-hot; por ejemplo: [0.0, 1.0, 0.0, 0.0, 0.0]
• Otro atributo categórico binario con tres valores posibles representados con codificación one-hot; por ejemplo: [0.0, 0.0, 1.0]
• un atributo de punto flotante; por ejemplo: 8.3

En este caso, el vector de atributos de cada ejemplo estaría representado por nueve valores. Dados los valores de ejemplo de la lista anterior, el vector de atributos sería el siguiente:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

característica

Es el proceso de extraer atributos de una fuente de entrada, como un documento o video, y asignar esos atributos a un vector de atributos.

Algunos expertos en AA usan la característica como sinónimo de ingeniería de atributos o extracción de atributos.

aprendizaje federado

Un enfoque de aprendizaje automático distribuido que entrena modelos de aprendizaje automático mediante ejemplos descentralizados que residen en dispositivos como smartphones. En el aprendizaje federado, un subconjunto de dispositivos descarga el modelo actual desde un servidor de coordinación central. Los dispositivos usan los ejemplos almacenados en ellos para realizar mejoras en el modelo. Luego, los dispositivos suben las mejoras del modelo (pero no los ejemplos de entrenamiento) al servidor de coordinación, donde se agregan con otras actualizaciones para generar un modelo global mejorado. Después de la agregación, las actualizaciones del modelo que procesan los dispositivos ya no son necesarias y se pueden descartar.

Dado que los ejemplos de entrenamiento nunca se suben, el aprendizaje federado sigue los principios de privacidad de la recopilación de datos enfocados y la minimización de datos.

Para obtener más información sobre el aprendizaje federado, consulta este instructivo.

ciclo de retroalimentación

#fundamentals

En el aprendizaje automático, una situación en la que las predicciones de un modelo influyen en los datos de entrenamiento para el mismo modelo o para otro Por ejemplo, un modelo que recomienda películas influirá en las películas que las personas ven, lo que luego influirá en los modelos posteriores de recomendación de películas.

red neuronal prealimentada (FFN)

Es una red neuronal sin conexiones cíclicas o recursivas. Por ejemplo, las redes neuronales profundas tradicionales son redes neuronales prealimentadas. Compara esto con las redes neuronales recurrentes, que son cíclicas.

aprendizaje en pocos intentos

Enfoque de aprendizaje automático, que a menudo se usa para la clasificación de objetos, diseñado para entrenar clasificadores eficaces a partir de solo una pequeña cantidad de ejemplos de entrenamiento.

Consulta también el aprendizaje en un intento y el aprendizaje sin ejemplos.

instrucciones con ejemplos limitados

#language

#IAgenerativa

Una instrucción que contiene más de un ejemplo (unos “pocos”) ejemplos que demuestran cómo debe responder el modelo grande de lenguaje. Por ejemplo, la siguiente instrucción larga contiene dos ejemplos que muestran un modelo de lenguaje extenso cómo responder a una consulta.

Partes de un mensaje	Notas
¿Cuál es la moneda oficial del país especificado?	La pregunta que quieres que responda el LLM.
Francia: EUR	Un ejemplo:
Reino Unido: GBP	Otro ejemplo.
India:	Es la consulta real.

Las instrucciones con ejemplos limitados suelen producir más resultados deseables que las instrucciones sin ejemplos y las instrucciones con un solo ejemplo. Sin embargo, las instrucciones con ejemplos limitados requieren una instrucción más larga.

Las instrucciones con ejemplos limitados son una forma de aprendizaje con ejemplos limitados que se aplica al aprendizaje basado en instrucciones.

Violín tradicional

#language

Una biblioteca de configuración centrada en Python que establece los valores de funciones y clases sin código ni infraestructura invasivos. En el caso de Pax y otras bases de código de AA, estas funciones y clases representan modelos y hiperparámetros de entrenamiento.

Fiddle supone que las bases de código de aprendizaje automático se suelen dividir en los siguientes elementos:

• Código de biblioteca, que define las capas y los optimizadores.
• El conjunto de datos establece un código de “unión”, que llama a las bibliotecas y conecta todo.

Fiddle captura la estructura de llamada del código de unión de una forma no evaluada y mutable.

ajuste

#language

#image

#IAgenerativa

Un segundo pase de entrenamiento específico para una tarea que se realiza en un modelo previamente entrenado a fin de definir mejor sus parámetros para un caso de uso específico. Por ejemplo, la secuencia de entrenamiento completa para algunos modelos grandes de lenguaje es la siguiente:

1. Entrenamiento previo: Entrena un modelo grande de lenguaje con un amplio conjunto de datos general, como todas las páginas de Wikipedia en inglés.
2. Ajuste: Entrena el modelo previamente entrenado para que realice una tarea específica, como responder consultas médicas. Por lo general, el ajuste implica cientos o miles de ejemplos centrados en la tarea específica.

Como otro ejemplo, la secuencia de entrenamiento completa para un modelo de imagen grande es la siguiente:

1. Entrenamiento previo: Entrena un modelo grande de imágenes con un amplio conjunto de datos general de imágenes, como todas las imágenes de Wikimedia Commons.
2. Ajuste: Entrena el modelo previamente entrenado para que realice una tarea específica, como generar imágenes de orcas.

La optimización puede implicar cualquier combinación de las siguientes estrategias:

• Modificar todos los parámetros existentes del modelo previamente entrenado A veces, esto se denomina ajuste completo.
• Modificar solo algunos de los parámetros existentes del modelo previamente entrenado (por lo general, las capas más cercanas a la capa de salida) y mantener otros parámetros existentes sin cambios (por lo general, las capas más cercanas a la capa de entrada) Consulta Ajuste eficiente de parámetros.
• Agregar más capas, por lo general, sobre las capas existentes más cercanas a la capa de salida

El ajuste es una forma de aprendizaje por transferencia. Por lo tanto, el ajuste podría usar una función de pérdida diferente o un tipo de modelo diferente a los que se usan para entrenar el modelo previamente entrenado. Por ejemplo, puedes ajustar un modelo de imagen grande previamente entrenado para producir un modelo de regresión que devuelva la cantidad de aves en una imagen de entrada.

Compara y contrasta el ajuste con los siguientes términos:

• destilación
• aprendizaje basado en instrucciones

Lino

#language

Una biblioteca de código abierto y alto rendimiento para el aprendizaje profundo compilada sobre JAX. Flax proporciona funciones para entrenar redes neuronales y métodos para evaluar su rendimiento.

Formador de linaza

#language

Una biblioteca de código abierto de Transformer compilada en Flax, diseñada principalmente para el procesamiento de lenguaje natural y la investigación multimodal.

olvidar la puerta

#seq

Es la parte de una celda de memoria a corto plazo a largo plazo que regula el flujo de información a través de la celda. Las puertas para olvidar mantienen el contexto decidiendo qué información descartar del estado de la celda.

softmax completo

Sinónimo de softmax.

Compara esto con el muestreo de candidatos.

capa completamente conectada

Una capa oculta en la que cada nodo está conectado a todos los nodos de la capa oculta posterior.

Una capa completamente conectada también se conoce como una capa densa.

transformación de funciones

Función que toma una función como entrada y muestra una función transformada como resultado. JAX usa transformaciones de funciones.

G

GAN

Abreviatura de red generativa adversaria.

generalización

#fundamentals

La capacidad de un modelo para realizar predicciones correctas sobre datos nuevos nunca antes vistos. Un modelo que puede generalizarse es lo opuesto a un modelo que está sobreajustado.

Haz clic en el ícono de notas adicionales.

Entrenas un modelo con los ejemplos del conjunto de entrenamiento. En consecuencia, el modelo aprende las peculiaridades de los datos en el conjunto de entrenamiento. En esencia, la generalización pregunta si tu modelo puede hacer buenas predicciones con ejemplos que no están en el conjunto de entrenamiento.

Para fomentar la generalización, la regularización ayuda a que un modelo se entrene con menos exactitud según las peculiaridades de los datos en el conjunto de entrenamiento.

---

curva de generalización

#fundamentals

Un gráfico de la pérdida de entrenamiento y la pérdida de validación como una función de la cantidad de iteraciones.

Una curva de generalización puede ayudarte a detectar un posible sobreajuste. Por ejemplo, la siguiente curva de generalización sugiere un sobreajuste porque la pérdida de validación se vuelve mucho mayor que la pérdida de entrenamiento.

modelo lineal generalizado

Una generalización de los modelos de regresión de mínimos cuadrados, que se basan en el ruido gaussiano, a otros tipos de modelos basados en otros tipos de ruido, como el ruido Poisson o el ruido categórico. Estos son algunos ejemplos de modelos lineales generalizados:

• regresión logística
• regresión de clases múltiples
• regresión de mínimos cuadrados

Los parámetros de un modelo lineal generalizado se pueden encontrar a través de la optimización convexa.

Los modelos lineales generalizados presentan las siguientes propiedades:

• La predicción promedio del modelo óptimo de regresión de mínimos cuadrados es igual a la etiqueta promedio de los datos de entrenamiento.
• La probabilidad promedio predicha por el modelo óptimo de regresión logística es igual a la etiqueta promedio de los datos de entrenamiento.

La potencia de un modelo lineal generalizado está limitada por sus atributos. A diferencia de un modelo profundo, un modelo lineal generalizado no puede “aprender atributos nuevos”.

red generativa adversaria (GAN)

Es un sistema para crear datos nuevos en el que un generador crea datos y un discriminador determina si los datos creados son válidos o no.

IA generativa

#language

#image

#IAgenerativa

Un campo transformador emergente sin definición formal. Dicho esto, la mayoría de los expertos coinciden en que los modelos de IA generativa pueden crear ("generar") contenido que acoge lo siguiente:

• complejo
• coherente
• original

Por ejemplo, un modelo de IA generativa puede crear imágenes o ensayos sofisticados.

Algunas tecnologías anteriores, como las LSTM y las RNN, también pueden generar contenido original y coherente. Algunos expertos consideran estas tecnologías anteriores como IA generativa, mientras que otros consideran que la IA generativa real requiere resultados más complejos de los que pueden producir esas tecnologías anteriores.

Compara esto con el AA predictivo.

modelo generativo

En términos prácticos, un modelo que hace una de las siguientes acciones:

• Crea (genera) nuevos ejemplos a partir del conjunto de datos de entrenamiento. Por ejemplo, un modelo generativo puede crear poesía luego de entrenar con un conjunto de datos de poemas. La parte del generador de una red generativa adversaria entra en esta categoría.
• Determina la probabilidad de que un ejemplo nuevo provenga del conjunto de entrenamiento o se haya creado desde el mismo mecanismo que creó el conjunto de entrenamiento. Por ejemplo, después de entrenar con un conjunto de datos compuesto por oraciones en inglés, un modelo generativo podría determinar la probabilidad de que una nueva entrada sea una oración válida en inglés.

Un modelo generativo puede, en teoría, discernir la distribución de ejemplos o atributos particulares de un conjunto de datos. Es decir:

p(examples)

Los modelos de aprendizaje no supervisado son generativos.

Compara esto con los modelos discriminativos.

generador

El subsistema dentro de una red generativa adversaria que crea ejemplos nuevos.

Compara esto con los modelos discriminativos.

impureza de la gin

#df

Una métrica similar a la entropía. Los divisores usan valores derivados de la impureza de gin o la entropía para componer condiciones en los árboles de decisión de clasificación. La obtención de información se deriva de la entropía. No existe un término equivalente universalmente aceptado para la métrica derivada de la impureza de gin; sin embargo, esta métrica sin nombre es tan importante como la ganancia de información.

La impureza de Gini también se denomina índice de gini o simplemente gini.

Haz clic en el ícono para obtener detalles matemáticos sobre la impureza de la gini.

La impureza de Gini es la probabilidad de clasificar erróneamente un nuevo dato tomado de la misma distribución. La impureza de gin de un conjunto con dos valores posibles "0" y "1" (por ejemplo, las etiquetas en un problema de clasificación binaria) se calcula a partir de la siguiente fórmula:

   I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

Donde:

• I es la impureza de la gini.
• p es la fracción de ejemplos de “1”.
• q es la fracción de ejemplos de "0". Ten en cuenta que q = 1-p

Por ejemplo, considera el siguiente conjunto de datos:

• 100 etiquetas (0.25 del conjunto de datos) contienen el valor "1"
• 300 etiquetas (0.75 del conjunto de datos) contienen el valor "0"

Por lo tanto, la impureza de la gini es:

• p = 0.25
• q = 0.75
• I = 1 - (0.25² + 0.75²) = 0.375

En consecuencia, una etiqueta aleatoria del mismo conjunto de datos tendría un 37.5% de probabilidades de ser clasificada de forma incorrecta y una probabilidad del 62.5% de ser clasificada de forma adecuada.

Una etiqueta perfectamente equilibrada (por ejemplo, 200 “0” y 200 “1”) tendría una impureza de gin de 0.5. Una etiqueta altamente desequilibrada tendría una impureza de ginini cercana a 0.0.

---

conjunto de datos dorados

Un conjunto de datos seleccionados manualmente que capturan la verdad fundamental. Los equipos pueden usar uno o más conjuntos de datos dorados para evaluar la calidad de un modelo.

Algunos conjuntos de datos dorados capturan diferentes subdominios de verdad fundamental. Por ejemplo, un conjunto de datos dorado para la clasificación de imágenes podría capturar las condiciones de iluminación y la resolución de imágenes.

GPT (transformador generativo previamente entrenado)

#language

Una familia de modelos grandes de lenguaje basados en Transformer desarrolladas por OpenAI.

Las variantes de GPT se pueden aplicar a varias modalidades, incluidas las siguientes:

• generación de imágenes (por ejemplo, ImageGPT)
• generación de texto a imagen (por ejemplo, DALL-E).

gradient

Vector de las derivadas parciales con respecto a todas las variables independientes. En el aprendizaje automático, el gradiente es el vector de las derivadas parciales de la función del modelo. El gradiente apunta en la dirección del aumento más empinado.

acumulación de gradientes

Una técnica de propagación inversa que actualiza los parámetros solo una vez por época en lugar de una vez por iteración. Después de procesar cada minilote, la acumulación de gradientes simplemente actualiza un total continuo de gradientes. Luego, después de procesar el último minilote en el ciclo de entrenamiento, el sistema finalmente actualiza los parámetros según el total de todos los cambios de gradiente.

La acumulación de gradientes es útil cuando el tamaño del lote es muy grande en comparación con la cantidad de memoria disponible para el entrenamiento. Cuando la memoria es un problema, la tendencia natural es reducir el tamaño del lote. Sin embargo, reducir el tamaño del lote en la propagación inversa normal aumenta la cantidad de actualizaciones de parámetros. La acumulación de gradientes permite que el modelo evite problemas de memoria, pero que se entrene de manera eficiente.

árboles con boosting del gradiente (decisión) (GBT)

#df

Un tipo de bosque de decisión en el que:

• El entrenamiento se basa en el potenciación de gradientes.
• El modelo débil es un árbol de decisión.

potenciación de gradiente

#df

Algoritmo de entrenamiento en el que los modelos débiles se entrenan para mejorar de forma iterativa la calidad (reducir la pérdida) de un modelo sólido. Por ejemplo, un modelo débil podría ser uno lineal o uno de árbol de decisión pequeño. El modelo sólido se convierte en la suma de todos los modelos débiles previamente entrenados.

En la forma más simple de potenciación de gradiente, en cada iteración, se entrena un modelo débil para predecir el gradiente de pérdida del modelo sólido. Luego, se actualiza el resultado del modelo sólido restando el gradiente previsto, similar al descenso de gradientes.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

Donde:

• $F_{0}$ es el modelo sólido inicial.
• $F_{i+1}$ es el siguiente modelo sólido.
• $F_{i}$ es el modelo sólido actual.
• $\xi$ es un valor entre 0.0 y 1.0 llamado reducción, que es análogo a la tasa de aprendizaje en el descenso de gradientes.
• $f_{i}$ es el modelo débil entrenado para predecir el gradiente de pérdida de $F_{i}$.

Las variaciones modernas del potenciador de gradientes también incluyen la segunda derivada (hessiana) de la pérdida en su cálculo.

Por lo general, los árboles de decisión se usan como modelos débiles en el boosting de gradientes. Consulta los árboles de mayor gradiente (decisión).

recorte de gradientes

#seq

Es un mecanismo de uso general para mitigar el problema de gradiente con crecimiento mediante la limitación artificial (recorte) del valor máximo de los gradientes cuando se usa el descenso de gradientes para entrenar un modelo.

descenso de gradientes

#fundamentals

Técnica matemática para minimizar la pérdida. El descenso de gradientes ajusta de forma iterativa los pesos y los sesgos, y encuentra gradualmente la mejor combinación para minimizar la pérdida.

El descenso de gradientes es mucho más antiguo que el aprendizaje automático.

gráfico

#TensorFlow

En TensorFlow, especificación de procesamiento. Los nodos del grafo representan operaciones. Las conexiones están orientadas y representan el paso del resultado de una operación (un tensor) como un operando para otra operación. Usa TensorBoard para visualizar un gráfico.

ejecución por grafos

#TensorFlow

Entorno de programación de TensorFlow en el que el programa primero construye un gráfico y, luego, ejecuta todo o parte de ese grafo. La ejecución por grafos es el modo de ejecución predeterminado en TensorFlow 1.x.

Compara esto con la ejecución inmediata.

política voraz

#rl

En el aprendizaje por refuerzo, una política que siempre elige la acción con el retorno más alto esperado.

Verdad fundamental

#fundamentals

Realidad.

Lo que sucedió en realidad.

Por ejemplo, considera un modelo de clasificación binaria que prediga si un estudiante de su primer año de universidad se graduará en un plazo de seis años. La verdad fundamental de este modelo es si el estudiante se graduó en seis años o no.

Haz clic en el ícono de notas adicionales.

Evaluamos la calidad del modelo en función de la verdad fundamental. Sin embargo, la verdad fundamental no siempre es totalmente veraz. Por ejemplo, considera los siguientes ejemplos de posibles imperfecciones en la verdad fundamental:

• En el ejemplo de graduación, ¿estamos seguros de que los registros de graduación de cada estudiante siempre sean correctos? ¿Los registros de la universidad son impecables?
• Supongamos que la etiqueta es un valor de punto flotante medido por instrumentos (por ejemplo, barómetros). ¿Cómo podemos asegurarnos de que cada instrumento se calibró de forma idéntica o de que cada medición se realizó en las mismas circunstancias?
• Si la etiqueta es una cuestión de opinión humana, ¿cómo podemos estar seguros de que cada evaluador humano evalúa los eventos de la misma manera? A veces intervienen evaluadores humanos expertos para mejorar la coherencia.

---

sesgo de correspondencia

#fairness

Suponer que lo que es cierto para un individuo también lo es para todos los miembros de ese grupo. Los efectos del sesgo de correspondencia pueden agravarse si se utiliza un muestreo de conveniencia para la recopilación de datos. En una muestra no representativa, se pueden realizar atribuciones que no reflejen la realidad.

Consulta también el sesgo de homogeneidad de los demás y el sesgo endogrupal.

H

alucinación

#language

La producción de una salida que parece plausible, pero objetivamente incorrecta, por parte de un modelo de IA generativa que pretende hacer una aserción sobre el mundo real. Por ejemplo, un modelo de IA generativa en el que se afirma que Barack Obama murió en 1865 está alucinando.

hash

En aprendizaje automático, mecanismo para agrupar datos categóricos, en especial cuando la cantidad de categorías es grande, pero la cantidad que realmente aparece en el conjunto de datos es comparativamente pequeña.

Por ejemplo, la Tierra es el hogar de cerca de 73,000 especies de árboles. Puedes representar cada una de las 73,000 especies de árboles en 73,000 buckets categóricos diferentes. De forma alternativa, si solo 200 de esas especies arbóreas realmente aparecen en un conjunto de datos, podrías usar el hash para dividir las especies arbóreas en tal vez 500 buckets.

Un solo bucket podría contener varias especies de árboles. Por ejemplo, con el hashing se podrían colocar baobab y arce rojo (dos especies con genéticas diferentes) en el mismo bucket. En cualquier caso, el hashing sigue siendo una buena manera de asignar grandes conjuntos categóricos a la cantidad de buckets seleccionada. El hashing convierte un atributo categórico que tiene una gran cantidad de valores posibles en una cantidad mucho menor de valores agrupando los valores de manera determinista.

heurística

Una solución simple y de rápida implementación a un problema. Por ejemplo, "Con una heurística, conseguimos un 86% de exactitud. Cuando cambiamos a una red neuronal profunda, la exactitud subió al 98%".

capa oculta

#fundamentals

Es una capa en una red neuronal entre la capa de entrada (los atributos) y la capa de salida (la predicción). Cada capa oculta consta de una o más neuronas. Por ejemplo, la siguiente red neuronal contiene dos capas ocultas, la primera con tres neuronas y la segunda con dos neuronas:

Una red neuronal profunda contiene más de una capa oculta. Por ejemplo, la ilustración anterior es una red neuronal profunda porque el modelo contiene dos capas ocultas.

agrupamiento en clústeres jerárquico

#clustering

Es una categoría de algoritmos de agrupamiento en clústeres que crean un árbol de clústeres. El agrupamiento en clústeres jerárquico es adecuado para datos jerárquicos, como taxonomías botánicas. Existen dos tipos de algoritmos de agrupamiento jerárquico:

• El agrupamiento aglomerado asigna primero cada ejemplo a su propio clúster y, de manera iterativa, combina los clústeres más cercanos para crear un árbol de jerarquías.
• El agrupamiento en clústeres divisivo agrupa primero todos los ejemplos en un clúster y, luego, divide el clúster de forma iterativa en un árbol jerárquico.

Compara esto con el agrupamiento en clústeres basado en centroides.

pérdida de bisagra

Una familia de funciones de pérdida para la clasificación diseñada con el fin de encontrar el límite de decisión lo más distante posible de cada ejemplo de entrenamiento, lo que maximiza el margen entre los ejemplos y el límite. Las KSVM usan la pérdida de bisagra (o una función relacionada, como la pérdida de bisagra al cuadrado). Para la clasificación binaria, la función de pérdida de bisagra se define de la siguiente manera:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

donde y es la etiqueta verdadera, ya sea -1 o +1, y y' es el resultado sin procesar del modelo de clasificación:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

En consecuencia, un diagrama de pérdida de bisagra frente a (y * y') se ve de la siguiente manera:

sesgo histórico

#fairness

Es un tipo de sesgo que ya existe en el mundo y que llegó a un conjunto de datos. Estos sesgos tienden a reflejar estereotipos culturales, desigualdades demográficas y prejuicios existentes contra ciertos grupos sociales.

Por ejemplo, considera un modelo de clasificación que predice si un solicitante de préstamo dejará de recibir su préstamo, el cual se entrenó con datos históricos de incumplimiento de préstamos de la década de 1980 provenientes de bancos locales de dos comunidades diferentes. Si los solicitantes anteriores de la Comunidad A tuvieran seis veces más probabilidades de incumplir los préstamos que los solicitantes de la Comunidad B, el modelo podría aprender un sesgo histórico que haría que el modelo tuviera menos probabilidades de aprobar los préstamos en la Comunidad A, incluso si las condiciones históricas que provocaron que las tasas de morosidad mayores en esa comunidad ya no fueran relevantes.

datos de exclusión

Ejemplos que de manera intencional no se usan (se "excluyen") durante el entrenamiento. El conjunto de datos de validación y el conjunto de datos de prueba son ejemplos de datos de exclusión. Los datos de exclusión ayudan a evaluar la capacidad de tu modelo para generalizar con respecto a datos que no sean los datos con los que se entrenó. La pérdida en el conjunto de exclusión proporciona una mejor estimación de la pérdida en un conjunto de datos nunca antes vistos que la pérdida en el conjunto de entrenamiento.

host

#TensorFlow

#GoogleCloud

Cuando se entrena un modelo de AA en chips aceleradores (GPU o TPU), es la parte del sistema que controla los siguientes aspectos:

• El flujo general del código.
• La extracción y transformación de la canalización de entrada.

Por lo general, el host se ejecuta en una CPU, no en un chip acelerador; el dispositivo manipula los tensores de los chips del acelerador.

hiperparámetro

#fundamentals

Las variables que tú o un servicio de ajuste de hiperparámetrosajustan durante ejecuciones sucesivas de entrenamiento de un modelo. Por ejemplo, la tasa de aprendizaje es un hiperparámetro. Puedes establecer la tasa de aprendizaje en 0.01 antes de una sesión de entrenamiento. Si determinas que 0.01 es demasiado alto, podrías establecer la tasa de aprendizaje en 0.003 para la siguiente sesión de entrenamiento.

Por el contrario, los parámetros son los diversos ponderaciones y sesgos que el modelo aprende durante el entrenamiento.

hiperplano

Límite que separa un espacio en dos subespacios. Por ejemplo, una línea es un hiperplano en dos dimensiones y un plano es un hiperplano en tres dimensiones. En el aprendizaje automático, un hiperplano es el límite que separa un espacio de dimensiones altas. Las máquinas de vectores compatibles con kernel usan hiperplanos para separar las clases positivas de las negativas, a menudo en un espacio de dimensiones muy altas.

I

i.i.d.

Abreviatura de independiente e idénticamente distribuido.

reconocimiento de imágenes

#image

Es un proceso que clasifica objetos, patrones o conceptos de una imagen. El reconocimiento de imágenes también se conoce como clasificación de imágenes.

Para obtener más información, consulta Práctica de AA: Clasificación de imágenes.

conjunto de datos desequilibrados

Sinónimo de conjunto de datos con desequilibrio de clases.

sesgo implícito

#fairness

Se crea automáticamente una asociación o suposición basada en los modelos mentales y los recuerdos de cada persona. El sesgo implícito puede afectar lo siguiente:

• Cómo se recopilan y clasifican los datos
• Cómo se diseñan y desarrollan los sistemas de aprendizaje automático

Por ejemplo, cuando se crea un clasificador para identificar fotos de bodas, un ingeniero puede usar como atributo la presencia de un vestido blanco en una foto. Sin embargo, los vestidos blancos eran habituales solo durante ciertas épocas y en ciertas culturas.

Consulta también el sesgo de confirmación.

imputación

Forma abreviada de imputación de valor.

incompatibilidad de métricas de equidad

#fairness

La idea de que algunas nociones de equidad son incompatibles entre sí y no se pueden satisfacer de forma simultánea. Como resultado, no existe una métrica universal para cuantificar la equidad que se pueda aplicar a todos los problemas de AA.

Si bien esto puede parecer desalentador, la incompatibilidad de las métricas de equidad no implica que los esfuerzos relacionados con la equidad sean inútiles. En cambio, sugiere que la equidad debe definirse de forma contextual para un problema de AA determinado, con el objetivo de evitar daños específicos de sus casos de uso.

Consulta “Sobre la (im) posibilidad de la equidad” para obtener un análisis más detallado de este tema.

aprendizaje en contexto

#language

#IAgenerativa

Sinónimo de instrucciones con ejemplos limitados.

independiente e idénticamente distribuido (i.i.d)

#fundamentals

Datos extraídos de una distribución que no cambia y en los que cada valor obtenido no depende de valores que se obtuvieron anteriormente. Un i.i.d. es el gas ideal del aprendizaje automático; una construcción matemática útil, pero casi nunca se encuentra exactamente en el mundo real. Por ejemplo, la distribución de los visitantes de una página web puede realizarse por i.i.d. en un período breve, es decir, la distribución no cambia durante ese período breve y la visita de una persona suele ser independiente de la visita de otra. Sin embargo, si amplías esa ventana de tiempo, pueden aparecer diferencias estacionales en los visitantes de la página web.

Consulta también la información sobre no estacionariedad.

equidad individual

#fairness

Una métrica de equidad que verifica si personas similares se clasifican de manera similar. Por ejemplo, Brobdingnagian Academy podría querer satisfacer la equidad individual y garantizar que dos estudiantes con calificaciones idénticas y calificaciones estandarizadas tengan la misma probabilidad de obtener admisión.

Ten en cuenta que la equidad individual depende completamente de cómo defines la “similitud” (en este caso, calificaciones y calificaciones), y puedes correr el riesgo de presentar nuevos problemas de equidad si tu métrica de similitud omite información importante (como el rigor del plan de estudios de un estudiante).

Consulta “Equidad a través del reconocimiento” para obtener un análisis más detallado de la equidad individual.

inferencia

#fundamentals

En el aprendizaje automático, el proceso de hacer predicciones mediante la aplicación de un modelo entrenado a ejemplos sin etiqueta.

Inferencia tiene un significado algo diferente en estadística. Consulta el artículo de Wikipedia sobre inferencia estadística para obtener más detalles.

ruta de inferencia

#df

En un árbol de decisiones, durante la inferencia, la ruta que toma un ejemplo particular desde la raíz a otras condiciones, que termina con una hoja. Por ejemplo, en el siguiente árbol de decisión, las flechas más gruesas muestran la ruta de inferencia para un ejemplo con los siguientes valores de atributos:

• x = 7
• y = 12
• z = -3

La ruta de inferencia que se muestra en la siguiente ilustración recorre tres condiciones antes de llegar a la hoja (Zeta).

Las tres flechas gruesas muestran la ruta de inferencia.

ganancia de información

#df

En los bosques de decisión, es la diferencia entre la entropía de un nodo y la suma ponderada (por cantidad de ejemplos) de la entropía de sus nodos secundarios. La entropía de un nodo es la entropía de los ejemplos de ese nodo.

Por ejemplo, considera los siguientes valores de entropía:

• entropía del nodo superior = 0.6
• entropía de un nodo secundario con 16 ejemplos relevantes = 0.2
• entropía de otro nodo secundario con 24 ejemplos relevantes = 0.1

Por lo tanto, el 40% de los ejemplos están en un nodo secundario y el 60% está en el otro nodo secundario. Por lo tanto:

• Suma de entropía ponderada de nodos secundarios = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

Por lo tanto, la ganancia de información es la siguiente:

• ganancia de información = entropía del nodo principal - suma de entropía ponderada de los nodos secundarios
• ganancia de información = 0.6 - 0.14 = 0.46

La mayoría de los divisores buscan crear condiciones que maximicen la obtención de información.

sesgo endogrupal

#fairness

Mostrar parcialidad por el propio grupo o las propias características Si los verificadores o evaluadores consisten en amigos, familiares o colegas del desarrollador de aprendizaje automático, el sesgo endogrupal puede invalidar las pruebas del producto o el conjunto de datos.

El sesgo endogrupal es una forma de sesgo de correspondencia. Consulta también el sesgo de homogeneidad de los demás.

generador de entrada

Mecanismo mediante el cual se cargan los datos en una red neuronal.

Un generador de entradas puede considerarse un componente responsable de procesar datos sin procesar en tensores que se iteran a fin de generar lotes para el entrenamiento, la evaluación y la inferencia.

capa de entrada

#fundamentals

La capa de una red neuronal que contiene el vector de atributos. Es decir, la capa de entrada proporciona ejemplos de entrenamiento o inferencia. Por ejemplo, la capa de entrada en la siguiente red neuronal consta de dos características:

condición de configuración

#df

En un árbol de decisiones, es una condición que comprueba la presencia de un elemento en un conjunto de elementos. Por ejemplo, la siguiente es una condición establecida:

  house-style in [tudor, colonial, cape]

Durante la inferencia, si el valor del atributo de estilo de casa es tudor, colonial o cape, esta condición se evalúa como Sí. Si el valor del componente de diseño de la casa es diferente (por ejemplo, ranch), esta condición se evalúa como No.

Por lo general, las condiciones integradas generan árboles de decisión más eficientes que las condiciones que prueban las funciones con codificación one-hot.

instancia

Sinónimo de ejemplo.

ajuste de instrucciones

#IAgenerativa

Una forma de ajuste que mejora la capacidad de un modelo de IA generativa para seguir las instrucciones. El ajuste de instrucciones implica entrenar un modelo en una serie de instrucciones que, por lo general, cubren una amplia variedad de tareas. El modelo ajustado con instrucciones resultante tiende a generar respuestas útiles a las instrucciones sin ejemplos en una variedad de tareas.

Comparar y contrastar con:

• ajuste eficiente de parámetros
• ajuste de mensajes

interpretabilidad

#fundamentals

La capacidad de explicar o presentar el razonamiento de un modelo de AA en términos comprensibles para un ser humano.

La mayoría de los modelos de regresión lineal, por ejemplo, son muy interpretables. (Solo tienes que ver las ponderaciones entrenadas para cada atributo). Los bosques de decisión también son muy interpretables. Sin embargo, algunos modelos requieren una visualización sofisticada para convertirse en interpretables.

Puedes usar la Herramienta de interpretabilidad de aprendizaje (LIT) para interpretar modelos de AA.

acuerdo entre evaluadores

Una medición de la frecuencia con la que los evaluadores humanos están de acuerdo al realizar una tarea. Si los evaluadores no están de acuerdo, es posible que se deban mejorar las instrucciones de la tarea. En algunas ocasiones, también se denomina acuerdo entre anotadores o fiabilidad entre evaluadores. Consulta también el coeficiente kappa de Cohen, que es una de las mediciones del acuerdo entre evaluadores más populares.

intersección sobre unión (IoU)

#image

Intersección de dos conjuntos divididos por su unión. En las tareas de detección de imágenes de aprendizaje automático, la IoU se usa para medir la exactitud del cuadro de límite previsto del modelo con respecto al cuadro de límite de la verdad fundamental. En este caso, la IoU de los dos cuadros es la relación entre el área superpuesta y el área total, y su valor varía de 0 (sin superposición del cuadro de límite previsto y del cuadro de límite de la verdad fundamental) a 1 (el cuadro de límite previsto y el cuadro de límite de verdad del suelo tienen exactamente las mismas coordenadas).

Por ejemplo, en la siguiente imagen:

• El cuadro de límite previsto (las coordenadas que delimitan el lugar en el que el modelo predice que se encuentra la tabla nocturna en la pintura) se muestra en color púrpura.
• El cuadro delimitador de verdad fundamental (las coordenadas que delimitan el lugar en el que se encuentra realmente la mesa nocturna de la pintura) está delineado en verde.

Aquí, la intersección de los cuadros delimitadores para la predicción y la verdad fundamental (abajo a la izquierda) es 1, y la unión de los cuadros delimitadores para la predicción y la verdad fundamental (abajo a la derecha) es 7, por lo que la IoU es \(\frac{1}{7}\).

IoU

Abreviatura de intersección sobre unión.

matriz de elementos

#recsystems

En los sistemas de recomendación, es una matriz de vectores de incorporación generada por la factorización de matrices que contiene señales latentes sobre cada elemento. Cada fila de la matriz de elementos contiene el valor de un solo atributo latente para todos los elementos. Por ejemplo, considera un sistema de recomendación de películas. Cada columna en la matriz de elementos representa una sola película. Las señales latentes pueden representar géneros o ser más difíciles de interpretar que impliquen interacciones complejas entre género, estrellas, antigüedad de la película y otros factores.

La matriz de elementos tiene la misma cantidad de columnas que la matriz objetivo que se factoriza. Por ejemplo, en un sistema de recomendación de películas que evalúa 10,000 títulos de películas, la matriz de elementos tendrá 10,000 columnas.

items

#recsystems

En un sistema de recomendación, son las entidades que recomienda un sistema. Por ejemplo, los elementos que recomienda una tienda de videos son videos, mientras que los libros son los que recomienda una librería.

iteración

#fundamentals

Una sola actualización de los parámetros de un modelo (los pesos y los sesgos del modelo) durante el entrenamiento. El tamaño del lote determina cuántos ejemplos procesa el modelo en una sola iteración. Por ejemplo, si el tamaño del lote es de 20, el modelo procesa 20 ejemplos antes de ajustar los parámetros.

Cuando se entrena una red neuronal, una sola iteración involucra los siguientes dos pases:

1. Un pase hacia delante para evaluar la pérdida en un solo lote.
2. Un pase hacia atrás (propagación inversa) para ajustar los parámetros del modelo en función de la pérdida y la tasa de aprendizaje

J

JAX

Una biblioteca de procesamiento de arrays que combina XLA (Accelerated Linear Algebra) y diferenciación automática para computación numérica de alto rendimiento. JAX proporciona una API simple y potente para escribir código numérico acelerado con transformaciones componibles. JAX proporciona las siguientes funciones:

• grad (diferenciación automática)
• jit (compilación justo a tiempo)
• vmap (vectorización o agrupación en lotes automática)
• pmap (paralelización)

JAX es un lenguaje para expresar y componer transformaciones de código numérico, análogo, pero con un alcance mucho mayor, a la biblioteca NumPy de Python. (De hecho, la biblioteca .numpy en JAX es una versión funcionalmente equivalente, pero completamente reescrita de la biblioteca NumPy de Python).

JAX es especialmente adecuado para acelerar muchas tareas de aprendizaje automático mediante la transformación de los modelos y los datos en un formato adecuado para el paralelismo entre GPU y chips aceleradores de TPU.

Flax, Optax, Pax y muchas otras bibliotecas se compilan en la infraestructura de JAX.

K

Keras

Una API de aprendizaje automático popular de Python. Keras se ejecuta en diversos frameworks de aprendizaje profundo, incluido TensorFlow, donde está disponible como tf.keras.

Máquinas de vectores de soporte de kernel (KSVM)

Algoritmo de clasificación que busca maximizar el margen entre clases positivas y clases negativas asignando vectores de datos de entrada a un espacio de dimensiones más altas. Por ejemplo, considera un problema de clasificación en el que el conjunto de datos de entrada tiene cien atributos. Para maximizar el margen entre las clases positivas y negativas, una KSVM podría asignar internamente esos atributos a un espacio de un millón de dimensiones. Las KSVM usan una función de pérdida llamada pérdida de bisagra.

puntos clave

#image

Las coordenadas de características particulares en una imagen. Por ejemplo, para un modelo de reconocimiento de imágenes que distingue especies de flores, los puntos clave pueden ser el centro de cada pétalo, el tallo, el estambre, etcétera.

validación cruzada de k-fold

Algoritmo para predecir la capacidad de un modelo de generalizar datos nuevos. La palabra k en k-fold se refiere a la cantidad de grupos iguales en los que divides los ejemplos de un conjunto de datos; es decir, entrenas y pruebas tu modelo k veces. Para cada ronda de entrenamiento y prueba, un grupo diferente es el conjunto de prueba, y todos los grupos restantes se convierten en el conjunto de entrenamiento. Después de k rondas de entrenamiento y pruebas, calculas la media y la desviación estándar de las métricas de prueba elegidas.

Por ejemplo, supongamos que tu conjunto de datos consta de 120 ejemplos. Supongamos además que decides establecer k en 4. Por lo tanto, después de mezclar los ejemplos, divides el conjunto de datos en cuatro grupos iguales de 30 ejemplos y realizas cuatro rondas de entrenamiento y prueba:

Por ejemplo, el error cuadrático medio (ECM) podría ser la métrica más significativa para un modelo de regresión lineal. Por lo tanto, encontrarás la media y la desviación estándar del ECM en las cuatro rondas.

k-medios

#clustering

Algoritmo de agrupamiento en clústeres popular que agrupa ejemplos en el aprendizaje no supervisado. El algoritmo k-means hace básicamente lo siguiente:

• Determina de forma iterativa los mejores puntos centrales k (conocidos como centroides).
• Asigna cada ejemplo al centroide más cercano. Los ejemplos más cercanos al mismo centroide pertenecen al mismo grupo.

El algoritmo k-means selecciona las ubicaciones del centroide para minimizar el cuadrado acumulativo de las distancias desde cada ejemplo hasta su centroide más cercano.

Por ejemplo, considera el siguiente diagrama de altura y ancho de perro:

Si k=3, el algoritmo k-means determinará tres centroides. Cada ejemplo se asigna a su centroide más cercano, lo que produce tres grupos:

Imagina que un fabricante quiere determinar los tamaños ideales de suéteres pequeños, medianos y grandes para perros. Los tres centroides identifican la altura media y el ancho medio de cada perro en ese grupo. Por lo tanto, el fabricante debería basar los tamaños de suéter en esos tres centroides. Ten en cuenta que el centroide de un clúster no suele ser un ejemplo del clúster.

En las ilustraciones anteriores, se muestra k-medios para ejemplos con solo dos atributos (altura y ancho). Ten en cuenta que k-means puede agrupar ejemplos en muchos atributos.

k-mediana

#clustering

Un algoritmo de agrupamiento en clústeres estrechamente relacionado con k-means. La diferencia práctica entre ambos es la siguiente:

• En k-medios, los centroides se determinan minimizando la suma de los cuadrados de la distancia entre un centroide candidato y cada uno de sus ejemplos.
• En k-mediana, los centroides se determinan minimizando la suma de la distancia entre un centroide candidato y cada uno de sus ejemplos.

Ten en cuenta que las definiciones de distancia también son diferentes:

• k-medios se basa en la distancia euclidiana del centroide a un ejemplo. (En dos dimensiones, la distancia euclidiana significa usar el teorema de Pitágoras para calcular la hipotenusa). Por ejemplo, la distancia de k-means entre (2,2) y (5,-2) sería:

$$ {\text{Euclidean distance}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5 $$

• k-median se basa en la distancia Manhattan del centroide a un ejemplo. Esta distancia es la suma de los deltas absolutos en cada dimensión. Por ejemplo, la distancia k-mediana entre (2,2) y (5,-2) sería:

$$ {\text{Manhattan distance}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7 $$

L

regularización L₀

#fundamentals

Es un tipo de regularización que penaliza el número total de pesos distintos de cero en un modelo. Por ejemplo, un modelo que tiene 11 pesos distintos de cero sería penalizado más que un modelo similar que tenga 10 pesos distintos de cero.

A veces, la regularización L₀ se denomina regularización de la norma L0.

Haz clic en el ícono de notas adicionales.

La regularización L₀ no suele ser práctica en modelos grandes, ya que la regularización L₀ convierte el entrenamiento en un problema de optimización convexo.

---

pérdida L₁

#fundamentals

Una función de pérdida que calcula el valor absoluto de la diferencia entre los valores reales de la etiqueta y los que predice un modelo. Por ejemplo, aquí puedes ver el cálculo de la pérdida L₁ para un lote de cinco ejemplos:

Valor real del ejemplo	Valor predicho del modelo	Valor absoluto de delta
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = Pérdida L1

La pérdida L₁ es menos sensible a los valores atípicos que la pérdida L₂.

El error absoluto medio es la pérdida L₁ promedio por ejemplo.

Haz clic en el ícono para ver los cálculos formales.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

En el ejemplo anterior, se ilustra lo siguiente:

• $n$ es la cantidad de ejemplos.
• $y$ es el valor real de la etiqueta.
• $\hat{y}$ es el valor que el modelo predice para $y$.

---

regularización L₁

#fundamentals

Es un tipo de regularización que penaliza los pesos en proporción a la suma del valor absoluto de los pesos. La regularización L₁ ayuda a llevar las ponderaciones de los atributos irrelevantes o poco relevantes a exactamente 0. Un atributo con un peso de 0 se quita de forma eficaz del modelo.

Compara esto con la regularización L₂.

pérdida L₂

#fundamentals

Una función de pérdida que calcula el cuadrado de la diferencia entre los valores reales de la etiqueta y los valores que predice un modelo. Por ejemplo, aquí puedes ver el cálculo de la pérdida L₂ para un lote de cinco ejemplos:

Valor real del ejemplo	Valor predicho del modelo	Cuadrado del delta
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = Pérdida L2

Debido al cuadrado, la pérdida de L₂ amplifica la influencia de los valores atípicos. Es decir, la pérdida L₂ reacciona con mayor fuerza a las predicciones erróneas que la pérdida L₁. Por ejemplo, la pérdida L₁ para el lote anterior sería 8 en lugar de 16. Observa que un solo valor atípico representa 9 de los 16.

En los modelos de regresión, por lo general, se usa la pérdida L₂ como la función de pérdida.

El error cuadrático medio es la pérdida L₂ promedio por ejemplo. Pérdida cuadrada es otro nombre para la pérdida L₂.

Haz clic en el ícono para ver los cálculos formales.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

En el ejemplo anterior, se ilustra lo siguiente:

• $n$ es la cantidad de ejemplos.
• $y$ es el valor real de la etiqueta.
• $\hat{y}$ es el valor que el modelo predice para $y$.

---

regularización L₂

#fundamentals

Es un tipo de regularización que penaliza los pesos en proporción a la suma de los cuadrados de los pesos. La regularización L₂ ayuda a llevar los pesos atípicos (aquellos con valores negativos bajos o positivos altos) más cerca del 0, pero no exactamente a 0. Los atributos con valores muy cercanos a 0 permanecen en el modelo, pero no influyen mucho en su predicción.

La regularización L₂ siempre mejora la generalización en los modelos lineales.

Compara esto con la regularización L₁.

etiqueta de recurso

#fundamentals

En el aprendizaje automático supervisado, la parte "respuesta" o "resultado" de un ejemplo.

Cada ejemplo etiquetado consta de uno o más atributos y una etiqueta. Por ejemplo, en un conjunto de datos de detección de spam, la etiqueta probablemente sería "es spam" o "no es spam". En un conjunto de datos de precipitaciones, la etiqueta podría ser la cantidad de lluvia que cayó durante un período determinado.

ejemplo etiquetado

#fundamentals

Ejemplo que contiene uno o más atributos y una etiqueta. Por ejemplo, en la siguiente tabla, se muestran tres ejemplos etiquetados de un modelo de valoración de casas, cada uno con tres atributos y una etiqueta:

Cantidad de dormitorios	Cantidad de baños	Antigüedad	Precio de la casa (etiqueta)
3	2	15	USD 345,000
2	1	72	USD 179,000
4	2	34	USD 392,000

En el aprendizaje automático supervisado, los modelos se entrenan con ejemplos etiquetados y realizan predicciones en ejemplos sin etiqueta.

Compara los ejemplos etiquetados con los sin etiquetas.

filtración de etiquetas

Una falla en el diseño del modelo en la que un atributo es un proxy para la etiqueta. Por ejemplo, considera un modelo de clasificación binaria que prediga si un cliente potencial comprará un producto en particular. Supongamos que uno de los atributos del modelo es un valor booleano llamado SpokeToCustomerAgent. Supongamos además que un agente del cliente solo se asigna después de que el cliente potencial realmente compró el producto. Durante el entrenamiento, el modelo aprenderá con rapidez la asociación entre SpokeToCustomerAgent y la etiqueta.

lambda

#fundamentals

Sinónimo de tasa de regularización.

Lambda es un término sobrecargado. Aquí nos enfocaremos en la definición del término dentro de la regularización.

LaMDA (modelo de lenguaje para aplicaciones de diálogo)

#language

Un modelo grande de lenguaje basado en Transformer y desarrollado por Google entrenado en un conjunto de datos de diálogo grande que puede generar respuestas de conversación realistas.

LaMDA: nuestra innovadora tecnología de conversaciones proporciona una descripción general.

puntos de referencia

#image

Sinónimo de puntos clave.

modelo de lenguaje

#language

Es un model que estima la probabilidad de que un model o una secuencia de tokens se produzcan en una secuencia más larga de tokens.

Haz clic en el ícono de notas adicionales.

Si bien son contradictorios, muchos modelos que evalúan texto no son modelos de lenguaje. Por ejemplo, los modelos de clasificación de texto y de análisis de opiniones no son modelos de lenguaje.

---

modelo grande de lenguaje

#language

Término informal sin una definición estricta que, por lo general, hace referencia a un modelo de lenguaje que tiene una gran cantidad de parámetros. Algunos modelos grandes de lenguaje contienen más de 100,000 millones de parámetros.

Haz clic en el ícono de notas adicionales.

Es posible que te preguntes cuándo un modelo de lenguaje se vuelve lo suficientemente grande para denominarse modelo de lenguaje extenso. En la actualidad, no existe un acuerdo que defina una línea que defina la cantidad de parámetros.

La mayoría de los modelos grandes de lenguaje actuales (por ejemplo, GPT) se basan en la arquitectura de Transformer.

---

espacio latente

#language

Sinónimo de espacio de incorporación.

oculta

#fundamentals

Es un conjunto de neuronas en una red neuronal. A continuación, se indican tres tipos comunes de capas:

• La capa de entrada, que proporciona valores para todos los atributos.
• Una o más capas ocultas, que encuentran relaciones no lineales entre los atributos y la etiqueta.
• La capa de salida, que proporciona la predicción.

Por ejemplo, en la siguiente ilustración, se muestra una red neuronal con una capa de entrada, dos capas ocultas y una capa de salida:

En TensorFlow, las capas también son funciones de Python que toman tensores y opciones de configuración como entrada y producen otros tensores como salida.

API de Layers (tf.layers)

#TensorFlow

API de TensorFlow para construir una red neuronal profunda como una composición de capas. Esta API te permite compilar diferentes tipos de capas, como las siguientes:

• tf.layers.Dense para una capa completamente conectada.
• tf.layers.Conv2D para una capa convolucional

La API de Layers sigue las convenciones de la API de capas de Keras. Es decir, aparte de un prefijo diferente, todas las funciones de la API de Layers tienen los mismos nombres y firmas que sus contrapartes en la API de Layers de Keras.

hoja

#df

Cualquier extremo en un árbol de decisión. A diferencia de una condición, una hoja no realiza una prueba. Más bien, una hoja es una posible predicción. Una hoja también es el nodo terminal de una ruta de inferencia.

Por ejemplo, el siguiente árbol de decisiones contiene tres hojas:

Herramienta de interpretabilidad de aprendizaje (LIT)

Una herramienta visual e interactiva para la comprensión de modelos y la visualización de datos.

Puedes usar LIT de código abierto para interpretar modelos o visualizar datos tabulares, de imágenes y de texto.

tasa de aprendizaje

#fundamentals

Es un número de punto flotante que le indica al algoritmo de descenso de gradientes la intensidad con la que debe ajustar las ponderaciones y los sesgos en cada iteración. Por ejemplo, una tasa de aprendizaje de 0.3 ajustaría las ponderaciones y los sesgos tres veces más que una tasa de aprendizaje de 0.1.

La tasa de aprendizaje es un hiperparámetro clave. Si estableces la tasa de aprendizaje demasiado baja, el entrenamiento tardará demasiado. Si estableces una tasa de aprendizaje demasiado alta, el descenso de gradientes suele tener problemas para alcanzar la convergencia.

Haz clic en el icono para obtener una explicación más matemática.

Durante cada iteración, el algoritmo de descenso de gradientes multiplica la tasa de aprendizaje por el gradiente. El producto resultante se denomina paso de gradiente.

---

regresión de mínimos cuadrados

Un modelo de regresión lineal entrenado mediante la minimización de la pérdida L₂.

linear

#fundamentals

Es una relación entre dos o más variables que se puede representar únicamente a través de la suma y la multiplicación.

El diagrama de una relación lineal es una línea.

Compara esto con lo no lineal.

modelo lineal

#fundamentals

Es un model que asigna un model por model para realizar model. (Los modelos lineales también incorporan un sesgo). Por el contrario, la relación entre los atributos y las predicciones en los modelos profundos suele ser no lineal.

Los modelos lineales suelen ser más fáciles de entrenar y interpretables que los modelos profundos. Sin embargo, los modelos profundos pueden aprender relaciones complejas entre atributos.

La regresión lineal y la regresión logística son dos tipos de modelos lineales.

Haz clic en el ícono para ver el cálculo.

Un modelo lineal sigue esta fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

En el ejemplo anterior, se ilustra lo siguiente:

• y' es la predicción sin procesar. En algunos tipos de modelos lineales, esta predicción sin procesar se modificará aún más. Por ejemplo, consulta regresión logística.
• b es el sesgo.
• w es un peso, por lo que w₁ es el peso del primer atributo, w₂ es el peso del segundo atributo, y así sucesivamente.
• x es un atributo, por lo que x₁ es el valor del primer atributo, x₂ es el valor del segundo atributo, y así sucesivamente.

Por ejemplo, supongamos que un modelo lineal de tres atributos aprende los siguientes sesgos y pesos:

• b = 7
• w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

Por lo tanto, a partir de tres atributos (x₁, x₂ y x₃), el modelo lineal usa la siguiente ecuación para generar cada predicción:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

Supongamos que un ejemplo en particular contiene los siguientes valores:

• x₁ = 4
• x₂ = -10
• x₃ = 5

Cuando se conectan esos valores a la fórmula, se genera una predicción para este ejemplo:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

Los modelos lineales incluyen no solo modelos que usan solo una ecuación lineal para hacer predicciones, sino también un conjunto más amplio de modelos que usan una ecuación lineal como solo un componente de la fórmula que realiza predicciones. Por ejemplo, la regresión logística procesa posteriormente la predicción sin procesar (y') para producir un valor de predicción final entre 0 y 1, exclusivamente.

---

regresión lineal

#fundamentals

Es un tipo de modelo de aprendizaje automático en el que se cumplen las siguientes condiciones:

• El modelo es un modelo lineal.
• La predicción es un valor de punto flotante. (Esta es la parte de la regresión de la regresión lineal).

Comparar la regresión lineal con la regresión logística Además, contrasta la regresión con la clasificación.

LIT

Abreviatura de la Herramienta de interpretabilidad de aprendizaje (LIT), que antes se conocía como esta herramienta.

LLM

#language

Abreviatura de modelo grande de lenguaje.

regresión logística

#fundamentals

Es un tipo de modelo de regresión que predice una probabilidad. Los modelos de regresión logística tienen las siguientes características:

• La etiqueta es categórica. Por lo general, el término regresión logística se refiere a la regresión logística binaria, es decir, a un modelo que calcula las probabilidades de las etiquetas con dos valores posibles. Una variante menos común, la regresión logística multinomial, calcula las probabilidades de las etiquetas con más de dos valores posibles.
• La función de pérdida durante el entrenamiento es Pérdida logística. (Se pueden colocar varias unidades de pérdida logística en paralelo para las etiquetas con más de dos valores posibles).
• El modelo tiene una arquitectura lineal, no una red neuronal profunda. Sin embargo, el resto de esta definición también se aplica a los modelos profundos que predicen probabilidades de etiquetas categóricas.

Por ejemplo, considera un modelo de regresión logística que calcula la probabilidad de que un correo electrónico de entrada sea spam o no spam. Durante la inferencia, supongamos que el modelo predice 0.72. Por lo tanto, el modelo estima lo siguiente:

• Hay una probabilidad del 72% de que el correo electrónico sea spam.
• Hay una probabilidad del 28% de que el correo electrónico no sea spam.

Un modelo de regresión logística usa la siguiente arquitectura de dos pasos:

1. El modelo genera una predicción sin procesar (y') mediante la aplicación de una función lineal de atributos de entrada.
2. El modelo usa esa predicción sin procesar como entrada para una función sigmoidea, que convierte la predicción sin procesar en un valor entre 0 y 1, exclusivo.

Como cualquier modelo de regresión, un modelo de regresión logística predice un número. Sin embargo, por lo general, este número se vuelve parte de un modelo de clasificación binaria de la siguiente manera:

• Si el número predicho es mayor que el umbral de clasificación, el modelo de clasificación binaria predice la clase positiva.
• Si el número predicho es menor que el umbral de clasificación, el modelo de clasificación binaria predice la clase negativa.

logits

Vector de predicciones sin procesar (no normalizadas) que genera un modelo de clasificación, que, por lo general, se pasa a una función de normalización. Si el modelo resuelve un problema de clasificación de clases múltiples, los logits suelen convertirse en una entrada para la función softmax. Luego, la función softmax genera un vector de probabilidades (normalizadas) con un valor para cada clase posible.

Pérdida logística

#fundamentals

La función de pérdida que se usa en la regresión logística binaria.

Haz clic en el ícono para ver el cálculo.

La siguiente fórmula calcula la pérdida logística:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

En el ejemplo anterior, se ilustra lo siguiente:

• \((x,y)\in D\) es el conjunto de datos que contiene muchos ejemplos etiquetados, que son \((x,y)\) pares.
• \(y\) es la etiqueta en un ejemplo etiquetado. Dado que se trata de regresión logística, cada valor de \(y\) debe ser 0 o 1.
• \(y'\) es el valor predicho (un valor entre 0 y 1, exclusivo), dado el conjunto de atributos en \(x\).

---

logaritmo de probabilidad

#fundamentals

Es el logaritmo de las probabilidades de que ocurra algún evento.

Haz clic en el ícono para ver el cálculo.

Si el evento es una probabilidad binaria, entonces las probabilidades se refieren a la relación entre la probabilidad de éxito (p) y la de fracaso (1-p). Por ejemplo, supongamos que un evento determinado tiene un 90% de probabilidades de éxito y una probabilidad de fracaso del 10%. En este caso, las probabilidades se calculan de la siguiente manera:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

El logaritmo de probabilidad es simplemente el logaritmo de las probabilidades. Por convención, "logaritmo" se refiere al logaritmo natural, pero en realidad podría ser cualquier base superior a 1. Por lo tanto, apegarse a la convención, los logaritmos de probabilidad de nuestro ejemplo son los siguientes:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

La función logaritmo de probabilidad es la inversa de la función sigmoidea.

---

Memoria a corto plazo de larga duración (LSTM)

#seq

Es un tipo de celda en una red neuronal recurrente que se usa para procesar secuencias de datos en aplicaciones como el reconocimiento de escritura a mano, la traducción automática y la escritura de leyendas de imágenes. Las LSTM solucionan el problema de desaparición del gradiente que ocurre cuando se entrenan RNN debido a secuencias de datos largas, ya que mantienen el historial en un estado de memoria interna basado en entradas y contexto nuevos de celdas anteriores en la RNN.

LoRA

#language

#IAgenerativa

Abreviatura de adaptabilidad de bajo rango.

pérdida

#fundamentals

Durante el entrenamiento de un modelo supervisado, una medida de qué tan lejos está la predicción de un modelo de su etiqueta.

Una función de pérdida calcula la pérdida.

agregador de pérdida

Es un tipo de algoritmo de aprendizaje automático que mejora el rendimiento de un modelo mediante la combinación de las predicciones de varios modelos y su uso para realizar una sola predicción. Como resultado, un agregador de pérdidas puede reducir la varianza de las predicciones y mejorar su exactitud.

curva de pérdida

#fundamentals

Es un gráfico de la pérdida como una función de la cantidad de iteraciones de entrenamiento. En el siguiente gráfico, se muestra una curva de pérdida típica:

Las curvas de pérdida pueden ayudarte a determinar cuándo tu modelo está convergiendo o sobreajuste.

Las curvas de pérdida pueden representar todos los siguientes tipos de pérdida:

• pérdida de entrenamiento
• pérdida de validación
• pérdida de prueba

Consulta también la curva de generalización.

función de pérdida

#fundamentals

Durante el entrenamiento o las pruebas, una función matemática que calcula la pérdida en un lote de ejemplos. Una función de pérdida muestra una pérdida menor en los modelos que hacen buenas predicciones que en los modelos que hacen predicciones erróneas.

Por lo general, el objetivo del entrenamiento es minimizar la pérdida que devuelve una función de pérdida.

Existen muchos tipos diferentes de funciones de pérdida. Elige la función de pérdida apropiada para el tipo de modelo que estás compilando. Por ejemplo:

• La pérdida L₂ (o el error cuadrático medio) es la función de pérdida para la regresión lineal.
• Pérdida logística es la función de pérdida para la regresión logística.

superficie de pérdida

Gráfico que compara el peso o la pérdida El descenso de gradientes tiene como objetivo encontrar los pesos para los que la superficie de pérdida es el mínimo local.

Adaptabilidad de bajo rango (LoRA)

#language

#IAgenerativa

Algoritmo para realizar un ajuste eficiente de los parámetros que ajusta solo un subconjunto de los parámetros de un modelo grande de lenguaje. LoRA proporciona los siguientes beneficios:

• Se ajusta más rápido que las técnicas que requieren el ajuste de todos los parámetros de un modelo.
• Se reduce el costo de procesamiento de la inferencia en el modelo ajustado.

Un modelo ajustado con LoRA mantiene o mejora la calidad de sus predicciones.

LoRA habilita múltiples versiones especializadas de un modelo.

LSTM

#seq

Abreviatura de Memoria a corto plazo de larga duración.

M

aprendizaje automático

#fundamentals

Es un programa o sistema que entrena un modelo a partir de datos de entrada. El modelo entrenado puede hacer predicciones útiles a partir de datos nuevos (nunca vistos) extraídos de la misma distribución que los utilizados para entrenar el modelo.

El aprendizaje automático también es el campo de estudio relacionado con estos programas o sistemas.

clase mayoritaria

#fundamentals

Etiqueta más común en un conjunto de datos con desequilibrio de clases. Por ejemplo, dado un conjunto de datos que contiene un 99% de etiquetas negativas y un 1% de etiquetas positivas, las etiquetas negativas son la clase mayoritaria.

Compara esto con la clase minoritaria.

Proceso de decisión de Markov (MDP)

#rl

Gráfico que representa el modelo de toma de decisiones en el que se toman decisiones (o acciones) para navegar por una secuencia de estados bajo la suposición de que contiene la propiedad de Markov. En el aprendizaje por refuerzo, estas transiciones entre estados muestran una recompensa numérica.

Propiedad de Markov

#rl

Una propiedad de ciertos entornos, en la que las transiciones de estado se determinan completamente en función de la información implícita en el estado actual y la acción del agente.

modelo de lenguaje enmascarado

#language

Un modelo de lenguaje que predice la probabilidad de que los tokens candidatos completen los espacios en blanco en una secuencia. Por ejemplo, un modelo de lenguaje enmascarado puede calcular probabilidades de palabras candidatas para reemplazar el subrayado en la siguiente oración:

La ____ del sombrero volvió.

En la literatura, se suele usar la cadena "MASK" en lugar de subrayado. Por ejemplo:

La "MASK" del sombrero regresó.

La mayoría de los modelos de lenguaje enmascarado modernos son bidireccionales.

matplotlib

Biblioteca de código abierto de trazado de código 2D de Python. matplotlib ayuda a visualizar diferentes aspectos del aprendizaje automático.

factorización de matrices

#recsystems

En matemáticas, es un mecanismo para encontrar las matrices cuyo producto escalar se aproxima a una matriz objetivo.

En los sistemas de recomendación, la matriz objetivo a menudo conserva las calificaciones de los usuarios en los elementos. Por ejemplo, la matriz objetivo para un sistema de recomendación de películas podría verse de la siguiente manera, en la que los números enteros positivos son calificaciones de los usuarios y 0 significa que el usuario no calificó la película:

	Casablanca	La historia de Filadelfia	Pantera Negra	Mujer Maravilla	Tiempos violentos
Usuario 1	5.0	3.0	0.0	2.0	0.0
Usuario 2	4.0	0.0	0.0	1.0	5.0
Usuario 3	3.0	1.0	4.0	5.0	0.0

El sistema de recomendación de películas tiene como objetivo predecir las calificaciones de los usuarios para las películas que no se calificaron. Por ejemplo, ¿le gustará al Usuario 1 Pantera Negra?

Un enfoque para los sistemas de recomendación es usar la factorización de matrices para generar las siguientes dos matrices:

• Una matriz de usuarios, formada por la cantidad de usuarios X la cantidad de dimensiones de incorporación.
• Una matriz de elementos, formada como la cantidad de dimensiones de incorporación X la cantidad de elementos

Por ejemplo, el uso de la factorización de matrices en nuestros tres usuarios y cinco elementos podría generar la siguiente matriz de usuarios y matriz de elementos:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

El producto escalar de la matriz de usuarios y la matriz de elementos produce una matriz de recomendaciones que contiene no solo las calificaciones originales de los usuarios, sino también las predicciones para las películas que cada usuario no vio. Por ejemplo, considera la calificación del Usuario 1 de Casablanca que fue de 5.0. El producto escalar que corresponde a esa celda en la matriz de recomendación debería ser aproximadamente 5.0 y es:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Más importante aún, ¿le gustará al Usuario 1 Pantera Negra? Tomando el producto escalar correspondiente a la primera fila y a la tercera columna, se obtiene una calificación prevista de 4.3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

La factorización de matrices generalmente produce una matriz de usuarios y una matriz de elementos que, en conjunto, son significativamente más compactas que la matriz objetivo.

Error absoluto medio (MAE)

Es la pérdida promedio por ejemplo cuando se usa la pérdida L₁. Calcula el error absoluto medio de la siguiente manera:

1. Calcular la pérdida L₁ de un lote
2. Divide la pérdida L₁ por la cantidad de ejemplos en el lote.

Haz clic en el ícono para ver los cálculos formales.

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

Donde:

• $n$ es la cantidad de ejemplos.
• $y$ es el valor real de la etiqueta.
• $\hat{y}$ es el valor que el modelo predice para $y$.

---

Por ejemplo, considera el cálculo de la pérdida L₁ en el siguiente lote de cinco ejemplos:

Valor real del ejemplo	Valor predicho del modelo	Pérdida (diferencia entre los valores reales y previstos)
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = Pérdida L1

Por lo tanto, la pérdida L₁ es 8 y el número de ejemplos es 5. Por lo tanto, el error absoluto medio es:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Compara el error absoluto medio con el error cuadrático medio y la raíz cuadrada del error cuadrático medio.

error cuadrático medio (ECM)

Es la pérdida promedio por ejemplo cuando se usa la pérdida L₂. Calcula el error cuadrático medio de la siguiente manera:

1. Calcula la pérdida L₂ de un lote.
2. Divide la pérdida L₂ por la cantidad de ejemplos en el lote.

Haz clic en el ícono para ver los cálculos formales.

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$ donde:

• $n$ es la cantidad de ejemplos.
• $y$ es el valor real de la etiqueta.
• $\hat{y}$ es la predicción del modelo de $y$.

---

Por ejemplo, considera la pérdida en el siguiente lote de cinco ejemplos:

Valor real	Predicción del modelo	Pérdida	Pérdida al cuadrado
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			16 = Pérdida L2

Por lo tanto, el error cuadrático medio es:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

El error cuadrático medio es un optimizador popular de entrenamiento, en especial para la regresión lineal.

Compara el error cuadrático medio con el error absoluto medio y la raíz cuadrada del error cuadrático medio.

TensorFlow Playground usa el error cuadrático medio para calcular los valores de pérdida.

Haz clic en el ícono para ver más detalles sobre los valores atípicos.

Los valores atípicos influyen fuertemente en el error cuadrático medio. Por ejemplo, una pérdida de 1 es una pérdida al cuadrado de 1, pero una pérdida de 3 es una pérdida al cuadrado de 9. En la tabla anterior, el ejemplo con una pérdida de 3 representa aproximadamente el 56% del error cuadrático medio, mientras que cada uno de los ejemplos con una pérdida de 1 representa solo el 6% del error cuadrático medio.

Los valores atípicos no influyen en el error absoluto medio con tanta eficacia como el error cuadrático medio. Por ejemplo, una pérdida de 3 representa solo alrededor del 38% del error absoluto medio.

El recorte es una forma de evitar que los valores atípicos extremos afecten la capacidad predictiva de tu modelo.

---

malla

#TensorFlow

#GoogleCloud

En la programación paralela del AA, es un término asociado con la asignación de los datos y el modelo a los chips TPU y la definición de cómo se fragmentarán o replicarán estos valores.

Malla es un término sobrecargado que puede significar cualquiera de las siguientes opciones:

• Un diseño físico de chips TPU.
• Una construcción lógica abstracta para asignar los datos y el modelo a los chips de TPU.

En cualquier caso, una malla se especifica como una forma.

metaaprendizaje

#language

Subconjunto del aprendizaje automático que descubre o mejora un algoritmo de aprendizaje. Un sistema de metaaprendizaje también puede apuntar a entrenar un modelo para que aprenda rápidamente una tarea nueva a partir de una pequeña cantidad de datos o de la experiencia obtenida en tareas anteriores. Por lo general, los algoritmos de metaaprendizaje intentan lograr lo siguiente:

• Mejora o aprende atributos diseñados a mano (como un inicializador o un optimizador).
• Sé más eficiente en términos de datos y procesamiento.
• Mejora la generalización.

El metaaprendizaje está relacionado con el aprendizaje en pocos ejemplos.

métrica

#TensorFlow

Una estadística que te interesa.

Un objetivo es una métrica que un sistema de aprendizaje automático intenta optimizar.

API de Metrics (tf.metrics) (Metrics API)

API de TensorFlow para evaluar modelos. Por ejemplo, tf.metrics.accuracy determina la frecuencia con la que las predicciones de un modelo coinciden con las etiquetas.

minilote

#fundamentals

Subconjunto pequeño seleccionado de forma aleatoria de un lote procesado en una iteración. El tamaño del lote de un minilote generalmente es entre 10 y 1,000 ejemplos.

Por ejemplo, supongamos que todo el conjunto de entrenamiento (el lote completo) consta de 1,000 ejemplos. Además, supongamos que estableces el tamaño del lote de cada minilote en 20. Por lo tanto, cada iteración determina la pérdida en 20 aleatorias de los 1,000 ejemplos y, luego, ajusta las ponderaciones y los sesgos según corresponda.

Es mucho más eficiente calcular la pérdida en un minilote que la pérdida en todos los ejemplos del lote completo.

descenso de gradientes estocástico de minilote

Algoritmo de descenso de gradientes que usa minilotes. En otras palabras, el descenso de gradientes estocástico de minilote estima la gradiente en función de un subconjunto pequeño de los datos de entrenamiento. El descenso de gradientes estocástico regular usa un minilote de tamaño 1.

pérdida de minimax

Es una función de pérdida para las redes generativas adversarias, que se basa en la entropía cruzada entre la distribución de los datos generados y los datos reales.

La pérdida de minimax se utiliza en el primer artículo para describir las redes generativas adversarias.

clase minoritaria

#fundamentals

Etiqueta menos común en un conjunto de datos con desequilibrio de clases. Por ejemplo, dado un conjunto de datos que contiene un 99% de etiquetas negativas y un 1% de etiquetas positivas, las etiquetas positivas son la clase minoritaria.

Compara esto con la clase de mayoría.

Haz clic en el ícono de notas adicionales.

Un conjunto de entrenamiento con un millón de ejemplos suena impresionante. Sin embargo, si la clase minoritaria está mal representada, incluso un conjunto de entrenamiento muy grande puede no ser suficiente. Enfócate menos en la cantidad total de ejemplos del conjunto de datos y más en la cantidad de ejemplos en la clase minoritaria.

Si tu conjunto de datos no contiene suficientes ejemplos de clases minoritarias, considera usar la reducción de muestreo (la definición en el segundo punto) para complementar la clase minoritaria.

---

AA

Abreviatura de aprendizaje automático.

MNIST

#image

Un conjunto de datos de dominio público compilado por LeCun, Cortes y Burges que contiene 60,000 imágenes, cada una de las cuales muestra cómo un ser humano escribió manualmente un dígito particular del 0 al 9. Cada imagen se almacena como un arreglo de números enteros de 28 × 28, en el que cada número entero es un valor en escala de grises entre 0 y 255, inclusive.

MNIST es un conjunto de datos canónico para el aprendizaje automático, que a menudo se usa para probar nuevos enfoques de aprendizaje automático. Para obtener más información, consulta The MNIST Database of HandWrite Digits.

modality

#language

Una categoría de datos de alto nivel. Por ejemplo, los números, el texto, las imágenes, el video y el audio son cinco modalidades diferentes.

model

#fundamentals

En general, cualquier construcción matemática que procese datos de entrada y muestre una salida. En otras palabras, un modelo es el conjunto de parámetros y estructura necesarios para que un sistema haga predicciones. En el aprendizaje automático supervisado, un modelo toma un ejemplo como entrada y, luego, infiere una predicción como salida. En el aprendizaje automático supervisado, los modelos difieren un poco. Por ejemplo:

• Un modelo de regresión lineal consta de un conjunto de ponderaciones y un sesgo.
• Un modelo de red neuronal consta de los siguientes elementos:
  • Un conjunto de capas ocultas, cada una de las cuales contiene una o más neuronas.
  • Los pesos y el sesgo asociados con cada neurona.
• Un modelo de árbol de decisión consta de lo siguiente:
  • La forma del árbol, es decir, el patrón en el que se conectan las condiciones y las hojas.
  • Las condiciones y se van.

Puedes guardar, restablecer o hacer copias de un modelo.

El aprendizaje automático no supervisado también genera modelos, por lo general, una función que puede asignar un ejemplo de entrada al clúster más apropiado.

Haz clic en el ícono para comparar funciones algebraicas y de programación con modelos de AA.

Una función algebraica como la siguiente es un modelo:

  f(x, y) = 3x -5xy + y2 + 17

La función anterior asigna valores de entrada (x e y) al resultado.

De forma similar, una función de programación como la siguiente también es un modelo:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

Un emisor pasa argumentos a la función de Python anterior, y la función de Python genera un resultado (a través de la declaración return).

Aunque una red neuronal profunda tiene una estructura matemática muy diferente de una función algebraica o de programación, una red neuronal profunda aún toma entradas (un ejemplo) y muestra un resultado (una predicción).

Un programador humano codifica una función de programación de forma manual. En cambio, un modelo de aprendizaje automático aprende los parámetros óptimos de forma gradual durante el entrenamiento automatizado.

---

capacidad del modelo

Complejidad de problemas que puede aprender un modelo. Cuanto más complejos sean los problemas que un modelo puede aprender, mayor será su capacidad. Por lo general, la capacidad de un modelo aumenta con la cantidad de parámetros del modelo. Para obtener una definición formal de capacidad del clasificador, consulta Dimensión VC.

transmisión en cascada del modelo

#IAgenerativa

Es un sistema que elige el model ideal para una consulta de inferencia específica.

Imagina un grupo de modelos, que va desde muy grandes (muchos parámetros) hasta muchos más pequeños (muchos menos parámetros). Los modelos muy grandes consumen más recursos de procesamiento en el momento de la inferencia que los modelos más pequeños. Sin embargo, los modelos muy grandes suelen inferir solicitudes más complejas que los modelos más pequeños. La cascada del modelo determina la complejidad de la consulta de inferencia y, luego, elige el modelo apropiado para realizar la inferencia. La motivación principal para usar modelos en cascada es reducir los costos de inferencia, ya que, por lo general, se seleccionan modelos más pequeños y se selecciona solo un modelo más grande para consultas más complejas.

Imagina que un modelo pequeño se ejecuta en un teléfono y una versión más grande de ese modelo se ejecuta en un servidor remoto. La cascada de un buen modelo reduce el costo y la latencia, ya que permite que el modelo más pequeño maneje solicitudes simples y solo llame al modelo remoto para manejar solicitudes complejas.

Consulta también routers de modelos.

paralelismo de modelos

#language

Es una forma de escalar el entrenamiento o la inferencia que coloca diferentes partes de un model en diferentes model. El paralelismo de modelos permite modelos que son demasiado grandes para caber en un solo dispositivo.

Por lo general, un sistema hace lo siguiente para implementar el paralelismo de modelos:

1. Fragmenta (divide) el modelo en partes más pequeñas.
2. Distribuye el entrenamiento de esas partes más pequeñas en múltiples procesadores. Cada procesador entrena su propia parte del modelo.
3. Combina los resultados para crear un modelo único.

El paralelismo de modelos ralentiza el entrenamiento.

Consulta también paralelismo de datos.

router modelo

#IAgenerativa

El algoritmo que determina el model ideal para la model en model. Por lo general, un router de modelo es un modelo de aprendizaje automático que aprende gradualmente a elegir el mejor modelo para una entrada determinada. Sin embargo, a veces un router de modelo podría ser un algoritmo más simple que no sea de aprendizaje automático.

entrenamiento de modelos

Es el proceso de determinar el mejor model.

Momentum

Algoritmo de descenso de gradientes sofisticado en el que un paso de aprendizaje depende no solo de la derivada en el paso actual, sino también de las derivadas de los pasos que lo preceden inmediatamente. El momento implica calcular un promedio móvil ponderado exponencialmente de los gradientes en el tiempo, análogo al momento en física. El impulso a veces evita que el aprendizaje se atasque en los mínimos locales.

clasificación de clases múltiples

#fundamentals

En el aprendizaje supervisado, es un problema de clasificación en el que el conjunto de datos contiene más de dos clases de etiquetas. Por ejemplo, las etiquetas en el conjunto de datos Iris deben ser una de las siguientes tres clases:

• Iris setosa
• Iris virginica
• Iris versicolor

Un modelo entrenado con el conjunto de datos Iris que predice el tipo Iris en ejemplos nuevos realiza una clasificación de clases múltiples.

Por el contrario, los problemas de clasificación que distinguen entre exactamente dos clases son modelos de clasificación binaria. Por ejemplo, un modelo de correo electrónico que predice es spam o no es spam es un modelo de clasificación binaria.

En los problemas de agrupamiento en clústeres, la clasificación de clases múltiples se refiere a más de dos clústeres.

regresión logística de clases múltiples

Uso de la regresión logística en problemas de clasificación de clases múltiples.

autoatención de varias cabezas

#language

Es una extensión de la autoatención que aplica el mecanismo de autoatención varias veces para cada posición en la secuencia de entrada.

Los Transformers presentaron la autoatención de varias cabezas.

modelo multimodal

#language

Un modelo cuyas entradas o salidas incluyen más de una modalidad. Por ejemplo, considera un modelo que toma una imagen y una leyenda de texto (dos modalidades) como atributos, y genera una puntuación que indica qué tan apropiada es la leyenda de texto para la imagen. Por lo tanto, las entradas de este modelo son multimodales y la salida es unimodal.

clasificación multinomial

Sinónimo de clasificación de clases múltiples.

regresión multinomial

Sinónimo de regresión logística de clases múltiples.

multitarea

Es una técnica de aprendizaje automático en la que se entrena un solo model para realizar varias model.

Los modelos de varias tareas a la vez se crean a través del entrenamiento con datos apropiados para cada una de las tareas. Esto permite que el modelo aprenda a compartir información en las tareas, lo que ayuda al modelo a aprender de manera más efectiva.

A menudo, un modelo entrenado para varias tareas ha mejorado las capacidades de generalización y puede ser más sólido en el control de diferentes tipos de datos.

N

trampa de NaN

Cuando un número del modelo se convierte en NaN durante el entrenamiento, lo que causa que muchos o todos los demás números del modelo se conviertan en un NaN.

NaN es una abreviatura de Not a Number.

comprensión del lenguaje natural

#language

Determinar las intenciones de un usuario en función de lo que el usuario escribió o dijo. Por ejemplo, un motor de búsqueda utiliza la comprensión del lenguaje natural para determinar lo que un usuario busca en función de lo que escribió o dijo.

clase negativa

#fundamentals

En la clasificación binaria, una clase se denomina positiva y la otra negativa. La clase positiva es lo que el modelo está probando y la clase negativa es la otra posibilidad. Por ejemplo:

• En un examen médico, la clase negativa podría ser “no es un tumor”.
• Es posible que la clase negativa en un clasificador de correo electrónico sea "no es spam".

Compara esto con la clase positiva.

muestreo negativo

Sinónimo de muestreo de candidatos.

Búsqueda de arquitectura neuronal (NAS)

Técnica para diseñar automáticamente la arquitectura de una red neuronal. Los algoritmos NAS pueden reducir el tiempo y los recursos necesarios para entrenar una red neuronal.

Por lo general, NAS usa lo siguiente:

• Un espacio de búsqueda, que es un conjunto de posibles arquitecturas
• Una función de fitness, que mide el rendimiento de una arquitectura particular en una tarea determinada.

Los algoritmos de NAS suelen comenzar con un pequeño conjunto de arquitecturas posibles y expandir gradualmente el espacio de búsqueda a medida que el algoritmo aprende más sobre qué arquitecturas son eficaces. Por lo general, la función de fitness se basa en el rendimiento de la arquitectura en un conjunto de entrenamiento, y el algoritmo suele entrenarse con una técnica de aprendizaje por refuerzo.

Los algoritmos de NAS demostraron ser eficaces en la búsqueda de arquitecturas de alto rendimiento para una variedad de tareas, como la clasificación de imágenes, la clasificación de texto y la traducción automática.

neuronal prealimentada

#fundamentals

Un model que contiene al menos una model Una red neuronal profunda es un tipo de red neuronal que contiene más de una capa oculta. Por ejemplo, en el siguiente diagrama, se muestra una red neuronal profunda que contiene dos capas ocultas.

Cada neurona en una red neuronal se conecta con todos los nodos de la siguiente capa. Por ejemplo, en el diagrama anterior, observa que cada una de las tres neuronas en la primera capa oculta se conecta por separado a ambas neuronas en la segunda capa oculta.

Las redes neuronales implementadas en computadoras a veces se denominan redes neuronales artificiales para diferenciarlas de las redes neuronales que se encuentran en el cerebro y otros sistemas nerviosos.

Algunas redes neuronales pueden imitar relaciones no lineales extremadamente complejas entre diferentes atributos y la etiqueta.

Consulta también red neuronal convolucional y red neuronal recurrente.

neurona

#fundamentals

En el aprendizaje automático, es una unidad distinta dentro de una capa oculta de una red neuronal. Cada neurona realiza la siguiente acción de dos pasos:

1. Calcula la suma ponderada de los valores de entrada multiplicados por sus pesos correspondientes.
2. Pasa la suma ponderada como entrada a una función de activación.

Una neurona en la primera capa oculta acepta entradas de los valores de atributos en la capa de entrada. Una neurona en cualquier capa oculta más allá de la primera acepta entradas de las neuronas en la capa oculta anterior. Por ejemplo, una neurona en la segunda capa oculta acepta entradas de las neuronas en la primera capa oculta.

En la siguiente ilustración, se destacan dos neuronas y sus entradas.

Una neurona en una red neuronal imita el comportamiento de las neuronas en el cerebro y otras partes de los sistemas nerviosos.

n-grama

#seq

#language

Secuencia ordenada de n palabras. Por ejemplo, realmente loco es un 2-grama. Como el orden es relevante, loco realmente es un 2-grama diferente a realmente loco.

N	Nombres para este tipo de n-grama	Ejemplos
2	bigrama o 2-grama	para ir, ir a, almorzar, cenar
3	trigrama o 3-grama	comí demasiado, tres ratones ciegos, las campanas suenan
4	4-grama	caminar en el parque, tierra con el viento, el niño comió lentejas

Muchos modelos de comprensión del lenguaje natural se basan en n-gramas para predecir la siguiente palabra que el usuario escribirá o dirá. Por ejemplo, que un usuario escribió tres tristes. Un modelo de CLN basado en trigramas probablemente predeciría que el usuario escribirá a continuación tigre.

Compara los n-gramas con la bolsa de palabras, que son conjuntos desordenados de palabras.

CLN

#language

Abreviatura de comprensión del lenguaje natural.

nodo (árbol de decisión)

#df

En un árbol de decisión, cualquier condición o hoja.

nodo (red neuronal)

#fundamentals

Una neurona en una capa oculta.

nodo (grafo de TensorFlow)

#TensorFlow

Una operación en un gráfico de TensorFlow

ruido

En términos generales, cualquier cosa que oculte la señal en un conjunto de datos. El ruido puede introducirse en los datos de varias maneras. Por ejemplo:

• Los evaluadores humanos cometen errores durante el etiquetado.
• Los instrumentos o personas omiten o registran incorrectamente los valores de atributos.

condición no binaria

#df

Condición que contiene más de dos resultados posibles. Por ejemplo, la siguiente condición no binaria contiene tres resultados posibles:

no lineal

#fundamentals

Es una relación entre dos o más variables que no se puede representar únicamente a través de la suma y la multiplicación. Una relación lineal se puede representar como una línea, mientras que una no lineal no como una línea. Por ejemplo, considera dos modelos que relaciona un atributo único con una sola etiqueta. El modelo de la izquierda es lineal y el de la derecha no es lineal:

sesgo de no respuesta

#fairness

Consulta Sesgo de selección.

no estacionariedad

#fundamentals

Atributo cuyos valores cambian entre una o más dimensiones, generalmente el tiempo. Por ejemplo, considera los siguientes ejemplos de no estacionariedad:

• La cantidad de trajes de baño que se venden en una tienda específica varía según la temporada.
• La cantidad de una fruta en particular cosechada en una región determinada es cero durante gran parte del año, pero alta durante un período breve.
• Debido al cambio climático, las temperaturas promedio anuales están cambiando.

Compara esto con la estacionaridad.

normalización

#fundamentals

En términos generales, el proceso de convertir el rango de valores real de una variable en uno estándar, como el siguiente:

• De -1 a +1
• De 0 a 1
• la distribución normal

Por ejemplo, supongamos que el rango real de valores de un atributo determinado es de 800 a 2,400. Como parte de la ingeniería de atributos, podrías normalizar los valores reales a un rango estándar, como de -1 a +1.

La normalización es una tarea común en la ingeniería de atributos. Por lo general, los modelos se entrenan más rápido (y producen mejores predicciones) cuando cada atributo numérico en el vector de atributos tiene más o menos el mismo rango.

detección de novedad

Es el proceso de determinar si un ejemplo nuevo (novedoso) proviene de la misma distribución que el conjunto de entrenamiento. En otras palabras, después del entrenamiento en el conjunto de entrenamiento, la detección de la novedad determina si un ejemplo nuevo (durante una inferencia o durante el entrenamiento adicional) es un valor atípico.

Compara esto con la detección de valores atípicos.

datos numéricos

#fundamentals

Atributos representados como números enteros o de valores reales. Por ejemplo, un modelo de valoración de casas probablemente representaría el tamaño de una casa (en pies cuadrados o metros cuadrados) como datos numéricos. Representar un atributo como datos numéricos indica que los valores del atributo tienen una relación matemática con la etiqueta. Es decir, es probable que el número de metros cuadrados de una casa tenga alguna relación matemática con el valor de la casa.

No todos los datos de números enteros deben representarse como datos numéricos. Por ejemplo, los códigos postales de algunas partes del mundo son números enteros; sin embargo, los códigos postales de números enteros no deben representarse como datos numéricos en los modelos. Esto se debe a que un código postal de 20000 no es el doble (o la mitad) de la potencia que un código postal de 10000. Además, aunque los diferentes códigos postales sí se correlacionan con diferentes valores de bienes raíces, no podemos suponer que los valores de bienes raíces en el código postal 20000 son dos veces más valiosos que los valores de bienes raíces en el código postal 10000. En cambio, los códigos postales deben representarse como datos categóricos.

A veces, los atributos numéricos se denominan atributos continuos.

NumPy

Biblioteca matemática de código abierto que proporciona operaciones de matrices eficaces en Python. Pandas se basa en NumPy.

O

objetivo

Una métrica que el algoritmo intenta optimizar.

función objetiva

Es la fórmula matemática o métrica que un modelo quiere optimizar. Por ejemplo, la función objetiva para la regresión lineal suele ser la pérdida cuadrada media. Por lo tanto, cuando se entrena un modelo de regresión lineal, el objetivo del entrenamiento es minimizar la pérdida cuadrática media.

En algunos casos, el objetivo es maximizar la función objetiva. Por ejemplo, si la función objetiva es exactitud, el objetivo es maximizar la exactitud.

Consulta también pérdida.

condición oblicua

#df

En un árbol de decisiones, es una condición que involucra más de un atributo. Por ejemplo, si ambos atributos son altura y ancho, la siguiente es una condición oblicua:

  height > width

Compara esto con la condición alineada al eje.

sin conexión

#fundamentals

Sinónimo de estática.

inferencia sin conexión

#fundamentals

Es el proceso mediante el cual un modelo genera un lote de predicciones y, luego, almacena en caché (guarda) esas predicciones. Las apps pueden acceder a la predicción inferida desde la caché, en lugar de volver a ejecutar el modelo.

Por ejemplo, considera un modelo que genere pronósticos meteorológicos locales (predicciones) una vez cada cuatro horas. Luego de ejecutar cada modelo, el sistema almacena en caché todas las previsiones meteorológicas locales. Las apps meteorológicas recuperan las previsiones de la caché.

La inferencia sin conexión también se denomina inferencia estática.

Compara esto con la inferencia en línea.

codificación one-hot

#fundamentals

Representar datos categóricos como un vector en el que sucede lo siguiente:

• Un elemento se establece en 1.
• Todos los demás elementos se establecen en 0.

La codificación one-hot se usa comúnmente para representar strings o identificadores que tienen un conjunto finito de valores posibles. Por ejemplo, supongamos que un atributo categórico determinado llamado Scandinavia tiene cinco valores posibles:

• "Dinamarca"
• "Suecia"
• "Noruega"
• "Finlandia"
• “Islandia”

La codificación one-hot podría representar cada uno de los cinco valores de la siguiente manera:

country	Vector
"Dinamarca"	1	0	0	0	0
"Suecia"	0	1	0	0	0
"Noruega"	0	0	1	0	0
"Finlandia"	0	0	0	1	0
“Islandia”	0	0	0	0	1

Gracias a la codificación one-hot, un modelo puede aprender diferentes conexiones en función de cada uno de los cinco países.

La representación de un atributo como datos numéricos es una alternativa a la codificación one-hot. Lamentablemente, representar los países escandinavos en números no es una buena opción. Por ejemplo, considera la siguiente representación numérica:

• "Dinamarca" es 0
• "Suecia" es 1
• "Noruega" es 2
• "Finlandia" es 3
• "Islandia" cumple 4

Con la codificación numérica, un modelo interpretaría los números sin procesar de manera matemática y trataría de entrenarlos con esos números. Sin embargo, Islandia no es en realidad el doble (o la mitad) de algo que Noruega, por lo que el modelo llegaría a conclusiones extrañas.

aprendizaje en un intento

Enfoque de aprendizaje automático, que a menudo se usa para la clasificación de objetos, diseñado para aprender clasificadores eficaces a partir de un solo ejemplo de entrenamiento.

Consulta también el aprendizaje con ejemplos limitados y el aprendizaje sin ejemplos.

instrucciones con un solo ejemplo

#language

#IAgenerativa

Una instrucción que contiene un ejemplo que demuestra cómo debería responder el modelo grande de lenguaje. Por ejemplo, el siguiente mensaje contiene un ejemplo que muestra un modelo grande de lenguaje cómo debería responder una consulta.

Partes de un mensaje	Notas
¿Cuál es la moneda oficial del país especificado?	La pregunta que quieres que responda el LLM.
Francia: EUR	Un ejemplo:
India:	Es la consulta real.

Compara y contrasta las instrucciones de un solo ejemplo con los siguientes términos:

• instrucción sin ejemplos
• instrucciones con ejemplos limitados

uno frente a todos

#fundamentals

En un problema de clasificación con N clases, es una solución que consta de N clasificadores binarios independientes, es decir, un clasificador binario para cada resultado posible. Por ejemplo, dado un modelo que clasifica ejemplos como animal, vegetal o mineral, una solución de uno frente a todos proporcionaría los siguientes tres clasificadores binarios separados:

• animal frente a no animal
• vegetal versus no vegetal
• mineral frente a no mineral

en línea

#fundamentals

Sinónimo de dinámico.

inferencia en línea

#fundamentals

Generación de predicciones a pedido. Por ejemplo, supongamos que una app pasa entradas a un modelo y emite una solicitud de predicción. Un sistema que usa inferencia en línea responde a la solicitud ejecutando el modelo (y mostrando la predicción a la app).

Compara esto con la inferencia sin conexión.

operación (op)

#TensorFlow

En TensorFlow, cualquier procedimiento que crea, manipula o destruye un tensor. Por ejemplo, una multiplicación de matrices es una operación que toma dos tensores como entrada y genera un tensor como salida.

Optax

Una biblioteca de procesamiento y optimización de gradientes para JAX. Optax facilita la investigación, ya que proporciona componentes básicos que se pueden recombinar de formas personalizadas para optimizar modelos paramétricos, como redes neuronales profundas. Otros objetivos incluyen:

• Proporciona implementaciones eficaces, legibles y bien probadas de los componentes principales.
• Mejora la productividad, ya que permite combinar ingredientes de bajo nivel en optimizadores personalizados (o cualquier otro componente de procesamiento de gradientes).
• Acelerar la adopción de ideas nuevas, ya que facilita la contribución de cualquier persona.

optimizador

Es una implementación específica del algoritmo de descenso de gradientes. Entre los optimizadores populares, se incluyen los siguientes:

• AdaGrad, que significa Descenso de GRADientes ADAptable.
• Adam, que significa ADAptable con el ímpetu.

sesgo de homogeneidad de los demás

#fairness

Tendencia a ver a los miembros de los demás grupos como más parecidos que los miembros del grupo cuando se comparan actitudes, valores, rasgos de personalidad y otras características. Endogrupal se refiere a las personas con las que interactúas regularmente; los demás se refiere a las personas con las que no interactúas regularmente. Si creas un conjunto de datos pidiéndoles a las personas que proporcionen atributos sobre los demás, esos atributos pueden tener menos matices y más estereotipo que los atributos que los participantes enumeran para las personas de su grupo.

Por ejemplo, los liliputantes podrían describir las casas de otros habitantes de esta ciudad con gran detalle y mencionar pequeñas diferencias en los estilos arquitectónicos, las ventanas, las puertas y los tamaños. Sin embargo, los mismos liliputantes podrían simplemente declarar que los habitantes de Berlín viven todos en casas idénticas.

El sesgo de homogeneidad de los demás es un tipo de sesgo de atribución de grupo.

Consulta también el sesgo endogrupal.

detección de valores atípicos

Proceso de identificación de valores atípicos en un conjunto de entrenamiento.

Compara esto con la detección de novedades.

los valores atípicos

Valores distantes de la mayoría de los demás valores. En el aprendizaje automático, cualquiera de los siguientes son valores atípicos:

• Datos de entrada cuyos valores son aproximadamente 3 desviaciones estándar de la media
• Ponderaciones con valores absolutos altos
• Valores predichos relativamente alejados de los valores reales

Por ejemplo, supongamos que widget-price es un atributo de un modelo determinado. Supongamos que la media de widget-price es de 7 euros con una desviación estándar de 1 euro. Por lo tanto, los ejemplos que contienen un widget-price de 12 euros o 2 euros se considerarán valores atípicos porque cada uno de esos precios está a cinco desviaciones estándar de la media.

Los valores atípicos suelen deberse a errores tipográficos u otros errores de entrada. En otros casos, los valores atípicos no son errores. Después de todo, los valores a cinco desviaciones estándar de la media son poco frecuentes, pero difíciles de imposible.

Los valores atípicos suelen causar problemas en el entrenamiento del modelo. El recorte es una forma de manejar los valores atípicos.

evaluación fuera de la bolsa (evaluación OOB)

#df

Un mecanismo para evaluar la calidad de un bosque de decisión mediante la prueba de cada árbol de decisión con los ejemplos que no se usaron durante el entrenamiento de ese árbol de decisión. Por ejemplo, en el siguiente diagrama, observa que el sistema entrena cada árbol de decisión en aproximadamente dos tercios de los ejemplos y, luego, lo evalúa en comparación con el tercio restante.

La evaluación fuera de la bolsa es una aproximación conservadora y eficiente en términos de procesamiento del mecanismo de validación cruzada. En la validación cruzada, se entrena un modelo para cada ronda de validación cruzada (por ejemplo, 10 modelos se entrenan en una validación cruzada de 10 veces). Con la evaluación OOB, se entrena un solo modelo. Debido a que las bolsas retienen algunos datos de cada árbol durante el entrenamiento, la evaluación OOB puede usar esos datos para aproximarse a la validación cruzada.

capa de salida

#fundamentals

La capa "final" de una red neuronal. La capa de salida contiene la predicción.

En la siguiente ilustración, se muestra una pequeña red neuronal profunda con una capa de entrada, dos capas ocultas y una capa de salida:

sobreajuste

#fundamentals

Crear un model que coincida con los model de manera tal que el modelo no pueda realizar predicciones correctas con datos nuevos.

La regularización puede reducir el sobreajuste. Entrenar en un conjunto de entrenamiento grande y diverso también puede reducir el sobreajuste.

Haz clic en el ícono de notas adicionales.

El sobreajuste es como seguir estrictamente los consejos de tu profesor favorito. Es probable que tengas éxito en la clase de ese profesor, pero podrías "sobreajustarte" a las ideas de ese profesor y no tener éxito en otras clases. Seguir los consejos de un grupo de profesores te permitirá adaptarte mejor a nuevas situaciones.

---

sobremuestreo

Reutilizar los ejemplos de una clase minoritaria en un conjunto de datos desequilibrados para crear un conjunto de entrenamiento más equilibrado

Por ejemplo, considera un problema de clasificación binaria en el que la proporción entre la clase de mayoría y la clase minoritaria es 5,000:1. Si el conjunto de datos contiene un millón de ejemplos, entonces contiene solo alrededor de 200 ejemplos de la clase minoritaria, que podrían ser muy pocos ejemplos para un entrenamiento eficaz. Para superar esta deficiencia, puedes realizar un muestreo excesivo (reutilizar) de esos 200 ejemplos varias veces, lo que podría generar suficientes ejemplos para un entrenamiento útil.

Debes tener cuidado con el sobreajuste cuando se realiza un sobremuestreo.

Compara esto con el submuestreo.

P

datos empaquetados

Un enfoque para almacenar datos de manera más eficiente.

Los datos empaquetados almacenan los datos mediante un formato comprimido o de alguna otra manera que permita acceder a ellos de manera más eficiente. Los datos empaquetados minimizan la cantidad de memoria y procesamiento requerida para acceder a ellos, lo que genera un entrenamiento más rápido y una inferencia de modelos más eficiente.

Los datos empaquetados suelen usarse con otras técnicas, como el aumento de datos y la regularización, lo que mejora aún más el rendimiento de los modelos.

pandas

#fundamentals

Una API de análisis de datos orientada a columnas compilada sobre numpy. Muchos frameworks de aprendizaje automático, incluido TensorFlow, admiten estructuras de datos de Pandas como entradas. Para obtener más información, consulta la documentación de Pandas.

parámetro

#fundamentals

Las ponderaciones y los sesgos que aprende un modelo durante el entrenamiento. Por ejemplo, en un modelo de regresión lineal, los parámetros consisten en el sesgo (b) y todos los pesos (w₁, w₂, etc.) en la siguiente fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Por el contrario, los hiperparámetros son los valores que tú (o un servicio de conversión de hiperparámetros) suministras al modelo. Por ejemplo, la tasa de aprendizaje es un hiperparámetro.

ajuste eficiente de parámetros

#language

#IAgenerativa

Es un conjunto de técnicas para ajustar un modelo de lenguaje previamente entrenado (PLM) grande de forma más eficiente que el ajuste completo. Por lo general, el ajuste eficiente de parámetros ajusta muchos menos parámetros que el ajuste completa y, por lo general, produce un modelo grande de lenguaje que funciona tan bien (o casi igual) que un modelo de lenguaje extenso compilado a partir de un ajuste completa.

Comparar y contrastar el ajuste eficiente de parámetros con lo siguiente:

• ajuste de instrucciones
• ajuste de mensajes

El ajuste eficiente de parámetros también se conoce como ajuste eficiente de parámetros.

Servidor de parámetros (PS)

#TensorFlow

Un trabajo que realiza un seguimiento de los parámetros de un modelo en una configuración distribuida.

actualización de parámetros

Es la operación para ajustar los parámetros de un modelo durante el entrenamiento, generalmente en una sola iteración de descenso de gradientes.

derivada parcial

Derivada en la que todas las variables excepto una se consideran una constante. Por ejemplo, la derivada parcial de f(x, y) con respecto a x es la derivada de f, considerada como función de x sola (es decir, y se mantiene constante). La derivada parcial de f con respecto a x se centra solo en cómo cambia x e ignora todas las demás variables de la ecuación.

sesgo de participación

#fairness

Sinónimo de sesgo de no respuesta. Consulta Sesgo de selección.

estrategia de partición

Es el algoritmo por el que las variables se dividen en los servidores de parámetros.

Pax

Un framework de programación diseñado para entrenar modelos de redes neuronales a gran escala que abarcan múltiples chips acelerador de TPU o Pods.

Pax se basa en Flax, que a su vez está compilado en JAX.

perceptrón

Sistema (ya sea hardware o software) que recibe uno o más valores de entrada, ejecuta una función sobre la suma ponderada de las entradas y calcula un solo valor de salida. En el aprendizaje automático, la función suele ser no lineal, como ReLU, sigmoide o tanh. Por ejemplo, el siguiente perceptrón depende de la función sigmoidea para procesar tres valores de entrada:

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

En la siguiente ilustración, el perceptrón toma tres entradas, cada una de las cuales se modifica con un peso antes de ingresar al perceptrón:

Los perceptrones son las neuronas en las redes neuronales.

rendimiento

Término sobrecargado con los siguientes significados:

• El significado estándar dentro de la ingeniería de software. A saber: ¿Qué tan rápido (o eficientemente) se ejecuta este software?
• El significado dentro del aprendizaje automático Aquí, el rendimiento responde a la siguiente pregunta: ¿qué tan correcto es este model? Es decir, ¿qué tan buenas son las predicciones del modelo?

importancias de variables de permutación

#df

Es un tipo de importancia de la variable que evalúa el aumento del error de predicción de un modelo después de permutar los valores de los atributos. La importancia de las variables de permutación es una métrica independiente del modelo.

perplejidad

Medición de qué tan bien está logrando su tarea un model. Por ejemplo, supongamos que tu tarea es leer las primeras letras de una palabra que un usuario está escribiendo en el teclado de un teléfono y ofrecer una lista de posibles palabras para completarlas. La perplejidad, P, para esta tarea es aproximadamente la cantidad de suposiciones que debes ofrecer para que tu lista contenga la palabra real que el usuario intenta escribir.

La perplejidad está relacionada con la entropía cruzada de la siguiente manera:

$$P= 2^{-\text{cross entropy}}$$

pipeline

La infraestructura que rodea a un algoritmo de aprendizaje automático. Una canalización incluye recopilar los datos, colocarlos en archivos de datos de entrenamiento, entrenar uno o más modelos y exportar los modelos a producción.

canalización

#language

Una forma de paralelismo de modelos en la que el procesamiento de un modelo se divide en etapas consecutivas y cada etapa se ejecuta en un dispositivo diferente. Mientras una etapa procesa un lote, la etapa anterior puede funcionar en el siguiente lote.

Consulta también la capacitación en etapas.

pjit

Una función JAX que divide el código para que se ejecute en varios chips aceleradores. El usuario pasa una función a pjit, que muestra una función con semántica equivalente, pero que se compila en un cálculo XLA que se ejecuta en varios dispositivos (como GPU o núcleos TPU).

pjit permite a los usuarios fragmentar los cálculos sin volver a escribirlos con el particionador SPMD.

A partir de marzo de 2023, pjit se combinó con jit. Consulta Arreglos distribuidos y paralelización automática para obtener más detalles.

PLM

#language

#IAgenerativa

Abreviatura de modelo de lenguaje previamente entrenado.

mapa de página

Una función JAX que ejecuta copias de una función de entrada en varios dispositivos de hardware subyacentes (CPU, GPU o TPU) con diferentes valores de entrada. pmap se basa en SPMD.

policy

#rl

En el aprendizaje por refuerzo, la asignación probabilística de un agente de estados a acciones.

reducción

#image

Reducir una matriz (o matrices) creada por una capa convolucional anterior a una matriz más pequeña. Por lo general, la reducción implica tomar el valor máximo o promedio en el área combinada. Por ejemplo, supongamos que tenemos la siguiente matriz de 3 x 3:

Una operación de reducción, al igual que una convolucional, divide esa matriz en porciones y, luego, desliza esa operación convolucional en segmentaciones. Por ejemplo, supongamos que la operación de reducción divide la matriz convolucional en porciones de 2 x 2 con un segmento de 1 x 1. Como se ilustra en el siguiente diagrama, se llevan a cabo cuatro operaciones de reducción. Imagina que cada operación de reducción elige el valor máximo de los cuatro en esa porción:

La reducción permite aplicar la invariancia traslacional en la matriz de entrada.

La reducción para aplicaciones de visión se conoce más formalmente como reducción espacial. Por lo general, las aplicaciones de series de tiempo se refieren a la reducción como reducción temporal. De manera menos formal, la reducción a menudo se denomina submuestreo o reducción de muestreo.

codificación posicional

#language

Una técnica para agregar información sobre la posición de un token en una secuencia a su incorporación. Los modelos de transformador usan la codificación posicional para comprender mejor la relación entre las diferentes partes de la secuencia.

Una implementación común de la codificación posicional usa una función sinusoidal. (En concreto, la frecuencia y la amplitud de la función sinusoidal se determinan por la posición del token en la secuencia). Esta técnica permite que un modelo Transformer aprenda a asistir a diferentes partes de la secuencia según su posición.

clase positiva

#fundamentals

La clase que estás probando.

Por ejemplo, la clase positiva en un modelo de cáncer podría ser “tumor”. La clase positiva en un clasificador de correo electrónico puede ser "spam".

Compara esto con la clase negativa.

Haz clic en el ícono de notas adicionales.

El término clase positiva puede ser confuso porque el resultado "positivo" de muchas pruebas suele ser un resultado no deseado. Por ejemplo, la clase positiva en muchos exámenes médicos corresponde a tumores o enfermedades. En general, querrás que un médico te diga: "¡Felicitaciones! Los resultados de la prueba fueron negativos". En cualquier caso, la clase positiva es el evento que la prueba busca encontrar.

Es cierto que realizas pruebas simultáneamente para las clases positiva y negativa.

---

procesamiento posterior

#fairness

#fundamentals

Ajustar el resultado de un modelo después de su ejecución El posprocesamiento se puede usar para aplicar restricciones de equidad sin modificar los modelos.

Por ejemplo, podrías aplicar el procesamiento posterior a un clasificador binario si estableces un umbral de clasificación, de modo que se mantenga la igualdad de oportunidades para algún atributo cuando se verifique que la tasa de verdaderos positivos sea la misma para todos los valores de ese atributo.

AUC de PR (área bajo la curva de PR)

Área bajo la curva de precisión-recuperación interpolada, que se obtiene trazando puntos (recuperación, precisión) para diferentes valores del umbral de clasificación. Según cómo se calcule, el AUC de PR puede ser equivalente a la precisión promedio del modelo.

Preje

Una biblioteca principal de AA de alto rendimiento de Pax. A menudo, Praxis se llama “Biblioteca de capas”.

La praxis no solo contiene las definiciones de la clase Layer, sino también la mayoría de sus componentes compatibles, incluidos los siguientes:

• entradas de datos
• de configuración de Terraform (HParam y Fiddle)
• optimizadores

La Praxis proporciona las definiciones de la clase Modelo.

precision

Una métrica para los modelos de clasificación que responde a la siguiente pregunta:

Cuando el modelo predijo la clase positiva, ¿qué porcentaje de las predicciones fueron correctas?

Esta es la fórmula:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

Donde:

• verdadero positivo significa que el modelo predijo correctamente la clase positiva.
• Falso positivo significa que el modelo predijo por error la clase positiva.

Por ejemplo, supongamos que un modelo hizo 200 predicciones positivas. De estas 200 predicciones positivas, ocurrió lo siguiente:

• 150 fueron verdaderos positivos.
• 50 fueron falsos positivos.

En este caso, ocurre lo siguiente:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

Compara esto con la exactitud y la recuperación.

curva de precisión-recuperación

Una curva de precisión frente a recuperación con diferentes umbrales de clasificación.

Predicción

#fundamentals

La salida de un modelo. Por ejemplo:

• La predicción de un modelo de clasificación binaria es la clase positiva o la clase negativa.
• La predicción de un modelo de clasificación de clases múltiples es de una clase.
• La predicción de un modelo de regresión lineal es un número.

sesgo de predicción

Es un valor que indica qué tan lejos está el promedio de predicciones del promedio de etiquetas en el conjunto de datos.

No se debe confundir con el término de sesgo en los modelos de aprendizaje automático ni con sesgo en la ética y la equidad.

AA predictivo

Cualquier sistema de aprendizaje automático estándar ("clásico").

El término AA predictivo no tiene una definición formal. Más bien, el término distingue una categoría de sistemas de AA que no se basan en la IA generativa.

paridad predictiva

#fairness

Una métrica de equidad que verifica si, para un clasificador determinado, las tasas de precisión son equivalentes para los subgrupos que se consideran.

Por ejemplo, un modelo que predice la aceptación de la universidad satisfaría la paridad predictiva de nacionalidad si su tasa de precisión es la misma para los liliputantes y los Brobdingnag.

En ocasiones, la paridad predictiva también se denomina paridad de tasa predictiva.

Consulta la “Explicación de las definiciones de equidad” (sección 3.2.1) para obtener un análisis más detallado de la paridad predictiva.

paridad de tasa predictiva

#fairness

Otro nombre para la paridad predictiva.

procesamiento previo

#fairness

Procesamiento de datos antes de que se usen para entrenar un modelo. El procesamiento previo podría ser tan simple como quitar palabras de un corpus de texto en inglés que no aparecen en el diccionario de ese idioma, o bien podría ser tan complejo como volver a expresar los datos de una manera que elimine la mayor cantidad posible de atributos correlacionados con atributos sensibles. El procesamiento previo puede ayudar a satisfacer las restricciones de equidad.

modelo previamente entrenado

#language

#image

#IAgenerativa

Modelos o componentes del modelo (como un vector de incorporación) que ya se entrenaron. En algunas ocasiones, proporcionarás vectores de incorporación previamente entrenados en una red neuronal. En otras ocasiones, el modelo entrenará los vectores de incorporación en lugar de basarse en las incorporaciones previamente entrenadas.

El término modelo de lenguaje previamente entrenado hace referencia a un modelo grande de lenguaje que pasó por un entrenamiento previo.

entrenamiento previo

#language

#image

#IAgenerativa

Es el entrenamiento inicial de un modelo en un conjunto de datos grande. Algunos modelos previamente entrenados son gigantes torpes y, por lo general, deben definirse mejor con un entrenamiento adicional. Por ejemplo, los expertos en AA podrían entrenar previamente un modelo grande de lenguaje con un conjunto de datos de texto extenso, como todas las páginas en inglés de Wikipedia. Después del entrenamiento previo, el modelo resultante puede definirse aún más con cualquiera de las siguientes técnicas:

• destilación
• ajuste
• ajuste de instrucciones
• ajuste eficiente de parámetros
• ajuste de mensajes

creencias previas

Lo que piensas sobre los datos antes de empezar a entrenarlos. Por ejemplo, la regularización L₂ se basa en la creencia previa de que los pesos deben ser pequeños y, por lo general, distribuirse alrededor de cero.

modelo de regresión probabilística

Modelo de regresión que usa no solo las ponderaciones de cada atributo, sino también la incertidumbre de esas ponderaciones. Un modelo de regresión probabilístico genera una predicción y la incertidumbre. Por ejemplo, un modelo de regresión probabilístico podría generar una predicción de 325 con una desviación estándar de 12. Para obtener más información sobre los modelos de regresión probabilísticos, consulta Colab en TensorFlow.org.

función de densidad de probabilidad

Es una función que identifica la frecuencia de las muestras de datos que tienen exactamente un valor particular. Cuando los valores de un conjunto de datos son números continuos de punto flotante, rara vez se producen coincidencias exactas. Sin embargo, la integrating de una función de densidad de probabilidad del valor x al valor y produce la frecuencia esperada de muestras de datos entre x y y.

Por ejemplo, considera una distribución normal con una media de 200 y una desviación estándar de 30. Para determinar la frecuencia esperada de las muestras de datos que se encuentran dentro del rango de 211.4 a 218.7, puedes integrar la función de densidad de probabilidad para una distribución normal de 211.4 a 218.7.

mensaje

#language

#IAgenerativa

Cualquier texto que se ingrese como entrada en un modelo grande de lenguaje para condicionar que el modelo se comporte de cierta manera. Las instrucciones pueden ser tan breves como una frase o arbitrariamente largas (por ejemplo, todo el texto de una novela). Los mensajes se dividen en varias categorías, incluidas las que se muestran en la siguiente tabla:

Categoría del mensaje	Ejemplo	Notas
Pregunta	¿Qué tan rápido puede volar una paloma?
Instrucción	Escribir un poema divertido sobre el arbitraje	Un mensaje que le solicita al modelo grande de lenguaje que realice una acción.
Ejemplo	Traducir código de Markdown al formato HTML. Por ejemplo: Markdown: * elemento de la lista HTML: <ul> <li>elemento de la lista</li> </ul>	La primera oración de esta instrucción de ejemplo es una instrucción. El resto de la instrucción es el ejemplo.
Rol	Explica por qué se usa el descenso de gradientes en el entrenamiento de aprendizaje automático a un doctorado en Física.	La primera parte de la oración es una instrucción; la frase “para un doctorado en Física” es la parte del rol.
Entrada parcial para que el modelo se complete	El primer ministro del Reino Unido vive en	Una instrucción de entrada parcial puede terminar de manera abrupta (como en este ejemplo) o con un guion bajo.

Un modelo de IA generativa puede responder a una instrucción con texto, código, imágenes, incorporaciones, videos y casi cualquier cosa.

aprendizaje basado en instrucciones

#language

#IAgenerativa

Es una función de ciertos modelos que les permite adaptar su comportamiento en respuesta a entradas de texto arbitrarias (mensajes). En un paradigma típico de aprendizaje basado en instrucciones, un modelo grande de lenguaje responde a un mensaje generando texto. Por ejemplo, supongamos que un usuario ingresa el siguiente mensaje:

Resumir la tercera ley del movimiento de Newton

Un modelo capaz de aprendizaje basado en instrucciones no está entrenado de forma específica para responder a la instrucción anterior. En cambio, el modelo "sabe" muchos hechos sobre física, reglas generales del lenguaje y mucho sobre lo que constituye respuestas que suelen ser útiles. Ese conocimiento es suficiente para proporcionar una respuesta útil. Los comentarios humanos adicionales ("Esa respuesta fue demasiado complicada" o "¿Qué es una reacción?") permiten que algunos sistemas de aprendizaje basados en instrucciones mejoren gradualmente la utilidad de sus respuestas.

diseño de mensajes

#language

#IAgenerativa

Sinónimo de ingeniería de instrucciones.

ingeniería de instrucciones

#language

#IAgenerativa

El arte de crear instrucciones que generan las respuestas deseadas de un modelo grande de lenguaje. Los seres humanos realizan ingeniería de instrucciones. Escribir instrucciones bien estructuradas es una parte esencial para garantizar respuestas útiles de un modelo grande de lenguaje. La ingeniería de instrucciones depende de muchos factores, entre los que se incluyen los siguientes:

• El conjunto de datos que se usa para entrenar previamente y, posiblemente, ajustar el modelo grande de lenguaje.
• La temperatura y otros parámetros de decodificación que usa el modelo para generar respuestas.

Consulta Introducción al diseño de instrucciones para obtener más detalles sobre cómo escribir instrucciones útiles.

Diseño de instrucciones es sinónimo de ingeniería de instrucciones.

ajuste de mensajes

#language

#IAgenerativa

Un mecanismo de ajuste eficiente de parámetros que aprende un "prefijo" que el sistema antepone al mensaje real.

Una variación del ajuste de los mensajes, a veces llamado ajuste de prefijo, es anteponer el prefijo en todas las capas. Por el contrario, la mayoría de los ajustes de mensajes solo agregan un prefijo a la capa de entrada.

Haz clic en el ícono para obtener más información sobre los prefijos.

Para el ajuste de instrucciones, el “prefijo” (también conocido como “mensaje no deseado”) es un conjunto de vectores aprendidos específicos para la tarea que se anteponen a las incorporaciones de token de texto del mensaje real. El sistema aprende el mensaje secundario inmovilizando todos los demás parámetros del modelo y ajustando una tarea específica.

---

etiquetas de proxy

#fundamentals

Datos usados para aproximar etiquetas que no están disponibles directamente en un conjunto de datos.

Por ejemplo, supongamos que debes entrenar un modelo para predecir el nivel de estrés de los empleados. El conjunto de datos contiene muchos atributos predictivos, pero no incluye una etiqueta llamada nivel de estrés. Sin desanimarse, eliges "accidentes en el lugar de trabajo" como una etiqueta de proxy para el nivel de estrés. Después de todo, los empleados bajo mucho estrés tienen más accidentes que los empleados calmados. ¿O no? Puede que los accidentes laborales aumenten y desciendan por varias razones.

Como segundo ejemplo, supongamos que deseas que está lloviendo? sea una etiqueta booleana para tu conjunto de datos, pero tu conjunto de datos no contenga datos sobre lluvia. Si hay fotografías disponibles, puedes establecer fotos de personas con paraguas como una etiqueta de proxy para ¿está lloviendo? ¿Es una buena etiqueta de proxy? Aunque es posible, pero es más probable que las personas de algunas culturas lleven paraguas como protección del sol que de la lluvia

Las etiquetas de proxy suelen ser imperfectas. Cuando sea posible, elige etiquetas reales en lugar de etiquetas de proxy. Dicho esto, cuando falta una etiqueta real, elige la etiqueta de proxy con mucho cuidado y, luego, elige la variante de etiqueta de proxy menos terrible.

proxy (atributos sensibles)

#fairness

Atributo que se usa como reemplazo de un atributo sensible. Por ejemplo, el código postal de una persona se puede usar como un proxy para sus ingresos, raza o etnia.

función pura

Función cuyas salidas se basan solo en sus entradas y que no tiene efectos secundarios. Específicamente, una función pura no usa ni cambia ningún estado global, como el contenido de un archivo o el valor de una variable fuera de la función.

Las funciones puras se pueden usar para crear código seguro para los subprocesos, lo cual es beneficioso cuando se fragmenta el código del model en varios model.

Los métodos de transformación de funciones de JAX requieren que las funciones de entrada sean funciones puras.

P.

Función Q

#rl

En el aprendizaje por refuerzo, la función que predice el retorno esperado de realizar una acción en un estado y, luego, seguir una política determinada.

La función Q también se conoce como función de valor de la acción de estado.

Aprendizaje de Q

#rl

En el aprendizaje por refuerzo, algoritmo que permite que un agente conozca la función Q óptima de un proceso de decisión de Marcos mediante la ecuación de Bellman. El proceso de decisión de Markov modela un entorno.

cuantil

Cada bucket en el agrupamiento en cuantiles.

agrupamiento en cuantiles

Distribución de los valores de un atributo en buckets de modo que cada bucket contenga la misma (o casi la misma) cantidad de ejemplos. Por ejemplo, en la siguiente figura, se dividen 44 puntos en 4 buckets, cada uno de los cuales contiene 11 puntos. Para que cada bucket de la figura contenga la misma cantidad de puntos, algunos grupos abarcan un ancho diferente de valores x.

cuantización

Término sobrecargado que se puede usar de cualquiera de las siguientes maneras:

• Implementar el agrupamiento en cuantiles en una función en particular
• Transformar los datos en ceros y unos para agilizar el almacenamiento, el entrenamiento y la inferencia Como los datos booleanos son más resistentes al ruido y a los errores que otros formatos, la cuantización puede mejorar la precisión del modelo. Las técnicas de cuantización incluyen el redondeo, el truncamiento y la binación.

• Reducir la cantidad de bits que se usan para almacenar los parámetros de un modelo Por ejemplo, supongamos que los parámetros de un modelo se almacenan como números de punto flotante de 32 bits. La cuantización convierte esos parámetros de 32 bits a 4, 8 o 16 bits. La cuantización reduce lo siguiente:

  • Uso de procesamiento, memoria, disco y red
  • Tiempo para inferir una predicación
  • Consumo de energía

  Sin embargo, la cuantización a veces disminuye la precisión de las predicciones de un modelo.

cola

#TensorFlow

Una operación de TensorFlow que implementa una estructura de datos en cola. Por lo general, se usa en E/S.

R

RAV

#fundamentals

Abreviatura de generación de aumento de recuperación.

bosque aleatorio

#df

Un ensamble de árboles de decisión en el que cada árbol de decisión se entrena con un ruido aleatorio específico, como bagging.

Los bosques aleatorios son un tipo de bosque de decisión.

política aleatoria

#rl

En el aprendizaje por refuerzo, una política que elige una acción de forma aleatoria.

clasificación

Tipo de aprendizaje supervisado cuyo objetivo es ordenar una lista de elementos.

rango (ordinalidad)

Es la posición ordinal de una clase en un problema de aprendizaje automático que categoriza las clases de mayor a menor. Por ejemplo, un sistema de clasificación de comportamiento podría clasificar las recompensas de un perro de la más alta (un filete) a la más baja (una col rizada marchita).

rango (tensor)

#TensorFlow

La cantidad de dimensiones en un tensor. Por ejemplo, un escalar tiene rango 0, un vector tiene rango 1 y una matriz tiene rango 2.

No se debe confundir con rango (ordinalidad).

evaluador

#fundamentals

Una persona que proporciona etiquetas para ejemplos. “Anotador” es otro nombre para evaluador.

recall

Una métrica para los modelos de clasificación que responde a la siguiente pregunta:

Cuando la verdad fundamental era la clase positiva, ¿qué porcentaje de predicciones identificó de forma correcta el modelo como la clase positiva?

Esta es la fórmula:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

Donde:

• verdadero positivo significa que el modelo predijo correctamente la clase positiva.
• falso negativo significa que el modelo predijo por error la clase negativa.

Por ejemplo, supongamos que tu modelo hizo 200 predicciones en ejemplos en los que la verdad fundamental fue la clase positiva. De estas 200 predicciones:

• 180 fueron verdaderos positivos.
• 20 correspondieron a falsos negativos.

En este caso, ocurre lo siguiente:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

Haz clic en el ícono de las notas sobre los conjuntos de datos con desequilibrio de clases.

La recuperación es particularmente útil para determinar el poder predictivo de los modelos de clasificación en los que la clase positiva es poco frecuente. Por ejemplo, considera un conjunto de datos con desequilibrio de clases en el que la clase positiva para una enfermedad determinada se produce solo en 10 de un millón de pacientes. Supongamos que tu modelo hace cinco millones de predicciones que generan los siguientes resultados:

• 30 verdaderos positivos
• 20 falsos negativos
• 4,999,000 verdaderos negativos
• 950 falsos positivos

Por lo tanto, la recuperación de este modelo es la siguiente:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

En cambio, la exactitud de este modelo es la siguiente:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

Ese alto valor de precisión parece impresionante, pero esencialmente no tiene sentido. La recuperación es una métrica mucho más útil para conjuntos de datos con desequilibrio de clases que la exactitud.

---

sistema de recomendación

#recsystems

Es un sistema que selecciona para cada usuario un conjunto relativamente pequeño de elementos deseables de un gran corpus. Por ejemplo, un sistema de recomendación de videos podría recomendar dos videos de un corpus de 100,000 videos, seleccionando Casablanca y The Philadelphia Story para un usuario, y Mujer Maravilla y Pantera Negra para otro. Un sistema de recomendación de video puede basar sus recomendaciones en factores como los siguientes:

• Películas que usuarios similares calificaron o miraron.
• Género, directores, actores, segmento demográfico objetivo...

Unidad lineal rectificada (ReLU)

#fundamentals

Una función de activación con el siguiente comportamiento:

• Si la entrada es negativa o cero, el resultado es 0.
• Si la entrada es positiva, entonces el resultado es igual a la entrada.

Por ejemplo:

• Si la entrada es -3, el resultado es 0.
• Si la entrada es +3, el resultado es 3.0.

A continuación, se muestra un gráfico de ReLU:

ReLU es una función de activación muy popular. A pesar de su comportamiento simple, ReLU aún permite que una red neuronal aprenda relaciones no lineales entre atributos y la etiqueta.

red neuronal recurrente

#seq

Red neuronal que se ejecuta intencionalmente varias veces, donde partes de cada ejecución se incorporan a la siguiente ejecución. Específicamente, las capas ocultas de la ejecución anterior proporcionan parte de la entrada a la misma capa oculta en la siguiente ejecución. Las redes neuronales recurrentes son particularmente útiles para evaluar secuencias, de modo que las capas ocultas puedan aprender de las ejecuciones anteriores de la red neuronal en las partes anteriores de la secuencia.

Por ejemplo, en la siguiente figura, se muestra una red neuronal recurrente que se ejecuta cuatro veces. Observa que los valores aprendidos en las capas ocultas desde la primera ejecución se vuelven parte de la entrada de las mismas capas ocultas en la segunda ejecución. De manera similar, los valores aprendidos en la capa oculta en la segunda ejecución se vuelven parte de la entrada de la misma capa oculta en la tercera ejecución. De esta manera, la red neuronal recurrente entrena y predice gradualmente el significado de toda la secuencia en lugar del significado de palabras individuales.

modelo de regresión

#fundamentals

informalmente, un modelo que genera una predicción numérica. (en cambio, un modelo de clasificación genera una predicción de clases). Por ejemplo, los siguientes son todos modelos de regresión:

• Es un modelo que predice el valor de una casa determinada, como 423,000 euros.
• Modelo que predice la esperanza de vida de un árbol determinado, como 23.2 años.
• Un modelo que predice la cantidad de lluvia que caerá en una ciudad determinada durante las próximas seis horas, por ejemplo, 0.49 cm (0.48 cm).

Los siguientes son dos tipos comunes de modelos de regresión:

• Regresión lineal, que busca la línea que mejor ajuste los valores de etiqueta a los atributos.
• Regresión logística, que genera una probabilidad entre 0.0 y 1.0 de que un sistema normalmente asigne a una predicción de clase.

No todos los modelos que generan predicciones numéricas son modelos de regresión. En algunos casos, una predicción numérica es en realidad un modelo de clasificación que tiene nombres de clase numéricos. Por ejemplo, un modelo que predice un código postal numérico es un modelo de clasificación, no de regresión.

regularización

#fundamentals

Cualquier mecanismo que reduzca el sobreajuste Entre los tipos populares de regularización, se incluyen los siguientes:

• Regularización L₁
• Regularización L₂
• regularización de abandono
• interrupción anticipada (este no es un método de regularización formal, pero puede limitar el sobreajuste de manera eficaz)

La regularización también puede definirse como la penalización de la complejidad de un modelo.

Haz clic en el ícono de notas adicionales.

La regularización es contradictoria. Por lo general, aumentar la regularización aumenta la pérdida de entrenamiento, lo que es confuso, ya que el objetivo no es minimizar la pérdida de entrenamiento.

En realidad, no. El objetivo no es minimizar la pérdida de entrenamiento. El objetivo es realizar excelentes predicciones con ejemplos del mundo real. Sorprendentemente, aunque aumentar la regularización aumenta la pérdida de entrenamiento, por lo general, ayuda a los modelos a realizar mejores predicciones con ejemplos del mundo real.

---

tasa de regularización

#fundamentals

Un número que especifica la importancia relativa de la regularización durante el entrenamiento. Aumentar la tasa de regularización reduce el sobreajuste, pero puede reducir el poder predictivo del modelo. Por el contrario, omitir o reducir la tasa de regularización aumenta el sobreajuste.

Haz clic en el ícono para ver el cálculo.

Por lo general, la tasa de regularización se representa como la lambda de la letra griega. La siguiente ecuación de pérdida simplificada muestra la influencia de lambda:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

En el ejemplo anterior, la regularización es cualquier mecanismo de regularización, incluidos los siguientes:

• Regularización L₁
• Regularización L₂

---

aprendizaje por refuerzo (RL)

#rl

Una familia de algoritmos que aprenden una política óptima, cuyo objetivo es maximizar el retorno cuando interactúa con un entorno. Por ejemplo, la recompensa definitiva de la mayoría de los juegos es la victoria. Los sistemas de aprendizaje por refuerzo pueden convertirse en expertos en juegos complejos evaluando secuencias de movimientos de juego anteriores que finalmente llevaron a victorias y secuencias que finalmente llevaron a pérdidas.

Aprendizaje por refuerzo con retroalimentación humana (RLHF)

#IAgenerativa

#rl

Usa comentarios de evaluadores humanos para mejorar la calidad de las respuestas de un modelo. Por ejemplo, un mecanismo de RLHF puede pedirles a los usuarios que califiquen la calidad de la respuesta de un modelo con un emoji 👍 o 👎. Luego, el sistema puede ajustar sus respuestas futuras en función de esos comentarios.

ReLU

#fundamentals

Abreviatura de Unidad lineal rectificada.

búfer de reproducción

#rl

En los algoritmos similares a los DQN, es la memoria que usa el agente para almacenar transiciones de estado y usarlas en la reproducción de la experiencia.

de Cloud SQL

Una copia del conjunto de entrenamiento o del modelo, por lo general, en otra máquina. Por ejemplo, un sistema podría usar la siguiente estrategia para implementar el paralelismo de datos:

1. Coloca réplicas de un modelo existente en varias máquinas.
2. Enviar diferentes subconjuntos del conjunto de entrenamiento a cada réplica
3. Agrega las actualizaciones de parámetros.

sesgo de reporte

#fairness

El hecho de que la frecuencia con la que las personas escriben sobre acciones, resultados o propiedades no es un reflejo de las frecuencias del mundo real ni del grado en que una propiedad es característica de una clase de individuos. El sesgo de reporte puede influir en la composición de los datos de los que aprenden los sistemas de aprendizaje automático.

Por ejemplo, en los libros, la palabra reír es más frecuente que la que se respirar. Un modelo de aprendizaje automático que estima la frecuencia relativa de reír y respirar de un corpus de libros probablemente determinaría que reír es más común que respirar.

representación de vectores

Proceso de asignar datos a atributos útiles.

reclasificación

#recsystems

La etapa final de un sistema de recomendación, durante la cual los elementos calificados se pueden volver a calificar de acuerdo con algún otro algoritmo (por lo general, no de AA). La reclasificación evalúa la lista de elementos generados por la fase de puntuación mediante acciones como las siguientes:

• Eliminar los artículos que el usuario ya compró
• Aumentar la puntuación de los elementos más recientes

generación de aumento de recuperación (RAG)

#fundamentals

Una técnica para mejorar la calidad de los resultados del modelo grande de lenguaje (LLM) mediante la base de fuentes de conocimiento recuperadas después de entrenar el modelo. RAG mejora la precisión de las respuestas del LLM, ya que le brinda al LLM entrenado acceso a la información recuperada de bases de conocimiento o documentos confiables.

Estas son algunas motivaciones comunes para usar la generación de aumento de recuperación:

• Aumentar la exactitud fáctica de las respuestas generadas de un modelo.
• Darle al modelo acceso al conocimiento con el que no se entrenó
• Cambiar el conocimiento que utiliza el modelo
• Permitir que el modelo cite fuentes.

Por ejemplo, supongamos que una app de química usa la API de PaLM para generar resúmenes relacionados con las consultas de los usuarios. Cuando el backend de la app recibe una consulta, sucede lo siguiente:

1. Busca ("recupera") datos relevantes para la consulta del usuario.
2. Agrega ("aumentos") los datos químicos relevantes a la consulta del usuario.
3. Indica al LLM que cree un resumen basado en los datos agregados.

return

#rl

En el aprendizaje por refuerzo, dada una política determinada y un estado determinado, el retorno es la suma de todas las recompensas que el agente espera recibir cuando sigue la política desde el estado hasta el final del episodio. El agente da cuenta de la naturaleza retrasada de las recompensas esperadas descontando las recompensas de acuerdo con las transiciones de estado necesarias para obtener la recompensa.

Por lo tanto, si el factor de descuento es \(\gamma\)y \(r_0, \ldots, r_{N}\)indica las recompensas hasta el final del episodio, el cálculo de la devolución es el siguiente:

$$\text{Return} = r_0 + \gamma r_1 + \gamma^2 r_2 + \ldots + \gamma^{N-1} r_{N-1}$$

una recompensa

#rl

En el aprendizaje por refuerzo, es el resultado numérico de realizar una acción en un estado, como lo define el entorno.

regularización de cresta

Sinónimo de regularización L₂. El término regularización de cresta se usa con más frecuencia en contextos de estadística pura, mientras que la regularización L₂ se usa con más frecuencia en el aprendizaje automático.

RNN

#seq

Abreviatura de redes neuronales recurrentes.

Curva ROC (característica operativa del receptor)

#fundamentals

Gráfico de la tasa de verdaderos positivos frente a la tasa de falsos positivos para diferentes umbrales de clasificación en la clasificación binaria.

La forma de una curva ROC sugiere la capacidad de un modelo de clasificación binaria para separar las clases positivas de las negativas. Supongamos, por ejemplo, que un modelo de clasificación binaria separa a la perfección todas las clases negativas de todas las positivas:

La curva ROC del modelo anterior se ve de la siguiente manera:

Por el contrario, en la siguiente ilustración se muestran los valores de regresión logística sin procesar para un modelo terrible que no puede separar en absoluto las clases negativas de las positivas:

La curva ROC para este modelo se ve de la siguiente manera:

Mientras tanto, en el mundo real, la mayoría de los modelos de clasificación binaria separan las clases positivas y negativas en cierta medida, pero, por lo general, no perfectamente. Por lo tanto, una curva ROC típica se encuentra entre los dos extremos:

En teoría, el punto en una curva ROC más cercano a (0.0,1.0) identifica el umbral de clasificación ideal. Sin embargo, otros problemas reales influyen en la selección del umbral de clasificación ideal. Por ejemplo, es posible que los falsos negativos causen mucho más dolor que los falsos positivos.

Una métrica numérica llamada AUC resume la curva ROC en un solo valor de punto flotante.

solicitud de roles

#language

#IAgenerativa

Una parte opcional de una instrucción que identifica un público objetivo para la respuesta de un modelo de IA generativa. Sin una indicación de rol, un modelo grande de lenguaje proporciona una respuesta que puede o no ser útil para la persona que hace las preguntas. Con una instrucción de función, un modelo grande de lenguaje puede responder de una manera que sea más apropiada y útil para un público objetivo específico. Por ejemplo, la parte de la solicitud de función de las siguientes instrucciones está en negrita:

• Resume este artículo para obtener un doctorado en economía.
• Describir cómo funcionan las mareas para un niño de diez años
• Explicar la crisis financiera de 2008 Habla como lo harías con un niño pequeño o con un golden retriever.

raíz

#df

El nodo inicial (la primera condición) de un árbol de decisiones. Por convención, los diagramas ponen la raíz en la parte superior del árbol de decisión. Por ejemplo:

directorio raíz

#TensorFlow

El directorio que especificas para alojar subdirectorios del punto de control de TensorFlow y archivos de eventos de varios modelos.

Raíz cuadrada del error cuadrático medio (RMSE)

#fundamentals

Raíz cuadrada del error cuadrático medio.

invariancia rotacional

#image

En un problema de clasificación de imágenes, es la capacidad de un algoritmo para clasificar correctamente imágenes, incluso cuando cambia su orientación. Por ejemplo, el algoritmo aún puede identificar una raqueta de tenis, ya sea que apunte hacia arriba, hacia los lados o hacia abajo. Ten en cuenta que la invariabilidad rotacional no siempre es conveniente; por ejemplo, un 9 al revés no debe clasificarse como un 9.

Consulta también la invariancia traslacional y la invariancia de tamaño.

R al cuadrado

Una métrica de regresión que indica cuánta variación en una etiqueta se debe a un atributo individual o a un conjunto de atributos. R al cuadrado es un valor entre 0 y 1, que se puede interpretar de la siguiente manera:

• Un cuadrado de R de 0 significa que ninguna de las variaciones de una etiqueta se debe al conjunto de atributos.
• Un R al cuadrado de 1 significa que toda la variación de una etiqueta se debe al conjunto de atributos.
• Un valor de R al cuadrado entre 0 y 1 indica en qué medida se puede predecir la variación de la etiqueta a partir de un atributo en particular o un conjunto de atributos. Por ejemplo, un R al cuadrado de 0.10 significa que el 10% de la varianza de la etiqueta se debe al conjunto de atributos, un R al cuadrado de 0.20 significa que el 20% se debe al conjunto de atributos, y así sucesivamente.

R al cuadrado es el cuadrado del coeficiente de correlación de Pearson entre los valores que predijo un modelo y la verdad fundamental.

S

sesgo del muestreo

#fairness

Consulta Sesgo de selección.

muestreo con reemplazo

#df

Es un método para elegir elementos de un conjunto de elementos candidatos en el que se puede elegir el mismo elemento varias veces. La frase “con reemplazo” significa que, después de cada selección, el elemento seleccionado se devuelve al grupo de elementos candidatos. El método inverso, muestreo sin reemplazo, significa que un elemento candidato solo se puede elegir una vez.

Por ejemplo, considera el siguiente conjunto de frutas:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

Supongamos que el sistema elige de forma aleatoria fig como primer elemento. Si usas el muestreo con reemplazo, el sistema selecciona el segundo elemento del siguiente conjunto:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

Sí, es la misma configuración que antes, por lo que el sistema podría volver a elegir fig.

Si se usa el muestreo sin reemplazo, una vez elegida la muestra, no se puede volver a elegir. Por ejemplo, si el sistema elige de forma aleatoria fig como la primera muestra, no se puede volver a elegir fig. Por lo tanto, el sistema elige la segunda muestra del siguiente conjunto (reducido):

fruit = {kiwi, apple, pear, cherry, lime, mango}

Haz clic en el ícono de notas adicionales.

La palabra reemplazo en muestreo con reemplazo confunde a muchas personas. En inglés, replacement significa “sustitución”. Sin embargo, muestreo con reemplazo en realidad usa la definición en francés para reemplazo, que significa "reponer algo".

La palabra replacement se traduce en francés como remplacement.

---

SavedModel

#TensorFlow

El formato recomendado para guardar y recuperar modelos de TensorFlow. El modelo guardado es un formato de serialización recuperable y neutral del lenguaje que permite que los sistemas y las herramientas de nivel superior produzcan, consuman y transformen modelos de TensorFlow.

Para obtener más información, consulta la sección sobre cómo guardar y restablecer la Guía para programadores de TensorFlow.

Económico

#TensorFlow

Un objeto de TensorFlow responsable de guardar puntos de control del modelo

escalar

Un solo número o una sola string que se puede representar como un tensor de rango 0. Por ejemplo, las siguientes líneas de código crean un escalar en TensorFlow:

breed = tf.Variable("poodle", tf.string)
temperature = tf.Variable(27, tf.int16)
precision = tf.Variable(0.982375101275, tf.float64)

escalamiento

Cualquier transformación matemática o técnica que cambie el rango de una etiqueta o el valor de un atributo. Algunas formas de escalamiento son muy útiles para las transformaciones como la normalización.

Entre las formas comunes de escalamiento útiles en el aprendizaje automático se incluyen las siguientes:

• escalamiento lineal, que generalmente usa una combinación de resta y división para reemplazar el valor original por un número entre -1 y +1, o entre 0 y 1.
• escalamiento logarítmico, que reemplaza el valor original por su logaritmo
• Normalización de la puntuación Z, que reemplaza el valor original por un valor de punto flotante que representa la cantidad de desviaciones estándar de la media del atributo.

scikit-learn

Plataforma popular de aprendizaje automático de código abierto. Consulta scikit-learn.org.

puntuación

#recsystems

La parte de un sistema de recomendación que proporciona un valor o una clasificación para cada elemento producido en la fase de generación de candidatos.

sesgo de selección

#fairness

Errores en las conclusiones extraídas de la muestra de datos debido a un proceso de selección que genera diferencias sistemáticas entre las muestras observadas en los datos y las no observadas. Existen las siguientes formas de sesgo de selección:

• sesgo de cobertura: La población representada en el conjunto de datos no coincide con la población sobre la que el modelo de aprendizaje automático realiza predicciones.
• sesgo muestral: Los datos no se recopilan de forma aleatoria del grupo objetivo.
• sesgo de no respuesta (también llamado sesgo de participación): Los usuarios de ciertos grupos rechazan realizar encuestas con frecuencias diferentes que los usuarios de otros grupos.

Por ejemplo, supongamos que creas un modelo de aprendizaje automático que predice el disfrute de una película por parte de las personas. Para recopilar datos de entrenamiento, repartes una encuesta a todos en la primera fila de un cine que presenta la película. A primera vista, esto puede parecer una manera razonable de recopilar un conjunto de datos; sin embargo, esta forma de recopilación de datos puede introducir las siguientes formas de sesgo de selección:

• sesgo de cobertura: Si se toma una muestra de una población que eligió ver la película, es posible que las predicciones del modelo no se generalicen para las personas que aún no expresaron ese nivel de interés en la película.
• sesgo del muestreo: En lugar de muestrear de manera aleatoria la población prevista (todas las personas que aparecen en la película), solo muestreaste a las personas de la primera fila. Es posible que las personas sentadas en la primera fila estuvieran más interesadas en la película que aquellas en otras filas.
• sesgo de no respuesta: En general, las personas con opiniones sólidas tienden a responder a encuestas opcionales con más frecuencia que las personas con opiniones leves. Dado que la encuesta de la película es opcional, es más probable que las respuestas formen una distribución bimodal en lugar de una distribución normal (en forma de campana).

autoatención (también denominada capa de autoatención)

#language

Capa de la red neuronal que transforma una secuencia de incorporaciones (por ejemplo, incorporaciones de tokens) en otra secuencia de incorporaciones. Cada incorporación en la secuencia de salida se construye a través de la integración de información de los elementos de la secuencia de entrada a través de un mecanismo de atención.

La parte del yo de la autoatención se refiere a la secuencia que asiste a sí misma en lugar de a algún otro contexto. La autoatención es uno de los componentes básicos de los Transformers y usa terminología de búsqueda de diccionario, como "consulta", "clave" y "valor".

Una capa de autoatención comienza con una secuencia de representaciones de entrada, una para cada palabra. La representación de entrada de una palabra puede ser una incorporación simple. Para cada palabra en una secuencia de entrada, la red califica la relevancia de la palabra para cada elemento de la secuencia completa de palabras. Las puntuaciones de relevancia determinan en qué medida la representación final de la palabra incorpora las representaciones de otras palabras.

Por ejemplo, considera la siguiente oración:

El animal no cruzó la calle porque estaba demasiado cansado.

En la siguiente ilustración (de Transformer: A Novel Neural Network Architecture for Language Understanding), se muestra el patrón de atención de una capa de autoatención para el pronombre it. La oscuridad de cada línea indica cuánto contribuye cada palabra a la representación:

La capa de autoatención destaca las palabras que son relevantes para "ella". En este caso, la capa de atención aprendió a destacar palabras a las que sí podría referirse, asignando el peso más alto a animal.

Para una secuencia de n tokens, la autoatención transforma una secuencia de incorporaciones n veces por separado, una vez en cada posición de la secuencia.

Consulta también la atención y la autoatención de varias cabezas.

aprendizaje autosupervisado

Familia de técnicas para convertir un problema de aprendizaje automático no supervisado en un problema de aprendizaje automático supervisado mediante la creación de etiquetas subrogadas a partir de ejemplos sin etiqueta.

Algunos modelos basados en Transformer, como BERT, usan aprendizaje supervisado automático.

El entrenamiento autosupervisado es un enfoque de aprendizaje semisupervisado.

autoentrenamiento

Variante del aprendizaje autosupervisado que es particularmente útil cuando se cumplen las siguientes condiciones:

• La proporción entre los ejemplos sin etiqueta y los ejemplos etiquetados en el conjunto de datos es alta.
• Este es un problema de clasificación.

El autoentrenamiento funciona mediante la iteración de los siguientes dos pasos hasta que el modelo deje de mejorar:

1. Usa el aprendizaje automático supervisado para entrenar un modelo a partir de los ejemplos etiquetados.
2. Usa el modelo creado en el paso 1 para generar predicciones (etiquetas) en los ejemplos sin etiqueta y mueve aquellos en los que hay alta confianza a los ejemplos etiquetados con la etiqueta predicha.

Ten en cuenta que cada iteración del Paso 2 agrega más ejemplos etiquetados para el entrenamiento del Paso 1.

aprendizaje semisupervisado

Entrenamiento de un modelo con datos en el que algunos de los ejemplos de entrenamiento tienen etiquetas, pero otros no. Una técnica del aprendizaje semisupervisado es inferir etiquetas de los ejemplos sin etiquetar y, luego, entrenar con las etiquetas inferidas para crear un modelo nuevo. El aprendizaje semisupervisado puede ser útil si es costoso obtener las etiquetas, pero abundan los ejemplos sin etiqueta.

El autoentrenamiento es una técnica de aprendizaje semisupervisado.

atributo sensible

#fairness

Un atributo humano que puede ser objeto de consideración especial por motivos legales, éticos, sociales o personales.

Análisis de opiniones

#language

Uso de algoritmos estadísticos o de aprendizaje automático para determinar la actitud general de un grupo (positiva o negativa) hacia un servicio, producto, organización o tema. Por ejemplo, con comprensión del lenguaje natural, un algoritmo podría realizar un análisis de opiniones sobre la retroalimentación textual de un curso universitario para determinar en qué medida a los estudiantes les gustó o no el curso en general.

modelo de secuencia

#seq

Modelo cuyas entradas tienen una dependencia secuencial. Por ejemplo, predecir el siguiente video que se miró a partir de una secuencia de videos vistos anteriormente.

tarea de secuencia por secuencia

#language

Una tarea que convierte una secuencia de entrada de tokens en una secuencia de salida de tokens. Por ejemplo, los dos tipos populares de tareas de secuencia a secuencia son los siguientes:

• Traductores:
  • Ejemplo de secuencia de entrada: "Te amo".
  • Secuencia de salida de muestra: "Je t'aime".
• Búsqueda de respuestas:
  • Secuencia de entrada de muestra: "¿Necesito tener mi auto en Nueva York?".
  • Secuencia de salida de muestra: "No. Mantén el auto en casa".

modelos

Es el proceso de hacer que un modelo entrenado esté disponible para proporcionar predicciones a través de la inferencia en línea o la inferencia sin conexión.

forma (tensor)

Es la cantidad de elementos en cada dimensión de un tensor. La forma se representa como una lista de números enteros. Por ejemplo, el siguiente tensor bidimensional tiene la forma [3,4]:

[[5, 7, 6, 4],
 [2, 9, 4, 8],
 [3, 6, 5, 1]]

TensorFlow usa el formato de fila principal (estilo C) para representar el orden de las dimensiones, por lo que la forma en TensorFlow es [3,4] en lugar de [4,3]. En otras palabras, en un TensorFlow Tensor bidimensional, la forma es [cantidad de filas, cantidad de columnas].

fragmento

#TensorFlow

#GoogleCloud

Es una división lógica del conjunto de entrenamiento o del modelo. Por lo general, algunos procesos crean fragmentos dividiendo los ejemplos o los parámetros en fragmentos (por lo general) del mismo tamaño. Luego, cada fragmento se asigna a una máquina diferente.

La fragmentación de un modelo se denomina paralelismo de modelos; la fragmentación de datos se denomina paralelismo de datos.

reducción

#df

Es un hiperparámetro en el aumento de gradiente que controla el sobreajuste. La reducción en el aumento de gradientes es análoga a la tasa de aprendizaje en el descenso de gradientes. La reducción es un valor decimal entre 0.0 y 1.0. Un valor de reducción más bajo reduce el sobreajuste más que un valor de reducción mayor.

función sigmoidea

#fundamentals

Función matemática que "aprieta" un valor de entrada en un rango restringido, generalmente 0 a 1 o -1 a +1. Es decir, puedes pasar cualquier número (dos, un millón, mil millones negativos, lo que sea) a una sigmoidea y el resultado seguirá estando en el rango restringido. Un trazado de la función de activación sigmoidea se ve de la siguiente manera:

La función sigmoidea tiene varios usos en el aprendizaje automático, incluidos los siguientes:

• Convertir el resultado sin procesar de un modelo de regresión logística o regresión multinomial en una probabilidad
• Actúa como una función de activación en algunas redes neuronales.

Haz clic en el ícono para ver el cálculo.

La función sigmoidea sobre un número de entrada x tiene la siguiente fórmula:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

En el aprendizaje automático, x suele ser una suma ponderada.

---

medida de similitud

#clustering

En los algoritmos de agrupamiento en clústeres, métrica que se usa para determinar qué tan similares son (qué tan similares) son dos ejemplos cualquiera.

programa único / varios datos (SPMD)

Una técnica de paralelismo en la que el mismo procesamiento se ejecuta en diferentes datos de entrada en paralelo en distintos dispositivos. El objetivo de los SPMD es obtener resultados más rápido. Es el estilo más común de programación paralela.

invariancia de tamaño

#image

En un problema de clasificación de imágenes, es la capacidad de un algoritmo para clasificar correctamente imágenes, incluso cuando cambia el tamaño de la imagen. Por ejemplo, el algoritmo aún puede identificar a un gato si consume 2 millones de píxeles o 200,000 píxeles. Ten en cuenta que incluso los mejores algoritmos de clasificación de imágenes tienen límites prácticos sobre la invariancia de tamaño. Por ejemplo, es poco probable que un algoritmo (o una persona) clasifique correctamente una imagen de gato que consuma solo 20 píxeles.

Consulta también la invariancia traslacional y la invariancia rotacional.

bocetos

#clustering

En el aprendizaje automático no supervisado, categoría de algoritmos que realizan un análisis preliminar de similitud de los ejemplos. Los algoritmos de esbozo usan una función de hash sensible a la localidad para identificar puntos que pueden ser similares y, luego, agruparlos en buckets.

Los esbozos disminuyen el cálculo requerido para los cálculos de similitud en conjuntos de datos grandes. En lugar de calcular la similitud para cada par de ejemplos del conjunto de datos, calculamos la similitud solo para cada par de puntos dentro de cada bucket.

omitir-grama

#language

Un n-grama que puede omitir (u "omitir") palabras del contexto original, lo que significa que las N palabras podrían no haber sido adyacentes en un principio. De manera más precisa, un "k-skip-n-grama" es un n-grama para el cual se pueden haber omitido hasta k palabras.

Por ejemplo, "el zorro marrón rápido" tiene los siguientes 2 gramos posibles:

• "el rápido"
• "marrón rápido"
• “zorro marrón”

Un "1-omitir-2-grama" es un par de palabras que tienen, como máximo, 1 palabra entre ellas. Por lo tanto, “el zorro marrón rápido” tiene los siguientes 2 gramos que se pueden omitir:

• “el marrón”
• "rápido zorro"

Además, todos los 2-gramas son también 1-omitir-2-gramas, ya que se puede omitir menos de una palabra.

Los gráficos de omisión son útiles para comprender mejor el contexto que rodea una palabra. En el ejemplo, "fox" se asoció directamente con "rápido" en el conjunto de 1-omitir-2-gramos, pero no en el conjunto de 2-gramos.

Los gramos de omisión ayudan a entrenar modelos de incorporación de palabras.

softmax

#fundamentals

Función que determina las probabilidades para cada clase posible en un modelo de clasificación de clases múltiples. Las probabilidades suman exactamente 1.0. Por ejemplo, en la siguiente tabla, se muestra cómo softmax distribuye varias probabilidades:

La imagen es...	Probability
perro	0.85
gato	0.13
caballo	0.02

softmax también se denomina softmax completo.

Compara esto con el muestreo de candidatos.

Haz clic en el ícono para ver el cálculo.

La ecuación de softmax es la siguiente:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

En el ejemplo anterior, se ilustra lo siguiente:

• $\sigma_i$ es el vector de salida. Cada elemento del vector de salida especifica la probabilidad de este elemento. La suma de todos los elementos en el vector de salida es 1.0. El vector de salida contiene la misma cantidad de elementos que el vector de entrada, $z$.
• $z$ es el vector de entrada. Cada elemento del vector de entrada contiene un valor de punto flotante.
• $K$ es la cantidad de elementos en el vector de entrada (y el vector de salida).

Por ejemplo, supongamos que el vector de entrada es:

[1.2, 2.5, 1.8]

Por lo tanto, softmax calcula el denominador de la siguiente manera:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

Por lo tanto, la probabilidad de softmax de cada elemento es la siguiente:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

Por lo tanto, el vector de salida es:

$$\sigma = [0.154, 0.565, 0.281]$$

La suma de los tres elementos en $\sigma$ es 1.0. ¡Vaya!

---

ajuste de mensajes breves

#language

#IAgenerativa

Técnica para ajustar un modelo grande de lenguaje para una tarea en particular, sin ajustes que hacen un uso intensivo de los recursos. En lugar de volver a entrenar todos los ponderaciones del modelo, el ajuste de los mensajes de texto ajusta automáticamente una instrucción para lograr el mismo objetivo.

Cuando se le proporciona una instrucción textual, el ajuste de mensajes secundarios suele agregar incorporaciones de token adicionales a la instrucción y usar propagación inversa para optimizar la entrada.

Un mensaje “hard” contiene tokens reales en lugar de incorporaciones de tokens.

atributo disperso

#language

#fundamentals

Un atributo cuyos valores son predominantemente cero o están vacíos. Por ejemplo, un atributo que contiene un solo valor 1 y un millón de valores 0 está disperso. Por el contrario, un atributo denso tiene valores que en su mayoría no son cero ni están vacíos.

En el aprendizaje automático, una cantidad sorprendente de atributos son atributos dispersos. Los atributos categóricos suelen ser atributos dispersos. Por ejemplo, de las 300 especies posibles de árboles en un bosque, un solo ejemplo podría identificar solo un arce. O, entre los millones de videos posibles en una biblioteca de videos, un solo ejemplo podría identificar solo "Casablanca".

Por lo general, en un modelo, representas atributos dispersos con la codificación one-hot. Si la codificación one-hot es grande, puedes colocar una capa de incorporación sobre la codificación one-hot para obtener una mayor eficiencia.

representación dispersa

#language

#fundamentals

Almacenar solo las posiciones de elementos distintos de cero en un atributo disperso

Por ejemplo, supongamos que un atributo categórico llamado species identifica las 36 especies de árbol en un bosque en particular. Además, supongamos que cada ejemplo identifica solo una especie.

Podrías usar un vector one-hot para representar las especies arbóreas en cada ejemplo. Un vector one-hot contendrá un solo 1 (para representar la especie arbórea particular en ese ejemplo) y 35 0 (para representar las 35 especies de árboles que no están en ese ejemplo). Por lo tanto, la representación one-hot de maple podría verse de la siguiente manera:

De manera alternativa, la representación dispersa simplemente identificaría la posición de la especie en particular. Si maple está en la posición 24, la representación dispersa de maple simplemente sería:

24

Ten en cuenta que la representación dispersa es mucho más compacta que la representación one-hot.

Nota: No debes pasar una representación dispersa como una entrada directa de atributos a un modelo. En cambio, debes convertir la representación dispersa en una representación one-hot antes de entrenar en ella.

Haz clic en el ícono para ver un ejemplo un poco más complejo.

Supongamos que cada ejemplo en tu modelo debe representar las palabras de una oración en inglés, pero no su orden. El inglés tiene alrededor de 170,000 palabras, por lo que es una característica categórica con alrededor de 170,000 elementos. La mayoría de las oraciones en inglés usan una fracción extremadamente pequeña de esas 170,000 palabras, por lo que el conjunto de palabras en un solo ejemplo probablemente sean datos dispersos.

Analiza la siguiente oración:

My dog is a great dog

Podrías usar una variante del vector one-hot para representar las palabras de esta oración. En esta variante, varias celdas del vector pueden contener un valor distinto de cero. Además, en esta variante, una celda puede contener un número entero distinto de uno. Aunque las palabras “mi”, “es”, “un” y “excelente” aparecen solo una vez en la oración, la palabra “perro” aparece dos veces. El uso de esta variante de vectores one-hot para representar las palabras de esta oración genera el siguiente vector de 170,000 elementos:

Una representación dispersa de la misma oración simplemente sería:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

Haz clic en el ícono si no sabes cómo hacerlo.

El término "representación dispersa" confunde a muchas personas porque la representación dispersa no es un vector disperso. En cambio, la representación dispersa es una representación densa de un vector disperso. La representación del índice de sinónimos es un poco más clara que "representación dispersa".

---

vector disperso

#fundamentals

Vector cuyos valores son en su mayoría ceros. Consulta también el atributo disperso y la dispersión.

dispersión

Es la cantidad de elementos establecidos en cero (o nulo) en un vector o matriz dividida por el número total de entradas en ese vector o matriz. Por ejemplo, considera una matriz de 100 elementos en la que 98 celdas contienen cero. El cálculo de dispersión es el siguiente:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

La dispersión de atributos hace referencia a la dispersión de un vector de atributos, mientras que la dispersión de modelos se refiere a la dispersión de los pesos del modelo.

reducción espacial

#image

Consulta reducción.

split

#df

En un árbol de decisiones, es otro nombre para una condición.

divisor

#df

Mientras se entrena un árbol de decisiones, la rutina (y el algoritmo) responsable de encontrar la mejor condición en cada nodo.

SPMD

Abreviatura de un solo programa / varios datos.

pérdida de bisagra al cuadrado

Cuadrado de la pérdida de bisagra. La pérdida de bisagra al cuadrado penaliza los valores atípicos de manera más severa que la pérdida de bisagra normal.

pérdida al cuadrado

#fundamentals

Sinónimo de pérdida L₂.

entrenamiento por etapas

#language

Es una táctica de entrenar un modelo en una secuencia de etapas discretas. El objetivo puede ser acelerar el proceso de entrenamiento o lograr una mejor calidad del modelo.

A continuación, se muestra una ilustración del enfoque de apilado progresivo:

• La etapa 1 contiene 3 capas ocultas, la etapa 2 contiene 6 capas ocultas y la etapa 3 contiene 12 capas ocultas.
• La etapa 2 comienza con los pesos aprendidos en las 3 capas ocultas de la etapa 1. La etapa 3 comienza con los pesos aprendidos en las 6 capas ocultas de la etapa 2.

Consulta también la canalización.

state

#rl

En el aprendizaje por refuerzo, los valores de los parámetros que describen la configuración actual del entorno, que el agente usa para elegir una acción.

función de valor de acción de estado

#rl

Sinónimo de función Q.

static

#fundamentals

Algo que se hace una vez en lugar de continuamente. Los términos estático y sin conexión son sinónimos. Los siguientes son usos comunes de la función estática y sin conexión en el aprendizaje automático:

• El modelo estático (o modelo sin conexión) es un modelo que se entrena una vez y, luego, se usa durante un tiempo.
• El entrenamiento estático (o entrenamiento sin conexión) es el proceso de entrenamiento de un modelo estático.
• La inferencia estática (o inferencia sin conexión) es un proceso en el que un modelo genera un lote de predicciones a la vez.

Compara esto con lo dinámico.

inferencia estática

#fundamentals

Sinónimo de inferencia sin conexión.

estacionariedad

#fundamentals

Atributo cuyos valores no cambian entre una o más dimensiones, por lo general, el tiempo. Por ejemplo, un atributo cuyos valores se ven casi iguales en 2021 y 2023 muestra estacionaridad.

En el mundo real, muy pocos componentes exhiben estacionaridad. Incluso los componentes sinónimos de estabilidad (como el nivel del mar) cambian con el tiempo.

Compara esto con la no estacionariedad.

paso

Un pase hacia delante y hacia atrás de un lote.

Consulta propagación inversa para obtener más información sobre el pase hacia delante y hacia atrás.

tamaño del paso

Sinónimo de tasa de aprendizaje.

descenso de gradientes estocástico (SGD)

#fundamentals

Algoritmo de descenso de gradientes en el que el tamaño del lote es uno. En otras palabras, el SGD se entrena con un solo ejemplo elegido de manera uniforme al azar de un conjunto de entrenamiento.

stride

#image

En una operación convolucional o reducción, el delta en cada dimensión de la siguiente serie de porciones de entrada. Por ejemplo, en la siguiente animación, se muestra un segmento (1,1) durante una operación convolucional. Por lo tanto, la siguiente porción de entrada comienza una posición a la derecha de la porción de entrada anterior. Cuando la operación alcanza el borde derecho, la siguiente porción se desplaza por completo a la izquierda, pero una posición hacia abajo.

En el ejemplo anterior, se muestra un segmento bidimensional. Si la matriz de entrada es tridimensional, el segmento también será tridimensional.

minimización del riesgo estructural (SRM)

Algoritmo que equilibra dos objetivos:

• La necesidad de crear el modelo más predictivo (por ejemplo, la pérdida más baja)
• La necesidad de mantener el modelo lo más simple posible (por ejemplo, una regularización estricta)

Por ejemplo, una función que minimiza la pérdida + regularización en el conjunto de entrenamiento es un algoritmo de minimización del riesgo estructural.

Compara esto con la minimización del riesgo empírico.

submuestreo

#image

Consulta reducción.

token de subpalabra

#language

En los modelos de lenguaje, un token que es una subcadena de una palabra, que puede ser la palabra completa.

Por ejemplo, una palabra como “itemize” podría dividirse en las partes “item” (una palabra raíz) y “ize” (un sufijo), cada una de las cuales está representada por su propio token. Dividir palabras poco comunes en esas partes, llamadas subpalabras, permite que los modelos de lenguaje operen en las partes constituyentes más comunes de la palabra, como los prefijos y sufijos.

Por el contrario, las palabras comunes como “asistir” podrían no dividirse y podrían estar representadas por un solo token.

resumen

#TensorFlow

En TensorFlow, valor o conjunto de valores calculados en un paso en particular, que se suele usar para hacer un seguimiento de las métricas del modelo durante el entrenamiento.

aprendizaje automático supervisado

#fundamentals

Entrenar un model a partir de model y sus model correspondientes El aprendizaje automático supervisado es análogo a aprender sobre un tema a través del estudio de un conjunto de preguntas y sus respuestas correspondientes. Después de dominar la asignación entre preguntas y respuestas, un estudiante puede proporcionar respuestas a preguntas nuevas (nunca antes vistas) sobre el mismo tema.

Compara esto con el aprendizaje automático no supervisado.

atributo sintético

#fundamentals

Atributo que no está presente entre los atributos de entrada, pero que se ensambla a partir de uno o más de ellos. Entre los métodos para crear atributos sintéticos, se incluyen los siguientes:

• Agrupamiento de un atributo continuo en discretizaciones de rango.
• Crear una combinación de atributos
• Multiplicación (o división) de un atributo por otros atributos o por sí mismo Por ejemplo, si a y b son atributos de entrada, los siguientes son ejemplos de atributos sintéticos:
  • ab
  • a²
• Aplicación de una función trascendental a un valor de atributo. Por ejemplo, si c es un atributo de entrada, los siguientes son ejemplos de atributos sintéticos:
  • sin(c)
  • ln(c)

Los atributos creados mediante la normalización o el escalamiento solos no se consideran atributos sintéticos.

T

T5

#language

Un modelo de aprendizaje por transferencia de texto a texto presentado por la IA de Google en 2020 T5 es un modelo de codificador-decodificador, basado en la arquitectura Transformer y entrenado con un conjunto de datos extremadamente grande. Es eficaz en una variedad de tareas de procesamiento de lenguaje natural, como la generación de texto, la traducción de idiomas y la respuesta a preguntas de manera conversacional.

T5 recibe su nombre de las cinco T de "Transformador de transferencia de texto a texto".

T5X

#language

Un framework de aprendizaje automático de código abierto diseñado para compilar y entrenar modelos de procesamiento de lenguaje natural (PLN) a gran escala. T5 se implementa en la base de código T5X (que está compilada en JAX y Flax).

aprendizaje de preguntas tabular

#rl

En el aprendizaje por refuerzo, implementar Q-learning mediante el uso de una tabla para almacenar las funciones Q para cada combinación de estado y acción.

destino

Sinónimo de etiqueta.

red de destino

#rl

En Deep Q-learning, una red neuronal que es una aproximación estable de la red neuronal principal, en la que esta implementa una función Q o una política. Luego, puedes entrenar la red principal con los valores Q que predijo la red de destino. Por lo tanto, evitas el ciclo de retroalimentación que se produce cuando la red principal entrena en los valores Q- predichos por sí misma. Cuando se evita esta retroalimentación, la estabilidad del entrenamiento aumenta.

tarea

Un problema que se puede resolver usando técnicas de aprendizaje automático, como los siguientes:

• clasificación
• regresión
• agrupamiento en clústeres
• detección de anomalías

temperatura

#language

#image

#IAgenerativa

Es un hiperparámetro que controla el grado de aleatorización de la salida de un modelo. Las temperaturas más altas generan resultados más aleatorios, mientras que las temperaturas más bajas generan resultados menos aleatorios.

La elección de la mejor temperatura depende de la aplicación específica y de las propiedades preferidas de la salida del modelo. Por ejemplo, es probable que aumentes la temperatura cuando crees una aplicación que genere resultados de creatividades. Por el contrario, probablemente bajarías la temperatura cuando compiles un modelo que clasifique imágenes o texto para mejorar la precisión y coherencia del modelo.

La temperatura suele usarse con softmax.

datos temporales

Datos registrados en diferentes puntos en el tiempo. Por ejemplo, las ventas de abrigos de invierno registradas para cada día del año serían datos temporales.

Tensor

#TensorFlow

La principal estructura de datos en los programas de TensorFlow. Los tensores son estructuras de datos de n dimensiones (donde N podría ser muy grande), comúnmente escalares, vectores o matrices. Los elementos de un tensor pueden contener valores enteros, de punto flotante o de cadena.

TensorBoard

#TensorFlow

Panel en el que se muestran los resúmenes guardados durante la ejecución de uno o más programas de TensorFlow.

TensorFlow

#TensorFlow

Plataforma de aprendizaje automático distribuida a gran escala. El término también se refiere a la capa base de la API en la pila de TensorFlow, que admite el procesamiento general en los grafos de Dataflow.

Aunque TensorFlow se usa principalmente para el aprendizaje automático, también puedes usarlo para tareas que no son de AA que requieren procesamiento numérico mediante grafos de flujo.

TensorFlow Playground

#TensorFlow

Un programa que visualiza cómo los diferentes hiperparámetros influyen en el entrenamiento del modelo (principalmente de red neuronal). Para probar TensorFlow Playground, visita http://playground.tensorflow.org.

TensorFlow Serving

#TensorFlow

Una plataforma para implementar modelos entrenados en producción.

Unidad de procesamiento tensorial (TPU)

#TensorFlow

#GoogleCloud

Un circuito integrado específico de la aplicación (ASIC) que optimiza el rendimiento de las cargas de trabajo de aprendizaje automático. Estos ASIC se implementan como varios chips TPU en un dispositivo de TPU.

rango de tensor

#TensorFlow

Consulta rango (tensor).

Forma del tensor

#TensorFlow

Cantidad de elementos que contiene un tensor en distintas dimensiones. Por ejemplo, un tensor de [5, 10] tiene una forma de 5 en una dimensión y de 10 en otra.

Tamaño de tensor

#TensorFlow

Cantidad total de escalares que contiene un tensor. Por ejemplo, un tensor [5, 10] tiene un tamaño de 50.

TensorStore

Una biblioteca para leer y escribir arreglos multidimensionales grandes con eficiencia.

condición de finalización

#rl

En el aprendizaje por refuerzo, las condiciones que determinan cuándo finaliza un episodio, como cuando el agente alcanza un cierto estado o supera un umbral de transiciones de estado. Por ejemplo, en el caso del taco en línea (también conocido como “noughts and crosss”), un episodio termina cuando un jugador marca tres espacios consecutivos o cuando todos los espacios están marcados.

prueba

#df

En un árbol de decisiones, es otro nombre para una condición.

pérdida de prueba

#fundamentals

Es una métrica que representa la pérdida de un modelo en comparación con el conjunto de prueba. Cuando compilas un model, por lo general, intentas minimizar la pérdida de prueba. Esto se debe a que una pérdida de prueba baja es un indicador de calidad más fuerte que una pérdida de entrenamiento o una pérdida de validación baja.

A veces, una gran brecha entre la pérdida de prueba y la pérdida de entrenamiento o la pérdida de validación sugiere que debes aumentar la tasa de regularización.

conjunto de prueba

Subconjunto del conjunto de datos reservado para probar un modelo entrenado.

Tradicionalmente, los ejemplos del conjunto de datos se dividen en los siguientes tres subconjuntos diferentes:

• Un conjunto de entrenamiento
• un conjunto de validación
• un conjunto de prueba

Cada ejemplo de un conjunto de datos debe pertenecer solo a uno de los subconjuntos anteriores. Por ejemplo, un solo ejemplo no debe pertenecer al conjunto de entrenamiento y al de prueba.

El conjunto de entrenamiento y el de validación están estrechamente relacionados con el entrenamiento de un modelo. Debido a que el conjunto de prueba solo se asocia indirectamente con el entrenamiento, la pérdida de prueba es una métrica menos sesgada y de mayor calidad que la pérdida de entrenamiento o la pérdida de validación.

intervalo de texto

#language

El intervalo de índice del array asociado con una subsección específica de una cadena de texto. Por ejemplo, la palabra good en la string s="Be good now" de Python ocupa el intervalo de texto de 3 a 6.

tf.Example

#TensorFlow

Búfer de protocolo estándar que se usa para describir datos de entrada para el entrenamiento o la inferencia de modelos de aprendizaje automático.

tf.keras

#TensorFlow

Una implementación de Keras integrada en TensorFlow.

umbral (para árboles de decisión)

#df

En una condición alineada con el eje, es el valor con el que se compara un atributo. Por ejemplo, 75 es el valor de umbral en la siguiente condición:

grade >= 75

Esta forma del término umbral es diferente del umbral de clasificación.

análisis de series temporales

#clustering

Subcampo del aprendizaje automático y la estadística que analiza datos temporales. Muchos tipos de problemas de aprendizaje automático requieren un análisis de series temporales que incluye la clasificación, el agrupamiento en clústeres, la previsión y la detección de anomalías. Por ejemplo, podrías usar análisis de series temporales para prever las ventas futuras de abrigos de invierno por mes en función de los datos de ventas históricos.

paso en el tiempo

#seq

Una celda "no enrollada" dentro de una red neuronal recurrente. Por ejemplo, en la siguiente figura, se muestran tres pasos temporales (etiquetados con los subíndices t-1, t y t+1):

token

#language

En un modelo de lenguaje, es la unidad atómica con la que se entrena el modelo y con la que se realizan predicciones. Por lo general, un token es uno de los siguientes:

• una palabra, por ejemplo, la frase “perros como gatos” consta de tres tokens de palabras: “perros”, “como” y “gatos”.
• un carácter, por ejemplo, la frase “pez bicicleta” consta de nueve tokens de caracteres. (Ten en cuenta que el espacio en blanco cuenta como uno de los tokens).
• subpalabras, en las que una sola palabra puede ser un token único o varios tokens. Una subpalabra consiste en una palabra raíz, un prefijo o un sufijo. Por ejemplo, un modelo de lenguaje que usa subpalabras como tokens podría ver la palabra “perros” como dos tokens (la palabra raíz “perro” y el sufijo plural “s”). Ese mismo modelo de lenguaje podría ver la sola palabra "taller" como dos subpalabras (la palabra raíz "tall" y el sufijo "er").

En dominios fuera de los modelos de lenguaje, los tokens pueden representar otros tipos de unidades atómicas. Por ejemplo, en visión artificial, un token puede ser un subconjunto de una imagen.

torre

Componente de una red neuronal profunda que es una red neuronal profunda. En algunos casos, cada torre lee desde una fuente de datos independiente, y esas torres se mantienen independientes hasta que su salida se combina en una capa final. En otros casos, (por ejemplo, en la pila o torre de codificador y decodificador de muchos Transformers), las torres tienen conexiones cruzadas entre sí.

TPU

#TensorFlow

#GoogleCloud

Abreviatura de unidad de procesamiento tensorial.

chip TPU

#TensorFlow

#GoogleCloud

Acelerador de álgebra lineal programable con memoria de gran ancho de banda en chip que está optimizado para cargas de trabajo de aprendizaje automático. Varios chips TPU se implementan en un dispositivo de TPU.

Dispositivo de TPU

#TensorFlow

#GoogleCloud

Una placa de circuito impreso (PCB) con varios chips TPU, interfaces de red de ancho de banda alto y hardware de enfriamiento del sistema.

TPU principal

#TensorFlow

#GoogleCloud

Es el proceso de coordinación central que se ejecuta en una máquina anfitrión que envía y recibe datos, resultados, programas, información del estado del sistema y rendimiento a los trabajadores de TPU. La instancia principal de TPU también administra la configuración y el apagado de los dispositivos de TPU.

Nodo TPU

#TensorFlow

#GoogleCloud

Un recurso de TPU en Google Cloud con un tipo de TPU específico. El nodo TPU se conecta a tu red de VPC desde una red de VPC de intercambio de tráfico. Los nodos TPU son un recurso definido en la API de Cloud TPU.

pod de TPU

#TensorFlow

#GoogleCloud

Es una configuración específica de dispositivos de TPU en un centro de datos de Google. Todos los dispositivos en un pod de TPU están conectados entre sí a través de una red dedicada de alta velocidad. Un pod de TPU es la configuración más grande de dispositivos de TPU disponibles para una versión de TPU específica.

Recurso de TPU

#TensorFlow

#GoogleCloud

Una entidad de TPU en Google Cloud que creas, administras o consumes. Por ejemplo, los nodos TPU y los tipos de TPU son recursos de TPU.

Porción de TPU

#TensorFlow

#GoogleCloud

Una porción de TPU es una parte fraccionaria de los dispositivos de TPU en un Pod de TPU. Todos los dispositivos en una porción de TPU están conectados entre sí a través de una red dedicada de alta velocidad.

Tipo de TPU

#TensorFlow

#GoogleCloud

Es una configuración de uno o más dispositivos de TPU con una versión específica de hardware de TPU. El tipo de TPU se selecciona cuando creas un nodo TPU en Google Cloud. Por ejemplo, un tipo de TPU v2-8 es un dispositivo único de TPU v2 con 8 núcleos. Un tipo de TPU v3-2048 tiene 256 dispositivos TPU v3 conectados en red y un total de 2,048 núcleos. Los tipos de TPU son un recurso definido en la API de Cloud TPU.

trabajador TPU

#TensorFlow

#GoogleCloud

Un proceso que se ejecuta en una máquina anfitrión y ejecuta programas de aprendizaje automático en dispositivos de TPU.

modelos

#fundamentals

Es el proceso de determinar los parámetros ideales (ponderaciones y sesgos) que comprenden un modelo. Durante el entrenamiento, un sistema lee ejemplos y ajusta los parámetros de forma gradual. El entrenamiento utiliza cada ejemplo desde varias veces hasta miles de millones de veces.

pérdida de entrenamiento

#fundamentals

Métrica que representa la pérdida de un modelo durante una iteración de entrenamiento particular. Por ejemplo, supongamos que la función de pérdida es Error cuadrático medio. Quizás la pérdida de entrenamiento (el error cuadrático medio) para la 10a iteración sea 2.2 y la pérdida de entrenamiento para la iteración número 100 sea 1.9.

Una curva de pérdida traza la pérdida en el entrenamiento en comparación con la cantidad de iteraciones. Una curva de pérdida proporciona los siguientes consejos sobre el entrenamiento:

• Una pendiente descendente implica que el modelo está mejorando.
• Una pendiente ascendente implica que el modelo está empeorando.
• Una pendiente plana significa que el modelo alcanzó la convergencia.

Por ejemplo, se muestra la siguiente curva de pérdida un tanto idealizada:

• Una pendiente descendente empinada durante las iteraciones iniciales, lo que implica una mejora rápida del modelo.
• Aplanamiento gradual (pero aún descendente) hasta cerca del final del entrenamiento, lo que implica una mejora continua del modelo a un ritmo algo más lento que durante las iteraciones iniciales.
• Es una pendiente plana hacia el final del entrenamiento, lo que sugiere convergencia.

Aunque la pérdida de entrenamiento es importante, consulta también la generalización.

desviación entre el entrenamiento y la entrega

#fundamentals

La diferencia entre el rendimiento de un modelo durante el entrenamiento y el rendimiento de ese mismo modelo durante la entrega.

conjunto de entrenamiento

#fundamentals

Es el subconjunto del conjunto de datos que se usa para entrenar un modelo.

Tradicionalmente, los ejemplos del conjunto de datos se dividen en los siguientes tres subconjuntos diferentes:

• un conjunto de entrenamiento
• un conjunto de validación
• Un conjunto de prueba

Idealmente, cada ejemplo del conjunto de datos debería pertenecer a solo uno de los subconjuntos anteriores. Por ejemplo, un solo ejemplo no debe pertenecer al conjunto de entrenamiento y al de validación.

trayectoria

#rl

En el aprendizaje por refuerzo, una secuencia de tuplas que representan una secuencia de transiciones de estado del agente, en la que cada tupla corresponde al estado, la acción, la recompensa y el siguiente estado para una transición de estado determinada.

aprendizaje por transferencia

Transferencia de información de una tarea de aprendizaje automático a otra. Por ejemplo, en el aprendizaje de tareas múltiples, un solo modelo resuelve varias tareas, como en el caso de un modelo profundo que tiene diferentes nodos de salida para distintas tareas. El aprendizaje por transferencia puede implicar la transferencia de conocimiento de una solución de una tarea más simple a una más compleja, o la transferencia de conocimiento de una tarea en la que hay más datos a una en la que hay menos.

La mayoría de los sistemas de aprendizaje automático resuelven una única tarea. El aprendizaje por transferencia es un primer paso hacia la inteligencia artificial, en la que un solo programa puede resolver múltiples tareas.

Transformador

#language

Arquitectura de red neuronal desarrollada en Google que se basa en mecanismos de autoatención para transformar una secuencia de incorporaciones de entrada en una secuencia de incorporaciones de salida sin depender de convoluciones ni redes neuronales recurrentes. Un transformador se puede ver como una pila de capas de autoatención.

Un transformador puede incluir cualquiera de los siguientes elementos:

• un codificador
• un decodificador
• un codificador y un decodificador,

Un codificador transforma una secuencia de incorporaciones en una secuencia nueva de la misma longitud. Un codificador incluye N capas idénticas, cada una de las cuales contiene dos subcapas. Estas dos subcapas se aplican en cada posición de la secuencia de incorporación de entrada y transforman cada elemento de la secuencia en una incorporación nueva. La primera subcapa del codificador agrega información de toda la secuencia de entrada. La segunda subcapa del codificador transforma la información agregada en una incorporación de salida.

Un decodificador transforma una secuencia de incorporaciones de entrada en una secuencia de incorporaciones de salida, posiblemente con una longitud diferente. Un decodificador también incluye N capas idénticas con tres subcapas, dos de las cuales son similares a las subcapas del codificador. La tercera subcapa del decodificador toma la salida del codificador y aplica el mecanismo de autoatención para recopilar información de ella.

La entrada de blog Transformer: A Novel Neural Network Architecture for Language Understanding (Transformer: Una novedosa arquitectura de red neuronal para comprensión del lenguaje) ofrece una buena introducción a Transformers.

invariancia traslacional

#image

En un problema de clasificación de imágenes, es la capacidad de un algoritmo para clasificar correctamente imágenes, incluso cuando cambia la posición de los objetos dentro de la imagen. Por ejemplo, el algoritmo aún puede identificar un perro, ya sea que se encuentre en el centro del marco o en su extremo izquierdo.

Consulta también la invariancia de tamaño y la invariancia rotacional.

trigrama

#seq

#language

n-grama en el que n=3.

verdadero negativo (VN)

#fundamentals

Ejemplo en el que el modelo predice correctamente la clase negativa. Por ejemplo, el modelo infiere que un mensaje de correo electrónico en particular no es spam y que ese mensaje en realidad no es spam.

verdadero positivo (VP)

#fundamentals

Ejemplo en el que el modelo predice correctamente la clase positiva. Por ejemplo, el modelo infiere que un mensaje de correo electrónico en particular es spam y que ese mensaje realmente es spam.

tasa de verdaderos positivos (TPR)

#fundamentals

Sinónimo de recuperación. Es decir:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

La tasa de verdaderos positivos es el eje Y en una curva ROC.

U

asconocimiento (a un atributo sensible)

#fairness

Una situación en la que están presentes atributos sensibles, pero no se incluyen en los datos de entrenamiento. Debido a que los atributos sensibles a menudo se correlacionan con otros atributos de los datos propios, un modelo entrenado sin tener en cuenta un atributo sensible podría tener un impacto dispar con respecto a ese atributo o infringir otras restricciones de equidad.

subajuste

#fundamentals

Producir un model con poca capacidad predictiva porque el modelo no capturó por completo la complejidad de los datos de entrenamiento. Muchos problemas pueden causar subajuste, como los siguientes:

• Entrenar con el conjunto incorrecto de atributos
• Entrenar durante muy pocos ciclos de entrenamiento o con una tasa de aprendizaje muy baja
• Entrenamiento con una tasa de regularización demasiado alta.
• Proporcionar muy pocas capas ocultas en una red neuronal profunda.

submuestreo

Quitar ejemplos de la clase mayor de un conjunto de datos con desequilibrio de clases para crear un conjunto de entrenamiento más equilibrado

Por ejemplo, considera un conjunto de datos en el que la proporción entre la clase mayoritaria y la clase minoritaria sea 20:1. Para superar este desequilibrio de clases, puedes crear un conjunto de entrenamiento que contenga todos los ejemplos de clases minoritarias, pero solo una décima de los ejemplos de clases mayoritarias, lo que crearía una proporción de clases del conjunto de entrenamiento de 2:1. Gracias al submuestreo, este conjunto de entrenamiento más equilibrado podría producir un mejor modelo. Como alternativa, este conjunto de entrenamiento más equilibrado podría contener ejemplos insuficientes para entrenar un modelo efectivo.

Compara esto con el sobremuestreo.

unidireccional

#language

Es un sistema que solo evalúa el texto que antecede a una sección de texto objetivo. Por el contrario, un sistema bidireccional evalúa el texto que precede y sigue una sección de texto objetivo. Consulta bidireccional para obtener más detalles.

modelo de lenguaje unidireccional

#language

Un modelo de lenguaje que basa sus probabilidades solo en los tokens que aparecen antes, no después, de los tokens de destino. Compara esto con el modelo de lenguaje bidireccional.

ejemplo sin etiqueta

#fundamentals

Ejemplo que contiene atributos, pero no etiqueta. Por ejemplo, en la siguiente tabla, se muestran tres ejemplos sin etiqueta de un modelo de evaluación de casas, cada uno con tres atributos, pero sin valor de la casa:

Cantidad de dormitorios	Cantidad de baños	Antigüedad
3	2	15
2	1	72
4	2	34

En el aprendizaje automático supervisado, los modelos se entrenan con ejemplos etiquetados y realizan predicciones en ejemplos sin etiqueta.

En el aprendizaje semisupervisado y no supervisado, los ejemplos sin etiqueta se usan durante el entrenamiento.

Compara un ejemplo sin etiqueta con un ejemplo etiquetado.

aprendizaje automático no supervisado

#clustering

#fundamentals

Entrenar un model para encontrar patrones en un conjunto de datos, generalmente sin etiqueta

El uso más común del aprendizaje automático no supervisado es agrupar en clústeres los datos en grupos de ejemplos similares. Por ejemplo, un algoritmo de aprendizaje automático no supervisado puede agrupar canciones en función de varias propiedades de la música. Los clústeres resultantes pueden convertirse en una entrada para otros algoritmos de aprendizaje automático (por ejemplo, para un servicio de recomendaciones de música). El agrupamiento en clústeres puede ayudar cuando las etiquetas útiles son escasas o ausentes. Por ejemplo, en dominios como la protección contra el abuso y el fraude, los clústeres pueden ayudar a las personas a comprender mejor los datos.

Compara esto con el aprendizaje automático supervisado.

Haz clic en el ícono de notas adicionales.

Otro ejemplo de aprendizaje automático no supervisado es el análisis de componentes principales (ACP). Por ejemplo, aplicar el PCA a un conjunto de datos con el contenido de millones de carritos de compras podría revelar que los carritos de compras que contienen limones con frecuencia también contienen antiácidos.

---

modelado de aumento

Es una técnica de modelado, de uso general en marketing, que modela el “efecto causal” (también conocido como “impacto incremental”) de un “tratamiento” en una “persona”. Estos son dos ejemplos:

• Los médicos pueden usar el modelado de aumento de efectividad para predecir la disminución de la mortalidad (efecto causal) de un procedimiento médico (tratamiento) según la edad y los antecedentes médicos de un paciente (individual).
• Los especialistas en marketing pueden usar el modelado de aumento para predecir el aumento en la probabilidad de una compra (efecto causal) debido a un anuncio (tratamiento) en una persona (individual).

El modelado de aumento difiere de la clasificación o la regresión en que algunas etiquetas (por ejemplo, la mitad de las etiquetas en los tratamientos binarios) siempre faltan en el modelado de aumento. Por ejemplo, un paciente puede recibir o no un tratamiento; por lo tanto, solo podemos observar si el paciente sanará o no en una sola de estas dos situaciones (pero nunca en ambas). La principal ventaja de un modelo de aumento es que puede generar predicciones para la situación no observada (el contrafáctico) y usarlas para calcular el efecto causal.

subir de peso

Aplicación de un peso a la clase con reducción de muestreo igual al factor por el que se realizó la reducción de muestreo.

matriz de usuarios

#recsystems

En los sistemas de recomendación, es un vector de incorporación generado por la factorización de matrices que contiene indicadores latentes sobre las preferencias del usuario. Cada fila de la matriz de usuarios contiene información sobre la fuerza relativa de varias señales latentes para un solo usuario. Por ejemplo, considera un sistema de recomendación de películas. En este sistema, las señales latentes de la matriz de usuarios pueden representar el interés de cada usuario en géneros particulares o pueden ser señales más difíciles de interpretar que impliquen interacciones complejas entre varios factores.

La matriz de usuarios tiene una columna para cada atributo latente y una fila para cada usuario. Es decir, la matriz de usuarios tiene la misma cantidad de filas que la matriz objetivo que se factoriza. Por ejemplo, en un sistema de recomendación de películas para 1,000,000 de usuarios, la matriz de usuarios tendrá 1,000,000 de filas.

V

la validación de políticas

#fundamentals

Es la evaluación inicial de la calidad de un modelo. La validación verifica la calidad de las predicciones de un modelo con el conjunto de validación.

Debido a que el conjunto de validación difiere del conjunto de entrenamiento, la validación ayuda a proteger contra el sobreajuste.

Puedes pensar en evaluar el modelo con el conjunto de validación como la primera ronda de pruebas y evaluar el modelo con el conjunto de prueba como la segunda ronda de pruebas.

pérdida de validación

#fundamentals

Una métrica que representa la pérdida de un modelo en el conjunto de validación durante una iteración particular del entrenamiento.

Consulta también la curva de generalización.

conjunto de validación

#fundamentals

Subconjunto del conjunto de datos que realiza la evaluación inicial frente a un modelo entrenado. Por lo general, debes evaluar el modelo entrenado con el conjunto de validación varias veces antes de evaluarlo con el conjunto de prueba.

Tradicionalmente, los ejemplos del conjunto de datos se dividen en los siguientes tres subconjuntos distintos:

• Un conjunto de entrenamiento
• un conjunto de validación
• Un conjunto de prueba

Idealmente, cada ejemplo del conjunto de datos debería pertenecer a solo uno de los subconjuntos anteriores. Por ejemplo, un solo ejemplo no debe pertenecer al conjunto de entrenamiento y al de validación.

imputación de valor

Es el proceso de reemplazar un valor faltante por un sustituto aceptable. Cuando falta un valor, puedes descartar todo el ejemplo o puedes usar la asignación de valor para recuperar el ejemplo.

Por ejemplo, considera un conjunto de datos que contenga un atributo temperature que se supone que se registrará cada hora. Sin embargo, la lectura de la temperatura no estuvo disponible durante una hora en particular. Esta es una sección del conjunto de datos:

Marca de tiempo	Temperatura
1680561000	10
1680564600	12
1680568200	faltante
1680571800	20
1680575400	21
1680579000	21

Un sistema podría borrar el ejemplo faltante o imputar la temperatura faltante a 12, 16, 18 o 20, según el algoritmo de asignación.

problema de gradiente desaparecido

#seq

La tendencia de los gradientes de las primeras capas ocultas de algunas redes neuronales profundas a volverse sorprendentemente planas (bajas). Los gradientes cada vez más bajos generan cambios cada vez más pequeños en los pesos de los nodos de una red neuronal profunda, lo que lleva a un aprendizaje mínimo o nulo. Los modelos que sufren el problema de desvanecimiento del gradiente se vuelven difíciles o imposibles de entrenar. Las celdas de Memoria a corto plazo de larga duración solucionan este problema.

Compara con el problema de gradiente con alto crecimiento.

importancias de las variables

#df

Un conjunto de puntuaciones que indica la importancia relativa de cada atributo para el modelo.

Por ejemplo, considera un árbol de decisión que calcula el precio de las casas. Supongamos que este árbol de decisión usa tres atributos: tamaño, edad y estilo. Si se calcula que un conjunto de importancias variables para los tres atributos es {size=5.8, age=2.5, style=4.7}, entonces el tamaño es más importante para el árbol de decisión que la edad o el estilo.

Existen diferentes métricas de importancia de las variables que pueden informar a los expertos en AA sobre distintos aspectos de los modelos.

codificador automático variacional (VAE)

#language

Un tipo de codificador automático que aprovecha la discrepancia entre las entradas y las salidas para generar versiones modificadas de las entradas. Los codificadores automáticos variacionales son útiles para la IA generativa.

Los VAE se basan en la inferencia variacional: una técnica para estimar los parámetros de un modelo de probabilidad.

vector

Término muy sobrecargado cuyo significado varía entre distintos campos matemáticos y científicos. En el aprendizaje automático, un vector tiene dos propiedades:

• Tipo de datos: los vectores en el aprendizaje automático suelen contener números de punto flotante.
• Número de elementos: Es la longitud del vector o su dimensión.

Por ejemplo, considera un vector de atributos que contiene ocho números de punto flotante. Este vector de atributos tiene una longitud o dimensión de ocho. Ten en cuenta que los vectores de aprendizaje automático suelen tener una gran cantidad de dimensiones.

Puedes representar muchos tipos diferentes de información como un vector. Por ejemplo:

• Cualquier posición en la superficie terrestre se puede representar como un vector bidimensional, en el que una dimensión es la latitud y la otra es la longitud.
• Los precios actuales de cada una de las 500 acciones se pueden representar como un vector de 500 dimensiones.
• Una distribución de probabilidad sobre un número finito de clases se puede representar como un vector. Por ejemplo, un sistema de clasificación multiclase que predice uno de los tres colores de salida (rojo, verde o amarillo) podría generar el vector (0.3, 0.2, 0.5) como P[red]=0.3, P[green]=0.2, P[yellow]=0.5.

Los vectores se pueden concatenar; por lo tanto, se puede representar una variedad de medios diferentes como un solo vector. Algunos modelos operan directamente sobre la concatenación de muchas codificaciones one-hot.

Los procesadores especializados, como las TPU, están optimizados para realizar operaciones matemáticas en vectores.

Un vector es un tensor de rango 1.

W

Pérdida de Wasserstein

Una de las funciones de pérdida de uso general en las redes generativas adversarias, que se basa en la distancia de la tierra entre la distribución de los datos generados y los datos reales.

peso

#fundamentals

Valor que un modelo multiplica por otro valor. El entrenamiento es el proceso de determinar los pesos ideales de un modelo; la inferencia es el proceso de usar los pesos aprendidos para hacer predicciones.

Haz clic en el ícono para ver un ejemplo de pesos en un modelo lineal.

Imagina un modelo lineal con dos atributos. Supongamos que el entrenamiento determina las siguientes ponderaciones (y el sesgo):

• El sesgo, b, tiene un valor de 2.2
• El peso, w₁ asociado con un atributo es 1.5.
• El peso, w₂ asociado con el otro atributo es 0.4.

Ahora imagina un ejemplo con los siguientes valores de atributo:

• El valor de un atributo, x₁, es 6.
• El valor del otro atributo, x₂, es 10.

En este modelo lineal, se usa la siguiente fórmula para generar una predicción, y':

$$y' = b + w_1x_1 + w_2x_2$$

Por lo tanto, la predicción es la siguiente:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

Si un peso es 0, el atributo correspondiente no contribuye al modelo. Por ejemplo, si w₁ es 0, el valor de x₁ es irrelevante.

---

mínimos cuadrados ponderados alternos (WALS)

#recsystems

Algoritmo para minimizar la función objetiva durante la factorización de matrices en sistemas de recomendación, lo que permite disminuir la ponderación de los ejemplos faltantes. WALS minimiza el error cuadrático ponderado entre la matriz original y la reconstrucción al alternar entre la fijación de la factorización de filas y la de columnas. Cada una de estas optimizaciones puede resolverse con optimización convexa de mínimos cuadrados. Para obtener más información, consulta el curso de Sistemas de recomendación.

suma ponderada

#fundamentals

Es la suma de todos los valores de entrada relevantes multiplicados por sus ponderaciones correspondientes. Por ejemplo, supongamos que las entradas relevantes constan de lo siguiente:

valor de entrada	peso de entrada
2	-1,3
-1	0.6
3	0.4

Por lo tanto, la suma ponderada es la siguiente:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Una suma ponderada es el argumento de entrada de una función de activación.

modelo amplio

Modelo lineal que suele tener muchos atributos de entrada dispersos. Este modelo se denomina "amplio" porque es un tipo especial de red neuronal con una gran cantidad de entradas que se conectan directamente al nodo de salida. Los modelos amplios suelen ser más fáciles de inspeccionar y depurar que los modelos profundos. Aunque los modelos amplios no pueden expresar no linealidades a través de capas ocultas, estos pueden usar transformaciones como la combinación de atributos y el agrupamiento en buckets para modelar no linealidades de diferentes maneras.

Compara esto con el modelo profundo.

width

Cantidad de neuronas en una capa particular de una red neuronal.

sabiduría de la multitud

#df

La idea de que promediar las opiniones o estimaciones de un gran grupo de personas ("la multitud") suele producir resultados sorprendentemente buenos. Por ejemplo, considera un juego en el que las personas adivinen la cantidad de gomitas empaquetados en un frasco grande. Aunque la mayoría de las suposiciones individuales no serán precisas, el promedio de todas las conjeturas se ha demostrado empíricamente que es sorprendentemente cercano a la cantidad real de gomitas en el frasco.

Los Ensembles son un software análogo de la sabiduría de la multitud. Incluso si los modelos individuales hacen predicciones muy imprecisas, promediar las predicciones de muchos modelos suele generar predicciones sorprendentemente buenas. Por ejemplo, aunque un árbol de decisión individual puede generar predicciones deficientes, un bosque de decisión a menudo hace predicciones muy buenas.

incorporación de palabras

#language

Representar cada palabra de un conjunto de palabras dentro de un vector de incorporación; es decir, la representación de cada palabra como un vector de valores de punto flotante entre 0.0 y 1.0. Las palabras con significados similares tienen representaciones más parecidas que las palabras con significados diferentes. Por ejemplo, zanahorias, apio y pepinos tendrían representaciones relativamente similares, que serían muy diferentes a las representaciones de avión, gafas de sol y pasta de dientes.

X

XLA (Álgebra lineal acelerado)

Un compilador de aprendizaje automático de código abierto para GPU, CPU y aceleradores de AA.

El compilador de XLA toma modelos de frameworks de AA populares, como PyTorch, TensorFlow y JAX, y los optimiza para una ejecución de alto rendimiento en diferentes plataformas de hardware, incluidas GPU, CPU y aceleradores de AA.

Z

aprendizaje sin ejemplos

Es un tipo de entrenamiento de aprendizaje automático en el que el modelo infiere una predicción de una tarea para la que aún no se entrenó específicamente. En otras palabras, al modelo no se le proporcionan ejemplos de entrenamiento específico de tareas, pero se le pide que realice inferencia para esa tarea.

instrucciones sin ejemplos

#language

#IAgenerativa

Una instrucción que no proporciona un ejemplo de cómo quieres que responda el modelo grande de lenguaje. Por ejemplo:

Partes de un mensaje	Notas
¿Cuál es la moneda oficial del país especificado?	La pregunta que quieres que responda el LLM.
India:	Es la consulta real.

El modelo grande de lenguaje podría responder con cualquiera de las siguientes opciones:

• Rupia
• INR
• ₹
• Rupia hindú
• La rupia
• La rupia india

Todas las respuestas son correctas, aunque es posible que prefieras un formato en particular.

Compara y contrasta la instrucción sin ejemplos con los siguientes términos:

• instrucciones con un solo ejemplo
• instrucciones con ejemplos limitados

Normalización de la puntuación Z

#fundamentals

Una técnica de escalamiento que reemplaza un valor de atributo sin procesar por un valor de punto flotante que representa la cantidad de desviaciones estándar de la media del atributo Por ejemplo, considera un atributo cuya media es 800 y cuya desviación estándar es 100. En la siguiente tabla, se muestra cómo la normalización de la puntuación Z asignaría el valor sin procesar a su puntuación Z:

Valor sin procesar	Puntaje Z
800	0
950	Más de 1.5
575	−2.25

Luego, el modelo de aprendizaje automático se entrena con las puntuaciones Z para ese atributo en lugar de con los valores sin procesar.