Glossário de machine learning

Neste glossário, são definidos termos gerais de machine learning, além de específicos do TensorFlow.

Você sabia?

É possível filtrar o glossário escolhendo um tópico do no menu suspenso Glossário na barra de navegação superior. O ícone de pássaro nascendo representa as definições voltadas para iniciantes em ML.

A

ablação

Uma técnica para avaliar a importância de um recurso ou componente removendo-o temporariamente de um modelo. Em seguida, retreinar o modelo sem esse atributo ou componente e, se o modelo retreinado desempenho significativamente pior, então o recurso ou componente removido foi provavelmente é importante.

Por exemplo, suponha que você treine um modelo de classificação em 10 recursos e alcançar 88% de precisão no conjunto de teste. Para verificar a importância do primeiro atributo, é possível treinar novamente o modelo usando apenas atributos de machine learning. Se o desempenho do modelo recondicionado for significativamente pior (por exemplo, 55% de precisão), o recurso removido provavelmente era importante. Por outro lado, se o modelo retreinado tiver o mesmo desempenho, esse atributo provavelmente foi não é tão importante.

A ablação também pode ajudar a determinar a importância de:

• Componentes maiores, como um subsistema inteiro de um sistema de ML maior
• Processos ou técnicas, como uma etapa de pré-processamento de dados.

Em ambos os casos, você vai observar como o desempenho do sistema muda (ou não muda) depois que você remove o componente.

Teste A/B

Uma forma estatística de comparar duas (ou mais) técnicas. O modelo A e B. Normalmente, A é uma técnica existente, e a B é uma técnica nova. O teste A/B não só determina qual técnica tem melhor performance mas também se a diferença é estatisticamente significativa.

O teste A/B geralmente compara uma única métrica em duas técnicas. Por exemplo, como a precisão do modelo se compara a dois técnicas? No entanto, os testes A/B também podem comparar qualquer número finito de métricas.

chip do acelerador

#GoogleCloud

Uma categoria de componentes de hardware especializados projetados para realizar cálculos principais necessários para algoritmos de aprendizado profundo.

Os chips de aceleração (ou simplesmente aceleradores) podem aumentar significativamente a velocidade e a eficiência das tarefas de treinamento e inferência em comparação com uma CPU de uso geral. São ideais para treinamento redes neurais e tarefas semelhantes com uso intensivo de computação.

Exemplos de chips de aceleração incluem:

• Unidades de Processamento de Tensor do Google (TPUs) com hardware dedicado para o aprendizado profundo.
• GPUs da NVIDIA que, embora inicialmente projetadas para processamento gráfico, foram criadas para permitir o processamento em paralelo, que pode aumentar a velocidade de processamento.

precisão

#fundamentals

O número de previsões de classificação corretas dividido pelo número total de previsões. Ou seja:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

Por exemplo, um modelo que fez 40 previsões corretas e 10 incorretas previsões teriam uma acurácia de:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

A classificação binária fornece nomes específicos para as diferentes categorias de previsões corretas e previsões incorretas. Portanto, a fórmula de acurácia para classificação binária é o seguinte:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

em que:

• VP é o número de verdadeiros positivos (previsões corretas).
• TN é o número de verdadeiros negativos (previsões corretas).
• FP é o número de falsos positivos (previsões incorretas).
• FN é o número de falsos negativos (previsões incorretas).

Comparar e contrastar a acurácia com precisão e recall.

Clique no ícone para ver mais observações.

Embora seja uma métrica valiosa para algumas situações, a acurácia é altamente enganoso para outras pessoas. A acurácia costuma ser uma métrica ruim para avaliar modelos de classificação que processam conjuntos de dados desequilibrados de classes.

Por exemplo, suponha que a neve cai somente 25 dias por século em um determinado cidade subtropical. Como os dias sem neve (a classe negativa) são muito mais numerosos do que os dias com neve (a classe positiva), o conjunto de dados de neve dessa cidade está desequilibrado. Imagine uma classificação binária que deveria prever neve ou nenhuma neve todos os dias, mas simplesmente prevê "sem neve" todos os dias. Esse modelo é altamente preciso, mas não tem capacidade preditiva. A tabela a seguir resume os resultados de um século de previsões:

Categoria	Número
VP	0
TN	36499
FP	0
FN	25

Portanto, a acurácia desse modelo é:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

Ainda que a acurácia de 99,93% pareça uma porcentagem muito impressionante, de fato não tem poder de previsão.

Precisão e recall geralmente são métricas mais úteis do que accuracy para avaliar modelos treinados em conjuntos de dados com desequilíbrio de classes.

---

Consulte Classificação: precisão, recall, precisão e métricas relacionadas no Curso intensivo de machine learning para mais informações.

ação

#rl

No aprendizado por reforço, o mecanismo pelo qual o agente transições entre estados da ambiente. O agente escolhe a ação usando uma política.

função de ativação

#fundamentals

Uma função que permite que as redes neurais aprendam Relações nonlinear (complexas) entre atributos e o rótulo.

Funções de ativação conhecidas incluem:

• ReLU
• Sigmoide

Os gráficos das funções de ativação nunca são linhas retas. Por exemplo, o gráfico da função de ativação ReLU consiste em duas linhas retas:

Um gráfico da função de ativação sigmoid tem esta aparência:

Clique no ícone para conferir um exemplo.

Em uma rede neural, as funções de ativação manipulam a soma ponderada de todas as entradas para um neurônio. Para calcular uma soma ponderada, o neurônio soma os produtos dos valores e pesos relevantes. Por exemplo, suponha a entrada relevante para um neurônio consiste no seguinte:

valor de entrada	peso de entrada
2	-1,3
-1	0,6
3	0,4

A soma ponderada é, portanto:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Suponha que o designer dessa rede neural escolha o função sigmoide para ser o função de ativação. Nesse caso, o neurônio calcula a sigmoide de -2,0, que é aproximadamente 0,12. Portanto, o passa 0,12 (em vez de -2,0) para a próxima camada na rede neural. A figura a seguir ilustra a parte relevante do processo:

---

Consulte Redes neurais: funções de ativação no Curso intensivo de machine learning para mais informações.

aprendizagem ativa

Uma abordagem de treinamento em que o algoritmo escolhe alguns dos dados que ele aprende. Aprendizado ativo é particularmente valioso quando exemplos rotulados são escassas ou caras para conseguir. Em vez de buscar cegamente uma variedade de exemplos rotulados, um algoritmo de aprendizado ativo busca seletivamente a faixa específica de exemplos necessários para a aprendizagem.

AdaGrad

Um algoritmo de descida do gradiente sofisticado que redimensiona os gradientes de cada parâmetro, dando a cada parâmetro uma taxa de aprendizado independente. Para uma explicação completa, consulte este artigo sobre o AdaGrad (em inglês).

agente

#rl

No aprendizado por reforço, a entidade que usa uma política para maximizar o retorno esperado da transição entre estados do ambiente.

De modo mais geral, um agente é um software que planeja e executa, de forma autônoma, série de ações em busca de um objetivo, com capacidade de se adaptar às mudanças em seu ambiente. Por exemplo, um agente baseado em LLM pode usar um LLM para gerar um plano, em vez de aplicar uma política de aprendizado por reforço.

agrupamento aglomerativo

#clustering

Consulte clustering hierárquico.

detecção de anomalias

Processo de identificação de outliers. Por exemplo, se a média para um determinado atributo é 100 com um desvio padrão de 10, a detecção de anomalias sinalizará o valor 200 como suspeito.

AR

Abreviação de realidade aumentada.

área sob a curva PR

Consulte AUC PR (área sob a curva PR).

área sob a curva ROC

Consulte AUC (área sob a curva ROC).

inteligência artificial geral

Um mecanismo não humano que demonstra uma ampla gama de resolução de problemas, criatividade e adaptabilidade. Por exemplo, um programa que demonstre inteligência geral poderia traduzir textos, compor sinfonias e se destacar em ou jogos que ainda não foram inventados.

inteligência artificial

#fundamentals

Um programa ou modelo não humano que pode resolver tarefas sofisticadas. Por exemplo, programas ou modelos que traduzem texto ou que identificam doenças usando imagens radiológicas usam inteligência artificial.

Formalmente, o aprendizado de máquina é um subcampo da inteligência artificial. No entanto, nos últimos anos, algumas organizações começaram a usar os termos inteligência artificial e aprendizado de máquina como sinônimos.

atenção

#language

Um mecanismo usado em uma rede neural que indica a importância de uma palavra ou parte de uma palavra específica. A atenção compacta a quantidade de informações que um modelo precisa para prever o próximo token/palavra. Um mecanismo de atenção típico pode consistir soma ponderada sobre um conjunto de entradas, em que o weight para cada entrada é calculado por outra parte do rede neural profunda.

Consulte também a autoatenção e autoatenção de várias cabeças, que são elementos básicos dos Transformers.

Consulte LLMs: What's a large language model? no Curso intensivo de machine learning para mais informações sobre a auto-atenção.

atributo

#fairness

Sinônimo de feature.

Na imparcialidade do machine learning, os atributos geralmente se referem que pertencem aos indivíduos.

amostragem de atributos

#df

Uma tática para treinar uma floresta de decisão em que cada A árvore de decisão considera apenas um subconjunto aleatório de possíveis recursos ao descobrir a condição. Geralmente, um subconjunto diferente de recursos é amostrado para cada nó. Por outro lado, ao treinar uma árvore de decisão, sem amostragem de atributos, todos os atributos possíveis serão considerados para cada nó.

AUC (área sob a curva ROC)

#fundamentals

Um número entre 0,0 e 1,0 que representa a capacidade de um modelo de classificação binária de separar classes positivas de classes negativas. Quanto mais próxima a AUC estiver de 1, melhor será a capacidade do modelo de separar as classes umas das outras.

Por exemplo, a ilustração a seguir mostra um modelo de classificador que separa perfeitamente as classes positivas (ovais verdes) das negativas (retângulos roxos). Esse modelo perfeito tem uma AUC de 1,0:

Por outro lado, a ilustração a seguir mostra os resultados de um modelo de classificador que gerou resultados aleatórios. Esse modelo tem uma AUC de 0,5:

Sim, o modelo anterior tem um AUC de 0,5, não 0,0.

A maioria dos modelos fica entre os dois extremos. Por exemplo, o modelo a seguir separa um pouco positivos dos negativos e, portanto, tem uma AUC entre 0,5 e 1,0:

O AUC ignora qualquer valor definido para o limite de classificação. Em vez disso, a AUC considera todos os limiares de classificação possíveis.

Clique no ícone para saber mais sobre a relação entre as curvas de AUC e ROC.

A AUC representa a área sob uma curva ROC. Por exemplo, a curva ROC de um modelo que separa perfeitamente os positivos dos negativos é assim:

A AUC é a área da região cinza na ilustração anterior. Nesse caso incomum, a área é simplesmente o comprimento da região cinza (1,0) multiplicado pela largura da região cinza (1,0). Portanto, o produto de 1,0 e 1,0 gera um AUC de exatamente 1,0, que é a maior pontuação de AUC possível.

Por outro lado, a curva ROC de um classificador que não consegue separar classes é a seguinte. A área dessa região cinza é 0,5.

Uma curva ROC mais típica é parecida com esta:

Seria trabalhoso calcular a área sob essa curva manualmente, por isso um programa geralmente calcula a maioria dos valores de AUC.

---

Clique no ícone para conferir uma definição mais formal de AUC.

AUC é a probabilidade de um classificador ter mais confiança de que um um exemplo positivo escolhido aleatoriamente é, na verdade, positivo do que exemplo negativo aleatoriamente escolhido é positivo.

---

Consulte Classificação: ROC e AUC no curso intensivo de machine learning para mais informações.

realidade aumentada

#image

Uma tecnologia que sobrepõe uma imagem gerada por computador à visão do mundo real de um usuário, fornecendo uma visualização composta.

codificador automático

#language

#image

Um sistema que aprende a extrair as informações mais importantes das entrada. Codificadores automáticos são uma combinação de um codificador e decodificador. Os codificadores automáticos usam o seguinte processo de duas etapas:

1. O codificador mapeia a entrada para uma dimensão inferior com perdas (normalmente) (intermediário).
2. O decodificador cria uma versão com perda da entrada original mapeando do formato de dimensão inferior para a dimensão superior original o formato de entrada.

Codificadores automáticos são treinados de ponta a ponta fazendo com que o decodificador reconstruem a entrada original usando o formato intermediário do codificador o mais próximo possível. Como o formato intermediário é menor (de menor dimensionalidade) do que o original, o autoencoder é forçado a aprender quais informações na entrada são essenciais, e a saída não será perfeitamente idêntica à entrada.

Exemplo:

• Se os dados de entrada forem um gráfico, a cópia não exata será semelhante a o gráfico original, mas ligeiramente modificado. Talvez o a cópia não exata remove o ruído do gráfico original ou o preenche que alguns pixels estão faltando.
• Se os dados de entrada forem de texto, um autoencoder vai gerar um novo texto que imita (mas não é idêntico) ao texto original.

Consulte também codificadores automáticos variáveis.

viés de automação

#fairness

Quando um tomador de decisões humanos favorece as recomendações feitas por um sistema de tomada de decisão sobre informações tomadas sem automação, mesmo quando o sistema automatizado de tomada de decisão comete erros.

Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.

AutoML

Qualquer processo automatizado para criar modelos de machine learning . O AutoML pode realizar automaticamente tarefas como as seguintes:

• Pesquise o modelo mais adequado.
• Ajuste os hiperparâmetros.
• Preparar dados (incluindo a execução engenharia de atributos).
• Implante o modelo resultante.

O AutoML é útil para cientistas de dados porque pode economizar tempo e esforço no desenvolvimento de pipelines de aprendizado de máquina e melhorar a precisão da previsão. Ele também é útil para pessoas que não são especialistas, tornando as tarefas complicadas de aprendizado de máquina mais acessíveis.

Consulte Máquina automatizada Aprendizado (AutoML) no curso intensivo de machine learning para mais informações.

modelo autoregressivo

#language

#image

#generativeAI

Um modelo que infere uma previsão com base na própria previsões. Por exemplo, os modelos de linguagem auto-regressivos preveem o próximo token com base nos tokens previstos anteriormente. Todos os modelos de linguagem grandes baseados no Transformer são autoregressivos.

Por outro lado, os modelos de imagem baseados em GAN geralmente não são autorregressivos, porque geram uma imagem em uma única passagem para frente e não iterativamente em etapas. No entanto, alguns modelos de geração de imagens são autorregressivos porque geram uma imagem em etapas.

perda auxiliar

Uma função de perda, usada em conjunto com uma rede neural do modelo, que ajuda a acelerar o treinamento durante as primeiras iterações, quando os pesos são inicializados aleatoriamente.

As funções de perda auxiliares enviam gradientes eficazes para as camadas anteriores. Isso facilita convergência durante o treinamento combatendo o problema de desaparecimento do gradiente.

precisão média

Uma métrica para resumir a performance de uma sequência classificada de resultados. A precisão média é calculada pela média dos valores de precisão para cada resultado relevante (cada resultado na lista classificada em que a recuperação aumenta em relação ao resultado anterior).

Consulte também Área sob a curva de PR.

condição alinhada ao eixo

#df

Em uma árvore de decisão, uma condição envolve apenas um recurso. Por exemplo, se a área for um elemento, a condição alinhada ao eixo será a seguinte:

area > 200

Contraste com a condição oblíqua.

B

retropropagação

#fundamentals

O algoritmo que implementa gradiente descendente na redes neurais.

O treinamento de uma rede neural envolve muitas iterações do seguinte ciclo de duas etapas:

1. Durante o passo para frente, o sistema processa um lote de exemplos para gerar previsões. O sistema compara cada previsão com cada valor de rótulo. A diferença entre a previsão e o valor do rótulo é a perda para esse exemplo. O sistema agrega as perdas de todos os exemplos para calcular o total perda de dados do lote atual.
2. Durante o passe para trás (backpropagação), o sistema reduz a perda em ajustando os pesos de todos os neurônios em todas as camadas escondidas.

As redes neurais geralmente contêm muitos neurônios em muitas camadas ocultas. Cada um desses neurônios contribui para a perda geral de maneiras diferentes. A retropropagação determina se é preciso aumentar ou diminuir os pesos aplicadas a determinados neurônios.

A taxa de aprendizado é um multiplicador que controla o grau em que cada passagem reversa aumenta ou diminui cada peso. Uma taxa de aprendizado grande aumenta ou diminui cada peso mais do que uma taxa de aprendizado pequena.

Em termos de cálculo, a retropropagação implementa a regra de cadeia. do cálculo. Ou seja, a retropropagação calcula a derivada parcial do erro com em relação a cada parâmetro.

Anos atrás, profissionais de ML precisavam escrever código para implementar a retropropagação. APIs modernas de ML, como o Keras, agora implementam a propagação de retorno para você. Ufa.

Consulte Redes neurais no Curso intensivo de machine learning para mais informações.

ensabo

#df

Um método para treinar um ensemble em que cada O modelo integrante é treinado em um subconjunto aleatório de exemplos amostrados com substituição. Por exemplo, uma floresta aleatória é um conjunto de árvores de decisão treinadas com agrupamento.

O termo bagging é uma abreviação de botstrap aggregating.

Consulte Florestas aleatórias no curso de florestas de decisão para mais informações.

pacote de palavras

#language

Uma representação das palavras em uma frase ou passagem, independentemente da ordem. Por exemplo, o bag of words representa as seguintes três frases de forma idêntica:

• O cachorro pula
• pula o cachorro
• cachorro pula o

Cada palavra é mapeada para um índice em um vetor esparsa, em que o vetor tem um índice para cada palavra no vocabulário. Por exemplo: a frase o cachorro pula é mapeada em um vetor de atributo com valor diferente de zero nos três índices correspondentes às palavras the, dog e saltos. O valor diferente de zero pode ser qualquer um destes:

• Um 1 para indicar a presença de uma palavra.
• Contagem do número de vezes que uma palavra aparece na bolsa. Por exemplo, se a frase fosse o cachorro marrom é um cachorro com pelo marrom, então marrom e cachorro seriam representados como 2, enquanto as outras palavras seriam representadas como 1.
• Outro valor, como o logaritmo da contagem do número de vezes que uma palavra aparece no conjunto.

baseline

Um modelo usado como um ponto de referência para comparar o desempenho de outro (normalmente, um mais complexo) está tendo. Por exemplo, um modelo de regressão logística pode servir como uma boa referência para um modelo profundo.

Para um problema específico, o valor de referência ajuda os desenvolvedores de modelos a quantificar o desempenho mínimo esperado que um novo modelo deve alcançar para o novo para que o modelo seja útil.

lote

#fundamentals

O conjunto de exemplos usado em um treinamento iteration. O tamanho do lote determina o número de exemplos em um lote.

Consulte época para uma explicação de como um lote se relaciona um período.

Consulte Regressão linear: hiperparâmetros no Curso intensivo de machine learning para mais informações.

inferência em lote

#TensorFlow

#GoogleCloud

O processo de inferir previsões em vários exemplos não rotulados divididos em subconjuntos menores ("lotes").

A inferência em lote pode aproveitar os recursos de paralelização de chips de aceleração. Ou seja, vários aceleradores podem inferir previsões simultaneamente em diferentes lotes de exemplos não rotulados, aumentando drasticamente o número de inferências por segundo.

Consulte Sistemas de ML de produção: estático versus dinâmico inferência no curso intensivo de machine learning para mais informações.

normalização em lote

Normalizar a entrada ou saída das funções de ativação em uma camada oculta. A normalização em lote pode oferecer os seguintes benefícios:

• Torne as redes neurais mais estáveis protegendo em relação a pesos outlier.
• Ative taxas de aprendizado mais altas, que podem acelerar o treinamento.
• Reduza o overfitting.

tamanho do lote

#fundamentals

O número de exemplos em um lote. Por exemplo, se o tamanho do lote for 100, o modelo processará 100 exemplos por iteração.

Confira a seguir estratégias conhecidas de tamanho de lote:

• Gradiente descendente estocástico (SGD, na sigla em inglês), em que o tamanho do lote é 1.
• Lote completo, em que o tamanho do lote é o número de exemplos em todo o conjunto de treinamento. Por exemplo, se o conjunto de treinamento contiver um milhão de exemplos, o tamanho do lote será de um milhão exemplos. Em geral, o lote completo é uma estratégia ineficiente.
• minilote em que o tamanho do lote geralmente fica entre 10 e 1.000. Em geral, o minilote é a estratégia mais eficiente.

Para saber mais, consulte os seguintes artigos:

• Sistemas de ML de produção: estático versus dinâmico inferência no curso intensivo de machine learning.
• Manual de ajuste de aprendizado profundo.

Rede neural bayesiana

Uma rede neural probabilística que considera a incerteza em pesos e saídas. Um modelo de regressão de rede neural padrão normalmente prevê um valor escalar. Por exemplo, um modelo padrão prevê um preço de casa de 853.000. Por outro lado, uma rede neural bayesiana prevê uma distribuição de valores. Por exemplo, um modelo bayesiano prevê um preço de casa de 853.000 com um desvio padrão de 67.200.

Uma rede neural bayesiana depende Bayes Theorem para calcular incertezas em pesos e previsões. Uma rede neural bayesiana rede pode ser útil quando é importante quantificar a incerteza, como no modelos relacionados à indústria farmacêutica. Redes neurais bayesianas também podem ajudar evitar o overfitting.

Otimização bayesiana

Uma técnica de modelo de regressão probabilística para otimizar funções objetivas computacionalmente caras, otimizando um substituto que quantifica a incerteza usando uma técnica de aprendizado bayesiano. Como a otimização bayesiana é muito cara, ela geralmente é usada para otimizar tarefas caras de avaliar que têm um pequeno número de parâmetros, como selecionar hiperparâmetros.

Equação de Bellman

#rl

No aprendizado por reforço, a seguinte identidade é satisfeita pelo Função Q:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Os algoritmos de aprendizagem por reforço aplicam essa identidade para criar aprendizagem Q usando a seguinte regra de atualização:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Além do aprendizado por reforço, a equação de Bellman tem aplicações para programação dinâmica. Consulte a Entrada da Wikipédia para a equação de Bellman (link em inglês).

BERT (representações de codificador bidirecional de transformadores)

#language

Um modelo de arquitetura para representação de textos. Um modelo BERT treinado pode atuar como parte de um modelo maior para classificação de texto ou outras tarefas de ML.

O BERT tem as seguintes características:

• Usa a arquitetura do Transformer e, portanto, depende da autoatenção.
• Usa a parte codificador do transformador. A função do codificador é produzir boas representações textuais, em vez de realizar uma para uma tarefa específica, como classificação.
• É bidirecional.
• Usa mascaramento para treinamento não supervisionado.

As variantes do BERT incluem:

• ALBERT, que é um acrônimo para A Light BERT.
• LaBSE (em inglês).

Consulte Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing para ter uma visão geral do BERT.

viés (ética/justiça)

#fairness

#fundamentals

1. Estereótipos, preconceito ou favoritismo em relação a algumas coisas, pessoas ou grupos em detrimento de outras. Esses vieses podem afetar a coleta e a interpretação de dados, o design de um sistema e a forma como os usuários interagem com ele. Formas desse tipo de viés incluem:

• viés de automação
• viés de confirmação
• Viés do experimentador
• Viés de atribuição a grupos
• Viés implícito
• viés de grupo
• viés de homogeneidade externa ao grupo

2. Erro sistemático causado por um procedimento de amostragem ou relatório. Formas desse tipo de viés incluem:

• viés de convergência
• Viés de não-resposta
• Viés de participação
• viés de informação
• Viés de amostragem
• viés de seleção

Não confundir com o termo viés em modelos de aprendizado de máquina ou viés de previsão.

Consulte Imparcialidade: tipos de viés no "Machine Learning Crash Course" para mais informações.

viés (matemática) ou termo de viés

#fundamentals

Uma interseção ou compensação de uma origem. O viés é um parâmetro em modelos de aprendizado de máquina, simbolizado por um dos seguintes:

• b
• w₀

Por exemplo, a viés é b na seguinte fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Em uma linha bidimensional simples, a viés significa apenas "intercepto em y". Por exemplo, a tendência da linha na ilustração a seguir é 2.

O viés existe porque nem todos os modelos começam na origem (0,0). Por exemplo, suponha que um parque de diversões custa 2 euros para entrar e mais 0,5 euro por hora que um cliente fica. Portanto, um modelo que mapeia o custo total tem uma viés de 2 porque o custo mais baixo é de 2 euros.

Viés não deve ser confundido com viés na ética e imparcialidade. ou viés de previsão.

Consulte Regressão linear no Curso intensivo de machine learning para mais informações.

bidirecional

#language

Termo usado para descrever um sistema que avalia o texto que antecede e segue uma seção de texto de destino. Por outro lado, um sistema unidirecional avalia apenas o texto que antecede uma seção de texto de destino.

Por exemplo, considere um modelo de linguagem mascarado que precisa determinar as probabilidades da palavra ou das palavras que representam o sublinhado na seguinte pergunta:

Como você está?

Um modelo de linguagem unidirecional precisaria basear as probabilidades apenas no contexto fornecido pelas palavras "What", "is" e "the". Por outro lado, um modelo de linguagem bidirecional também pode obter contexto de "com" e "você", o que pode ajudar o modelo a gerar previsões melhores.

modelo de linguagem bidirecional

#language

Um modelo de linguagem que determina a probabilidade de um determinado token estar presente em um determinado local em um trecho de texto com base no texto anterior e seguinte.

bigrama

#seq

#language

Um n-grama em que N=2.

classificação binária

#fundamentals

Um tipo de tarefa de classificação que prevê uma de duas classes mutuamente exclusivas:

• a classe positiva
• a classe negativa

Por exemplo, os dois modelos de aprendizado de máquina a seguir realizam a classificação binária:

• um modelo que determina se as mensagens de e-mail são spam (a classe positiva) ou não é spam (a classe negativa).
• um modelo que avalia sintomas médicos para determinar se uma pessoa tem uma doença específica (a classe positiva) ou não tem doenças (a classe negativa).

Compare com a classificação multiclasse.

Consulte também regressão logística e limite de classificação.

Consulte Classificação no curso intensivo de machine learning para mais informações.

condição binária

#df

Em uma árvore de decisão, uma condição que tem apenas dois resultados possíveis, normalmente sim ou não. Por exemplo, a seguir está uma condição binária:

temperature >= 100

Contraste com a condição não binária.

Consulte Tipos de condições no curso de florestas de decisão para mais informações.

agrupamento por classes

Sinônimo de bucketing.

BLEU (Subestudo de avaliação bilíngue)

#language

Uma pontuação entre 0,0 e 1,0, indicando a qualidade de uma tradução. entre dois idiomas humanos (por exemplo, inglês e russo). BLEU o score de 1,0 indica uma tradução perfeita; uma pontuação BLEU de 0,0 indica péssima.

impulsionando

Uma técnica de aprendizado de máquina que combina de forma iterativa um conjunto de classificadores simples e não muito precisos (chamados de "fracos") em um classificador com alta precisão (um "forte") ao aumentar o peso dos exemplos que o modelo está classificando incorretamente.

Consulte Árvores de decisão com escalonamento gradual? no curso de florestas de decisão para mais informações.

caixa delimitadora

#image

Em uma imagem, as coordenadas (x, y) de um retângulo ao redor de uma área de interesse, como o cachorro na imagem abaixo.

fazer o broadcast

Expandir a forma de um operando em uma operação matemática de matriz para dimensions compatíveis para essa operação. Por exemplo: a álgebra linear exige que os dois operandos em uma operação de adição de matriz devem ter as mesmas dimensões. Consequentemente, não é possível adicionar uma matriz de forma (m, n) a um vetor de comprimento n. A transmissão permite essa operação ao expandir virtualmente o vetor de comprimento n para uma matriz de forma (m, n) replicando os mesmos valores em cada coluna.

Por exemplo, considerando as seguintes definições, a álgebra linear proíbe A+B porque A e B têm dimensões diferentes:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

No entanto, a transmissão permite a operação A+B expandindo virtualmente B para:

 [[2, 2, 2],
  [2, 2, 2]]

Assim, A+B agora é uma operação válida:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Consulte a seguinte descrição transmitindo em NumPy para saber mais.

agrupamento por classes

#fundamentals

Converter um único atributo em vários atributos binários chamados buckets ou bins, normalmente com base em um intervalo de valores. A característica cortada normalmente é uma atributo contínuo.

Por exemplo, em vez de representar a temperatura como um único atributo de ponto flutuante contínuo, você pode dividir intervalos de temperatura em intervalos discretos, como:

• <= 10 graus Celsius seria o balde "frio".
• 11 a 24 graus Celsius seria o intervalo "temperate".
• >= 25 graus Celsius seria o valor "morno" do Google Cloud.

O modelo vai tratar todos os valores no mesmo bucket de forma idêntica. Por exemplo, os valores 13 e 22 estão no bucket "temperate", então o modelo trata os dois valores de maneira idêntica.

Clique no ícone para ver outras notas.

Se você representar a temperatura como um atributo contínuo, o modelo vai tratar a temperatura como um único atributo. Se você representar a temperatura como três intervalos, o modelo vai tratar cada um deles como um recurso separado. Ou seja, um modelo pode aprender relações separadas de cada bucket com o rótulo. Por exemplo, de regressão linear pode aprender pesos separados para cada bucket.

Aumentar o número de buckets torna o modelo mais complicado, aumentando o número de relações que ele precisa aprender. Por exemplo, os buckets frios, temperados e quentes são, basicamente, três recursos separados para o treinamento do modelo. Se você decidir adicionar mais dois buckets, por exemplo, "freezing" e "hot", seu modelo vai precisar ser treinado com cinco recursos diferentes.

Como você sabe quantos buckets criar ou quais intervalos de cada bucket deve ser? As respostas geralmente exigem uma quantidade razoável de experimentação.

---

Consulte Dados numéricos: binarização no Curso intensivo de machine learning para mais informações.

C

camada de calibração

Um ajuste pós-previsão, normalmente para considerar a tendência de previsão. As previsões e probabilidades ajustadas precisam corresponder à distribuição de um conjunto de rótulos observados.

geração de candidatos

#recsystems

O conjunto inicial de recomendações escolhido por um sistema de recomendação. Por exemplo, considere um com 100 mil títulos. A fase de geração de candidatos cria uma lista muito menor de livros adequados para um usuário específico, digamos 500. Mas mesmo 500 livros são muitos para recomendar a um usuário. Fases subsequentes e mais caras de um sistema de recomendação (como pontuação e reclassificação) reduzem essas 500 para um conjunto de recomendações muito menor e mais útil.

Consulte Geração de candidatos visão geral no curso "Sistemas de recomendação".

amostragem de candidatos

Uma otimização do tempo de treinamento que calcula a probabilidade de todas as rótulos positivos, usando, por exemplo, softmax, mas apenas para um amostra de rótulos negativos. Por exemplo, dado um exemplo rotulado beagle e dog, a amostragem de candidatos calcula as probabilidades previstas e os termos de perda correspondentes para:

• beagle
• cachorro
• um subconjunto aleatório das classes negativas restantes (por exemplo, cat, lollipop, fence).

A ideia é que as classes negativas possam aprender com a reforço negativo menos frequente, desde que as classes positivas sempre recebam o reforço positivo adequado, e isso é observado empiricamente.

A amostragem de candidatos é mais eficiente em termos computacionais do que os algoritmos de treinamento que calculam previsões para todas as classes negativas, principalmente quando o número de classes negativas é muito grande.

dados categóricos

#fundamentals

Atributos com um conjunto específico de valores possíveis. Por exemplo: use um atributo categórico chamado traffic-light-state, que só pode ter um dos três valores possíveis a seguir:

• red
• yellow
• green

Ao representar traffic-light-state como um atributo categórico, um modelo pode aprender os impactos diferentes de red, green e yellow no comportamento do motorista.

Às vezes, os recursos categóricos são chamados de recursos discretos.

Compare com dados numéricos.

Consulte Como trabalhar com atributos dados no curso intensivo de machine learning para mais informações.

modelo de linguagem causal

#language

Sinônimo de modelo de linguagem unidirecional.

Consulte o modelo de linguagem bidirecional para contrastar as diferentes abordagens direcionais na modelagem de linguagem.

centroid

#clustering

O centro de um cluster determinado por um algoritmo k-means ou k-mediana. Por exemplo, se k for 3, então o algoritmo k-means ou k-median encontrará 3 centroides.

Consulte Algoritmos de clustering no curso sobre clustering para mais informações.

cluster baseado em centroide

#clustering

Uma categoria de algoritmos de agrupamento que organiza dados em clusters não hierárquicos. O k-means é o algoritmo de agrupamento baseado em centroide mais usado.

Compare com os algoritmos de agrupamento hierárquico.

Consulte Algoritmos de agrupamento no curso de agrupamento para mais informações.

comandos de fluxo de consciência

#language

#generativeAI

Uma técnica de engenharia de comandos que incentiva um modelo de linguagem grande (LLM) a explicar o raciocínio, passo a passo. Por exemplo, considere o seguinte comando, prestando atenção especial à segunda frase:

Quantas forças g um motorista experimentaria em um carro que varia de 0 a 60 milhas por hora em 7 segundos? Na resposta, mostre todos os cálculos relevantes.

A resposta do LLM provavelmente:

• Mostre uma sequência de fórmulas de física, inserindo os valores 0, 60 e 7 nos lugares apropriados.
• Explique por que ele escolheu essas fórmulas e o que as diversas variáveis significam.

Os comandos de cadeia de pensamento forçam o LLM a realizar todos os cálculos, o que pode levar a uma resposta mais correta. Além disso, a solicitação de cadeia de pensamento permite que o usuário examine as etapas do LLM para determinar se a resposta faz sentido ou não.

chat

#language

#generativeAI

O conteúdo de um diálogo com um sistema de ML, normalmente um modelo de linguagem grande. A interação anterior em um chat (o que você digitou e como o modelo de linguagem grande respondeu) se torna o contexto para as partes subsequentes do chat.

Um chatbot é uma aplicação de um modelo de linguagem grande.

checkpoint

Dados que capturam o estado dos parâmetros de um modelo, seja durante o treinamento ou após a conclusão dele. Por exemplo, durante o treinamento, você pode:

1. Interromper o treinamento, talvez intencionalmente ou como resultado de alguns erros.
2. Capture o checkpoint.
3. Mais tarde, recarregue o ponto de verificação, possivelmente em outro hardware.
4. Reinicie o treinamento.

classe

#fundamentals

Uma categoria à qual um rótulo pode pertencer. Exemplo:

• Em um modelo de classificação binária que detecta spam, as duas classes podem ser spam e não spam.
• Em um modelo de classificação multiclasse que identifica raças de cães, as classes podem ser poodle, beagle, pug, e assim por diante.

Um modelo de classificação prevê uma classe. Por outro lado, um modelo de regressão prevê um número em vez de uma classe.

Consulte Classificação no Curso intensivo de machine learning para mais informações.

modelo de classificação

#fundamentals

Um modelo cuja previsão é uma classe. Por exemplo, estes são todos os modelos de classificação:

• Um modelo que prevê o idioma de uma frase de entrada (francês? Espanhol? Italiano?).
• Um modelo que prevê espécies de árvores (maple? Carvalho? Baobá?).
• Um modelo que prevê a classe positiva ou negativa para uma condição médica específica.

Por outro lado, os modelos de regressão preveem números em vez de classes.

Dois tipos comuns de modelos de classificação são:

• Classificação binária
• classificação multiclasse

limiar de classificação

#fundamentals

Em uma classificação binária, uma número entre 0 e 1 que converte a saída bruta de um Modelo de regressão logística em uma previsão da classe positiva ou a classe negativa. O limiar de classificação é um valor escolhido por um usuário, e não um valor escolhido pelo treinamento de modelo.

Um modelo de regressão logística gera um valor bruto entre 0 e 1. Em seguida:

• Se esse valor bruto for maior que o limite de classificação, a classe positiva será prevista.
• Se esse valor bruto for menor que o limiar de classificação, a classe negativa é prevista.

Por exemplo, suponha que o limiar de classificação seja 0,8. Se o valor bruto for 0,9, o modelo vai prever a classe positiva. Se o valor bruto for 0,7, o modelo prevê a classe negativa.

A escolha do limite de classificação influencia muito o número de falsos positivos e falsos negativos.

Clique no ícone para ver outras notas.

À medida que os modelos ou conjuntos de dados evoluem, os engenheiros, às vezes, também alteram limiar de classificação. Quando o limiar de classificação mudar, as previsões de classes positivas podem se tornar classes negativas repentinamente e vice-versa.

Por exemplo, considere um modelo de previsão de doenças de classificação binária. Suponha que, quando o sistema for executado no primeiro ano:

• O valor bruto de um paciente específico é 0,95.
• O limite de classificação é 0,94.

Portanto, o sistema diagnostica a classe positiva. (O paciente dá um suspiro, "Ah, não! Estou doente!")

Um ano depois, talvez os valores agora tenham a seguinte aparência:

• O valor bruto para o mesmo paciente permanece em 0,95.
• O limite de classificação muda para 0,97.

Portanto, o sistema reclassifica esse paciente como a classe negativa. ("Feliz dia! I'm not sick.") Mesmo paciente. Diagnóstico diferente.

---

Consulte Limites e a matriz de confusão no Curso intensivo de machine learning para mais informações.

conjunto de dados com desequilíbrio de classes

#fundamentals

Conjunto de dados para um problema de classificação em que o número total de rótulos de cada classe é significativamente diferente. Por exemplo, considere um conjunto de dados de classificação binária com dois rótulos são divididos da seguinte forma:

• 1.000.000 de rótulos negativos
• 10 rótulos positivos

A proporção entre rótulos negativos e positivos é de 100.000 para 1. Portanto, é um conjunto de dados sem equilíbrio de classes.

Em contraste, o conjunto de dados a seguir não tem equilíbrio de classes porque o a proporção entre rótulos negativos e positivos é relativamente próxima de 1:

• 517 rótulos negativos
• 483 rótulos positivos

Os conjuntos de dados com várias classes também podem ser não balanceados. Por exemplo, o seguinte o conjunto de dados de classificação multiclasse também apresenta desequilíbrio entre as classes porque um rótulo tem muito mais exemplos do que os outros dois:

• 1.000.000 de rótulos com a classe "green"
• 200 marcadores com a classe "roxo"
• 350 marcadores com a classe "laranja"

Consulte também entropia, classe principal, e classe minoritária.

recorte

#fundamentals

Uma técnica para lidar com outliers fazendo de uma ou ambas as opções a seguir:

• Reduzir os valores de feature que são maiores que um limite máximo até esse limite máximo.
• Aumentar valores de atributos menores que o limite mínimo até esse um limite mínimo.

Por exemplo, suponha que <0,5% dos valores de um atributo específico estejam fora do intervalo de 40 a 60. Nesse caso, faça o seguinte:

• Recorte todos os valores acima de 60 (o limite máximo) para que fiquem exatamente 60.
• Recorte todos os valores abaixo de 40 (o limite mínimo) para que fiquem exatamente 40.

Outliers podem danificar os modelos, às vezes causando pesos transbordar durante o treinamento. Alguns pontos fora da curva também prejudicam muito métricas como acurácia. O recorte é uma técnica comum para limitar os danos.

Forças de corte de gradiente Valores de gradiente em um intervalo designado durante o treinamento.

Consulte Dados numéricos: normalização no Curso intensivo de machine learning para mais informações.

Cloud TPU

#TensorFlow

#GoogleCloud

Um acelerador de hardware especializado projetado para acelerar de machine learning no Google Cloud.

clustering

#clustering

Agrupar exemplos relacionados, especialmente durante aprendizado não supervisionado. Depois que todas são agrupados, uma pessoa pode, opcionalmente, dar significado a cada cluster.

Existem muitos algoritmos de agrupamento. Por exemplo, k-means exemplos de clusters de algoritmo com base na proximidade centroide, como no diagrama a seguir:

Um pesquisador humano pode analisar os clusters e, por exemplo, rotular o cluster 1 como "árvores anãs" e o cluster 2 como "árvores de tamanho normal".

Como outro exemplo, considere um algoritmo de agrupamento baseado na distância de um exemplo de um ponto central, ilustrado da seguinte maneira:

Consulte o curso sobre agrupamento para mais informações.

adaptação colaborativa

Quando os neurônios preveem padrões nos dados de treinamento contando quase exclusivamente em saídas de outros neurônios específicos, em vez de depender o comportamento da rede como um todo. Quando os padrões que causam a coadaptação não estão presentes nos dados de validação, a coadaptação causa overfitting. A regularização de dropout reduz a coadaptação. porque o dropout garante que os neurônios não possam depender apenas de outros neurônios específicos.

filtragem colaborativa

#recsystems

Fazer previsões sobre os interesses de um usuário com base nos interesses de muitos outros usuários. A filtragem colaborativa é usada com frequência em sistemas de recomendação.

Consulte Colaborativo filtragem no curso "Sistemas de recomendação".

Desvio de conceito

Uma mudança na relação entre os recursos e o rótulo. Com o tempo, o deslocamento de conceito reduz a qualidade de um modelo.

Durante o treinamento, o modelo aprende a relação entre os atributos e os rótulos no conjunto de treinamento. Se os rótulos no conjunto de treinamento bons proxies para o mundo real, o modelo deve fazer uma boa previsões do mundo real. No entanto, devido ao deslocamento de conceito, as previsões se degradam com o tempo.

Por exemplo, considere um modelo de classificação binária que prevê se um determinado modelo de carro é "eficiente em termos de combustível" ou não. Ou seja, os recursos podem ser:

• peso do carro
• compactação do mecanismo
• tipo de transmissão

enquanto o rótulo é:

• eficiência de combustível
• não é econômica

No entanto, o conceito de "carro econômico" mantém mudando. Um modelo de carro rotulado como econômico em 1994 provavelmente ser rotulados como não econômicos em combustível em 2024. Um modelo sofrendo deslocamento de conceito tende a fazer previsões cada vez menos úteis ao longo do tempo.

Compare e diferencie da não estacionário.

Clique no ícone para ver outras notas.

Para compensar o deslocamento de conceito, treine novamente os modelos mais rapidamente do que a taxa de deslocamento de conceito. Por exemplo, se o deslocamento de conceito reduzir a precisão do modelo em uma uma margem significativa a cada dois meses e treinar o modelo novamente com mais frequência do que a cada dois meses.

---

transição

#df

Em uma árvore de decisão, qualquer nó que avalia uma expressão. Por exemplo, a parte a seguir de uma árvore de decisão contém duas condições:

Uma condição também é chamada de divisão ou teste.

Contraste a condição com folha.

Consulte também:

• condição binária
• condição não binária.
• eixo-alinhado-condição
• oblique-condition

Consulte Tipos de condições no curso sobre florestas de decisão para mais informações.

confabulação

#language

Sinônimo de alucinação artificial.

A confabulação é provavelmente um termo mais preciso do que a alucinação. No entanto, a alucinação se tornou popular primeiro.

configuração

o processo de atribuição dos valores de propriedade iniciais usados para treinar um modelo. incluindo:

• as camadas de composição do modelo
• o local dos dados
• hiperparâmetros, como:
  • taxa de aprendizado
  • iterações
  • otimizador
  • função de perda

Em projetos de machine learning, a configuração pode ser feita por meio de um método de configuração do Terraform ou usando bibliotecas de configuração, como as seguintes:

• HParam
• Gin
• Fiddle

viés de confirmação

#fairness

a tendência de buscar, interpretar, favorecer e lembrar informações de uma de forma que confirme crenças ou hipóteses pré-existentes de alguém. Os desenvolvedores de machine learning podem coletar ou rotular dados inadvertentemente de maneiras que influenciam um resultado que apoia as crenças existentes. O viés de confirmação é uma forma de viés implícito.

O viés do experimentador é uma forma de viés de confirmação em que um experimentador continua treinando os modelos até que um que uma hipótese seja confirmada.

matriz de confusão

#fundamentals

Tabela NxN que resume o número de previsões corretas e incorretas. feita por um modelo de classificação. Por exemplo, considere a matriz de confusão a seguir para um modelo de classificação binária:

	Tumor (previsto)	Não tumor (previsto)
Tumor (informações empíricas)	18 (TP)	1 (FN)
Não tumor (informações empíricas)	6 (FP)	452 (TN)

A matriz de confusão anterior mostra o seguinte:

• Das 19 previsões em que as informações empíricas foram Tumor, o modelo classificou corretamente 18 e incorretamente 1.
• Das 458 previsões em que as informações empíricas não eram Tumor, o modelo classificado corretamente como 452 e classificado incorretamente 6.

A matriz de confusão para um problema de classificação multiclasse pode ajudar a identificar padrões de erros. Por exemplo, considere a matriz de confusão a seguir para um modelo de classificação de três classes que categoriza três tipos diferentes de íris (Virginica, Versicolor e Setosa). Quando as informações empíricas eram a Virgínia, matriz de confusão mostra que o modelo tem muito mais probabilidade de prever Versicolor do que Setosa:

	Setosa (previsto)	Versicolor (previsão)	Virginica (previsto)
Setosa (informações empíricas)	88	12	0
Versicolor (informações empíricas)	6	141	7
Virginia (informações empíricas)	2	27	109

Como outro exemplo, uma matriz de confusão pode revelar que um modelo treinado para reconhecer dígitos escritos à mão tende a prever 9 em vez de 4 ou 1 em vez de 7.

As matrizes de confusão contêm informações suficientes para calcular uma Várias métricas de performance, incluindo precisão e recall.

análise de distrito eleitoral

#language

Dividir uma sentença em estruturas gramaticais menores ("constituintes"). Uma parte posterior do sistema de ML, como modelo de compreensão de linguagem natural, pode analisar os constituintes mais facilmente do que a frase original. Por exemplo, considere a seguinte frase:

Meu amigo adotou dois gatos.

Um analisador de constituintes pode dividir esta frase nos seguintes elementos:

• Myfriend é um sintagma nominal.
• adotou dois gatos é uma frase verbal.

Esses elementos podem ser subdivididos em elementos menores. Por exemplo, a frase verbal

adotou dois gatos

pode ser subdividido em:

• adopted é um verbo.
• two cats é outro sintagma nominal.

embedding de linguagem contextualizada

#language

#generativeAI

Uma incorporação que chega perto de "compreensão". palavras e frases de maneiras que os falantes humanos nativos conseguem. Linguagem contextualizada os embeddings entendem sintaxe, semântica e contexto complexos.

Por exemplo, considere embeddings da palavra em inglês cow. Incorporações mais antigas, como word2vec, podem representar palavras em inglês de modo que a distância no espaço de incorporação de cow a bull seja semelhante à distância de ewe (ovelha) a ram (bode) ou de female a male. As representações de linguagem contextualizadas podem ir além, reconhecendo que os falantes de inglês às vezes usam casualmente a palavra cow para significar vaca ou touro.

janela de contexto

#language

#generativeAI

O número de tokens que um modelo pode processar em um determinado comando. Quanto maior a janela de contexto, mais informações o modelo pode usar para fornecer respostas coerentes e consistentes ao comando.

atributo contínuo

#fundamentals

Um recurso de ponto flutuante com um intervalo infinito de valores possíveis, como temperatura ou peso.

Não use recursos discretos.

amostragem por conveniência

Usar um conjunto de dados não reunido cientificamente para execução rápida experimentos. Mais tarde, é essencial mudar para um conjunto de dados coletado de forma científica.

convergência

#fundamentals

Um estado alcançado quando os valores de perda mudam muito pouco ou de forma alguma em cada iteração. Por exemplo, a curva de perda a seguir sugere convergência em cerca de 700 iterações:

Um modelo convergente quando o treinamento adicional não para melhorar o modelo.

No aprendizado profundo, os valores de perda às vezes permanecem constantes ou quase isso em muitas iterações antes de finalmente descer. Durante um longo período de valores de perda constantes, talvez você tenha temporariamente uma falsa sensação de convergência.

Consulte também parada antecipada.

Consulte Convergência e perda de modelos curvas no curso intensivo de machine learning para mais informações.

função convexa

Uma função em que a região acima do gráfico é uma conjunto convexo. A função convexa prototípica tem a forma da letra U. Por exemplo, as seguintes são todas funções convexas:

Em contraste, a função a seguir não é convexa. Observe como a região acima do gráfico não é um conjunto convexo:

Uma função estritamente convexa tem exatamente um ponto mínimo local, que também é o ponto mínimo global. As funções clássicas em forma de U são estritamente convexas. No entanto, algumas funções convexas (por exemplo, linhas retas) não têm formato de U.

Clique no ícone para conferir os detalhes das contas.

Muitas das funções de perda comuns, incluindo as abaixo, são funções convexas:

• Perda L₂
• Log Perda
• L₁ regularização
• Regularização de L₂

Muitas variações de gradiente descendente têm a garantia de encontrar um ponto próximo ao mínimo de uma função estritamente convexa. Da mesma forma, muitas variações de gradiente estocástico têm uma alta probabilidade (mas não uma garantia) de encontrar um ponto próximo ao mínimo de uma função estritamente convexa.

A soma de duas funções convexas (por exemplo, L₂ loss + L₁ regularization) é uma função convexa.

Os modelos profundos nunca são funções convexas. Notavelmente, os algoritmos projetados para otimização convexa tendem a encontrar soluções razoavelmente boas em redes profundas, mesmo que essas soluções não tenham garantia de serem um mínimo global.

---

Consulte Convergência e convexo funções no curso intensivo de machine learning para mais informações.

otimização convexa

O processo de usar técnicas matemáticas como gradiente descendente para encontrar o mínimo de uma função convexa. Muitas pesquisas em aprendizado de máquina se concentram em formular vários problemas como problemas de otimização convexa e resolvê-los de maneira mais eficiente.

Para detalhes completos, consulte Boyd e Vandenberghe, Convex otimização.

conjunto convexo

Um subconjunto do espaço euclidiano, de modo que uma linha traçada entre dois pontos no subconjunto permaneça completamente dentro dele. Por exemplo, as duas formas a seguir são conjuntos convexos:

Em contraste, as duas formas a seguir não são conjuntos convexos:

convolução

#image

Em matemática, casualmente, uma combinação de duas funções. Na máquina machine learning, uma convolução mistura a técnica convolucional filtro e a matriz de entrada para treinar pesos.

O termo "convolução" no aprendizado de máquina geralmente é uma forma abreviada de se referir a operação de convolução ou camada de convolução.

Sem as convoluções, um algoritmo de machine learning teria que aprender um peso separado para cada célula em um tensor grande. Por exemplo, um treinamento de algoritmo de aprendizado de máquina em imagens 2K x 2K seria forçado a encontrar 4 milhões de pesos separados. Graças às convoluções, um algoritmo de aprendizado de máquina precisa encontrar pesos para cada célula no filtro convolucional, reduzindo drasticamente a memória necessária para treinar o modelo. Quando o filtro convolucional é aplicado, ele é simplesmente replicado em células, de modo que cada uma seja multiplicada pelo filtro.

Consulte Introdução às redes neurais convolucionais no curso de classificação de imagens para mais informações.

filtro convolucional

#image

Um dos dois atores operação convolucional. (O outro ator é uma fração de uma matriz de entrada. Um filtro convolucional é uma matriz que tem a mesma classificação da matriz de entrada, mas com uma forma menor. Por exemplo, considerando uma matriz de entrada de 28x28, o filtro pode ser qualquer matriz 2D. menor que 28 x 28.

Na manipulação fotográfica, todas as células em um filtro convolucional são normalmente definidas como um padrão constante de uns e zeros. No machine learning, os filtros convolucionais costumam conter números aleatórios e, depois, a rede treina os valores ideais.

Consulte Convolução no curso de classificação de imagens para mais informações.

camada convolucional

#image

Uma camada de uma rede neural profunda em que um filtro convolucional transmite uma matriz de entrada. Por exemplo, considere o seguinte modelo 3x3 filtro convolucional:

A animação a seguir mostra uma camada convolucional composta de nove operações convolucionais envolvendo a matriz de entrada 5x5. Observe que cada operação de convolução funciona em uma fatia 3x3 diferente da matriz de entrada. A matriz 3x3 resultante (à direita) consiste nos resultados das nove operações de convolução:

Consulte Camadas totalmente conectadas no curso de classificação de imagens para mais informações.

rede neural convolucional

#image

Uma rede neural em que pelo menos uma camada é camada convolucional. Uma estrutura convolucional típica rede neural consiste em alguma combinação das seguintes camadas:

• Camadas convolucionais
• camadas de agregação
• camadas densas

As redes neurais convolucionais tiveram muito sucesso em determinados tipos de problemas, como reconhecimento de imagem.

operação convolucional

#image

A seguinte operação matemática de duas etapas:

1. Multiplicação elemento a elemento do filtro convolucional e uma fatia de uma matriz de entrada. (A fração da matriz de entrada tem a mesma classificação, tamanho como filtro convolucional.)
2. Soma de todos os valores na matriz de produtos resultante.

Por exemplo, considere a matriz de entrada 5x5 a seguir:

Agora imagine o seguinte filtro convolucional 2x2:

Cada operação de convolução envolve uma única fração de 2x2 matriz de entrada. Por exemplo, suponha que usemos a fatia 2x2 no canto superior esquerdo da matriz de entrada. A operação de convolução nesta fatia é a seguinte:

Uma camada convolucional consiste em uma série de operações convolucionais, cada uma agindo em uma fração diferente da matriz de entrada.

custo

Sinônimo de loss.

treinamento colaborativo

Uma abordagem de aprendizagem semisupervisionada é particularmente útil quando todas as condições a seguir são verdadeiras:

• A proporção de exemplos não rotulados para exemplos rotulados no conjunto de dados é alta.
• Isso é um problema de classificação (binário ou multiclasse).
• O dataset contém dois conjuntos diferentes de atributos preditivos que são independentes uns dos outros e complementares.

O treinamento em conjunto amplia os indicadores independentes e as transforma em um indicador mais forte. Por exemplo, considere um modelo de classificação que categoriza carros usados individuais como Bom ou Ruim. Um conjunto de os atributos preditivos podem focar em características agregadas, como ano, marca e modelo do carro; outro conjunto de recursos preditivos pode se concentrar o histórico de condução do proprietário anterior e o histórico de manutenção do carro.

O artigo fundamental sobre treinamento conjunto é Combinar dados rotulados e não rotulados com Treinamento conjunto por Blum e Mitchell.

imparcialidade contrafactual

#fairness

Uma métrica de justiça que verifica se um classificador produz o mesmo resultado para um indivíduo que para outro indivíduo idêntico ao primeiro, exceto em relação a um ou mais atributos sensíveis. Avaliar um classificador para a imparcialidade contrafactual é um método para descobrir possíveis fontes de em um modelo.

Consulte uma das seguintes opções para mais informações:

• Equidade: equidade contrafactual no curso intensivo de machine learning.
• Quando os mundos colidem: como integrar diferentes suposições contrafactual com imparcialidade

viés de cobertura

#fairness

Consulte viés de seleção.

crash blossom

#language

Uma sentença com um significado ambíguo. As flores típicas representam um problema significativo nas áreas naturais compreensão da linguagem. Por exemplo, o título A fita vermelha segura o arranha-céu é uma porque um modelo PLN poderia interpretar o título literalmente ou figurativamente.

Clique no ícone para ver outras notas.

Para esclarecer o título misterioso:

• Burocracia pode se referir a:
  • Um adesivo
  • Excesso de burocracia
• Holds Up pode se referir a um dos seguintes:
  • Suporte estrutural
  • Atrasos

---

crítico

#rl

Sinônimo de rede Q profunda.

entropia cruzada

Uma generalização da perda de registro para problemas de classificação multiclasse. Entropia cruzada quantifica a diferença entre duas distribuições de probabilidade. Consulte também perplexidade.

validação cruzada

Um mecanismo para estimar o quanto um modelo seria generalizado para novos dados, testando o modelo em relação a um ou mais subconjuntos de dados não sobrepostos retidos do conjunto de treinamento.

função de distribuição cumulativa (CDF, na sigla em inglês)

Função que define a frequência das amostras menor ou igual a um o valor da meta. Por exemplo, considere uma distribuição normal de valores contínuos. Uma CDF diz que aproximadamente 50% das amostras devem ser menores ou iguais à média e que aproximadamente 84% das amostras devem ser menores ou iguais para um desvio padrão acima da média.

D

análise de dados

Entender os dados considerando amostras, medições e visualização. A análise de dados pode ser particularmente útil quando o conjunto de dados é recebido antes de criar o primeiro modelo. Também é crucial para entender os experimentos e depurar problemas com no sistema.

aumento de dados

#image

Aumentando artificialmente o intervalo e o número de Exemplos de treinamento transformando examples para criar outros exemplos. Por exemplo, suponha que as imagens sejam um dos seus recursos, mas que o conjunto de dados não tenha exemplos de imagens suficientes para que o modelo aprenda associações úteis. O ideal é adicionar imagens rotuladas suficientes ao conjunto de dados para permitir que o modelo seja treinado corretamente. Se isso não for possível, o aumento de dados poderá girar, esticar e refletir cada imagem para produzir muitas variantes da imagem original, possivelmente gerando dados rotulados suficientes para permitir um excelente treinamento.

DataFrame

#fundamentals

Um tipo de dados pandas conhecido para representar conjuntos de dados na memória.

Um DataFrame é análogo a uma tabela ou planilha. Cada coluna de um DataFrame tem um nome (um cabeçalho), e cada linha é identificada por um um número exclusivo.

Cada coluna em um DataFrame é estruturada como uma matriz 2D, exceto que cada coluna pode receber o próprio tipo de dados.

Consulte também a versão oficial Referência do pandas.DataFrame página.

paralelismo de dados

Uma maneira de dimensionar o treinamento ou a inferência, que replica um modelo inteiro para vários dispositivos e transmite um subconjunto dos dados de entrada para cada dispositivo. O paralelismo de dados pode permitir o treinamento e a inferência em tamanhos de lote muito grandes. No entanto, o paralelismo de dados exige que o modelo seja pequeno o suficiente para caber em todos os dispositivos.

O paralelismo de dados normalmente acelera o treinamento e a inferência.

Consulte também paralelismo de modelos.

conjunto de dados

#fundamentals

Coleção de dados brutos, geralmente (mas não exclusivamente) organizados em um um dos seguintes formatos:

• uma planilha
• um arquivo em formato CSV (valores separados por vírgula)

API Dataset (tf.data)

#TensorFlow

Uma API de alto nível do TensorFlow para ler dados e e transformá-los da forma que um algoritmo de machine learning exige. Um objeto tf.data.Dataset representa uma sequência de elementos, em que cada elemento contém um ou mais Tensors. Um objeto tf.data.Iterator oferece acesso aos elementos de um Dataset.

fronteira de decisão

O separador entre classes aprendidas por um modelo em uma classe binária ou problemas de classificação multiclasse. Por exemplo: na imagem a seguir, que representa um problema de classificação binária, a fronteira de decisão é a fronteira entre a classe laranja e a classe azul:

floresta de decisão

#df

Um modelo criado a partir de várias árvores de decisão. Uma floresta de decisão faz uma previsão agrupando as previsões das árvores de decisão. Os tipos mais conhecidos de florestas de decisão incluem florestas aleatórias e árvores impulsionadas por gradiente.

Consulte a seção Florestas de decisão no curso de Florestas de decisão para mais informações.

limite de decisão

Sinônimo de limiar de classificação.

árvore de decisão

#df

Um modelo de aprendizado supervisionado composto por um conjunto de condições e saias organizadas hierarquicamente. Por exemplo, confira esta árvore de decisões:

decodificador

#language

Em geral, qualquer sistema de ML que converta de uma representação processada, densa ou interna para uma representação mais bruta, esparsa ou externa.

Os decodificadores geralmente são um componente de um modelo maior, em que são frequentemente associados a um codificador.

Em tarefas de sequência para sequência, um decodificador começa com o estado interno gerado pelo codificador para prever a próxima sequência.

Consulte Transformer para a definição de um decodificador em a arquitetura de transformador.

Consulte Modelos de linguagem grandes no Curso intensivo de machine learning para mais informações.

modelo profundo

#fundamentals

Uma rede neural que contém mais de uma camada escondida.

Um modelo profunda também é chamado de rede neural profunda.

Compare com o modelo amplo.

de rede neural profunda, amplamente utilizado

Sinônimo de modelo profundo.

Rede Q profunda (DQN, na sigla em inglês)

#rl

No Q-learning, uma rede neural profunda que prevê funções Q.

Critic é um sinônimo de rede Q profunda.

paridade demográfica

#fairness

Uma métrica de imparcialidade que é satisfeita se os resultados da classificação de um modelo não dependem determinado atributo sensível.

Por exemplo, se tanto liliputianos quanto brobdingnagians se aplicam a Universidade Glubbdubdrib, a paridade demográfica é alcançada se a porcentagem de liliputianos admitidos é igual à porcentagem de Brobdingnagians aceito, independentemente de um grupo ser, em média, mais qualificado diferente do outro.

Contraste com probabilidades equalizadas e igualdade de oportunidade, que permite os resultados da classificação dependem de atributos sensíveis, mas não permitem resultados de classificação para determinados Rótulos de informações empíricas dependem de atributos sensíveis. Consulte "Como combater a discriminação com um aprendizado de máquina mais inteligente" para conferir uma visualização que mostra as compensações ao otimizar para paridade demográfica.

Consulte Imparcialidade: paridade demográfica no Curso intensivo de machine learning para mais informações.

redução de ruído

#language

Uma abordagem comum de aprendizado autossupervisionado em que:

1. Ruído é adicionado artificialmente ao conjunto de dados.
2. O modelo tenta remover o ruído.

A remoção de ruído permite aprender com exemplos não rotulados. O dataset original serve como destino ou rótulo, e os dados com ruído como entrada.

Alguns modelos de linguagem mascarados usam a redução de ruído da seguinte maneira:

1. O ruído é adicionado artificialmente a uma frase não rotulada mascarando algumas os tokens.
2. O modelo tenta prever os tokens originais.

atributo denso

#fundamentals

Um atributo em que a maioria ou todos os valores são diferentes de zero, normalmente um Tensor de valores de ponto flutuante. Por exemplo, o Tensor de 10 elementos a seguir é denso porque nove dos valores são diferentes de zero:

8

3

7

5

2

4

0

4

9

6

Diferente do recurso esparso.

camada densa

Sinônimo de camada totalmente conectada.

profundidade

#fundamentals

A soma dos seguintes elementos em uma rede neural:

• o número de camadas ocultas
• o número de camadas de saída, que normalmente é 1
• o número de camadas de incorporação

Por exemplo, uma rede neural com cinco camadas escondidas e uma camada final tem uma profundidade de 6.

Observe que a camada de entrada não profundidade de influência.

rede neural convolucional separável em profundidade (sepCNN)

#image

Uma rede neural convolucional arquitetura baseada em Origem, mas os módulos Inception são substituídos por módulos separáveis em profundidade convoluções Também conhecido como Xception.

Uma convolução separável por profundidade (também abreviada como convolução separável) divide uma convolução 3D padrão em duas operações de convolução separadas que são mais eficientes computacionalmente: primeiro, uma convolução por profundidade, com uma profundidade de 1 (n ✕ n ✕ 1), e depois uma convolução pontual, com comprimento e largura de 1 (1 ✕ 1 ✕ n).

Para saber mais, consulte Xception: aprendizado profundo com Depthwise Separable. convoluções.

rótulo derivado

Sinônimo de marcador de proxy.

dispositivo

#TensorFlow

#GoogleCloud

Um termo sobrecarregado com as duas definições possíveis a seguir:

1. Uma categoria de hardware que pode executar uma sessão do TensorFlow, incluindo CPUs, GPUs e TPUs.
2. Ao treinar um modelo de ML em chips de aceleração (GPUs ou TPUs), a parte do sistema que manipula tensores e embeddings. O dispositivo funciona com chips de aceleração. Por outro lado, o host normalmente é executado em uma CPU.

privacidade diferencial

No aprendizado de máquina, uma abordagem de anonimização para proteger dados sensíveis (por exemplo, informações pessoais de um indivíduo) incluídos no conjunto de treinamento de um modelo para que não sejam expostos. Essa abordagem garante que o modelo não aprende ou se lembra muito de uma determinada indivíduo. Isso é feito com a amostragem e a adição de ruído durante o treinamento do modelo para ocultar pontos de dados individuais, reduzindo o risco de expor dados de treinamento confidenciais.

A privacidade diferencial também é usada fora do machine learning. Por exemplo, os cientistas de dados às vezes usam a privacidade diferencial para proteger a privacidade individual ao calcular estatísticas de uso do produto para diferentes dados demográficos.

redução de dimensão

Como diminuir o número de dimensões usadas para representar um recurso específico em um vetor de recurso, normalmente convertendo em um vetor de embedding.

dimensões

Termo sobrecarregado com qualquer uma das seguintes definições:

• O número de níveis de coordenadas em um Tensor. Por exemplo:

  • Um escalar tem dimensões zero, por exemplo, ["Hello"].
  • Um vetor tem uma dimensão, por exemplo, [3, 5, 7, 11].
  • Uma matriz tem duas dimensões: por exemplo, [[2, 4, 18], [5, 7, 14]]. É possível especificar uma célula específica em um vetor unidimensional com uma coordenada. Você precisa de duas coordenadas para especificar uma célula específica em uma matriz bidimensional.

• O número de entradas em um vetor de recursos.

• O número de elementos em uma camada de incorporação.

comandos diretos

#language

#generativeAI

Sinônimo de comando zero-shot.

atributo discreto

#fundamentals

Um recurso com um conjunto finito de valores possíveis. Por exemplo: um atributo com valores que só podem ser animal, vegetable ou mineral é um atributos discretos (ou categóricos).

Compare com o atributo contínuo.

modelo discriminativo

Um modelo que prevê rótulos de um conjunto de um ou mais recursos. Mais formalmente, os modelos discriminativos definem a probabilidade condicional de uma saída, considerando os recursos e pesos, ou seja:

p(output | features, weights)

Por exemplo, um modelo que prevê se um e-mail é spam a partir de atributos e pesos é um modelo discriminativo.

A grande maioria dos modelos de aprendizado supervisionado, incluindo e regressão, são modelos discriminativos.

Contraste com o modelo generativo.

discriminador

Um sistema que determina se os exemplos são reais ou falsos.

Alternativamente, o subsistema dentro de um sistema adversário generativo rede que determina se os exemplos criados pelo gerador são reais ou fictícios.

Consulte O discriminador no curso da GAN para mais informações.

impacto diferente

#fairness

Tomada de decisões sobre pessoas que afetam uma população diferente subgrupos de maneira desproporcional. Isso geralmente se refere a situações em que um processo de tomada de decisão algorítmica prejudica ou beneficia alguns subgrupos mais do que outros.

Por exemplo, suponha que um algoritmo que determine o valor de um Lilliputian a qualificação para empréstimos imobiliários em miniatura tem mais chances de classificar como "não qualificadas" caso seu endereço de correspondência contenha uma determinada CEP/código postal. Se os Liliputianos de Big-Endian têm mais probabilidade de endereços de correspondência com esse código postal do que Little-Endian Lilliputians, o algoritmo pode causar impactos diferentes.

Contraste com o tratamento de desigualdade, que se concentra em disparidades que ocorrem quando as características do subgrupo são entradas explícitas para um processo de tomada de decisão algorítmico.

tratamento desigual

#fairness

Como fatorar os assuntos atributos sensíveis em um processo de tomada de decisão algorítmico, de modo que diferentes subgrupos das pessoas são tratadas de forma diferente.

Por exemplo, considere um algoritmo que determina os Liliputians a qualificação para um empréstimo imobiliário em miniatura com base no e dados fornecidos no pedido de empréstimo. Se o algoritmo usa uma afinidade de liliputianos como Big-Endian ou Little-Endian como uma entrada, ele está executando um tratamento diferente nessa dimensão.

Compare com o impacto desigual, que se concentra nas disparidades nos impactos sociais das decisões algorítmicas sobre subgrupos independentemente de esses subgrupos serem entradas do modelo.

Aviso :como atributos sensíveis quase sempre estão correlacionados outros recursos dos dados, removendo explicitamente atributos sensíveis informação não garante que os subgrupos serão tratados igualmente. Por exemplo, remover atributos demográficos sensíveis de um conjunto de treinamento que ainda inclui o CEP como um recurso pode resolver o tratamento diferente de subgrupos, mas ainda pode haver um impacto diferente nesses grupos porque o CEP pode servir como um proxy para outras informações demográficas.

destilação

#generativeAI

O processo de reduzir o tamanho de um modelo (conhecido como o professor) para um modelo menor (conhecido como estudante) que emula as previsões do modelo original da maneira mais fiel possível. A destilação é útil porque o modelo menor tem dois benefícios importantes em relação ao modelo maior (o professor):

• Tempo de inferência mais rápido
• Uso reduzido de memória e energia

No entanto, as previsões dos estudantes geralmente não são tão boas quanto as previsões do professor.

A destilação treina o modelo estudante para minimizar função de perda com base na diferença entre as saídas das previsões dos modelos estudantes e professores.

Compare e compare a destilação com os seguintes termos:

• ajustes
• aprendizado baseado em comandos

Consulte LLMs: Fine-tuning, distillation, and prompt engineering no Curso intensivo de machine learning para mais informações.

Distribuição

A frequência e o intervalo de valores diferentes para um determinado atributo ou rótulo. Uma distribuição captura a probabilidade de um valor específico.

A imagem a seguir mostra histogramas de duas distribuições diferentes:

• À esquerda, uma distribuição de lei de potência da riqueza em relação ao número de pessoas que a possuem.
• À direita, uma distribuição normal da altura versus o número de pessoas possuem essa altura.

Entender a distribuição de cada recurso e rótulo pode ajudar você a determinar como normalizar valores e detectar valores discrepantes.

A frase fora da distribuição se refere a um valor que não aparece no conjunto de dados ou é muito raro. Por exemplo, uma imagem do planeta Saturno seria considerada fora da distribuição de um conjunto de dados composto por imagens de gatos.

clustering divisivo

#clustering

Consulte clustering hierárquico.

redução de amostragem

#image

Termo sobrecarregado que pode significar uma das seguintes opções:

• Reduzir a quantidade de informações em um atributo em para treinar um modelo com mais eficiência. Por exemplo, antes de treinar um modelo de reconhecimento de imagem, reduza a amostragem de imagens de alta resolução para um formato de resolução mais baixa.
• Treinamento em uma porcentagem desproporcionalmente baixa de super-representados classe exemplos para melhorar o treinamento de modelos em turmas sub-representadas. Por exemplo, em um caso de balanceamento de classe conjunto de dados, os modelos tendem a aprender muito sobre os classe principal e não o suficiente sobre a classe minoritária. A subamostragem ajuda a equilibrar a quantidade de treinamento nas classes majoritárias e minoritárias.

Consulte Conjuntos de dados: desequilibrado conjuntos de dados no curso intensivo de machine learning para mais informações.

DQN

#rl

Abreviação de Deep Q-Network.

regularização de dropout

Uma forma de regularização útil no treinamento de redes neurais. Regularização de dropout remove a seleção aleatória de um número fixo de unidades em uma rede camada para uma única etapa de gradiente. Quanto mais unidades forem eliminadas, mais forte será a regularização. Isso é análogo ao treinamento da rede para emular um ensemble exponencialmente grande de redes menores. Para mais detalhes, consulte Dropout: uma maneira simples de evitar que as redes neurais se ajustem demais.

dinâmico

#fundamentals

Algo feito com frequência ou continuamente. Os termos dinâmico e on-line são sinônimos em machine learning. Confira a seguir usos comuns de dinâmico e on-line no aprendizado de máquina:

• Um modelo dinâmico (ou modelo on-line) é um modelo que é treinado com frequência ou continuamente.
• O treinamento dinâmico (ou treinamento on-line) é o processo de treinamento com frequência ou continuamente.
• A inferência dinâmica (ou inferência on-line) é o processo de e a geração de previsões sob demanda.

modelo dinâmico

#fundamentals

Um modelo que é frequente (talvez até continuamente) retreinado. Um modelo dinâmico é um "aprendizado para toda a vida" que se adapta constantemente à evolução dos dados. Um modelo dinâmico também é conhecido como um modelo on-line.

Contraste com o modelo estático.

E

execução rápida

#TensorFlow

Um ambiente de programação do TensorFlow em que as operações são executadas imediatamente. Em contraste, as operações chamadas em a execução de gráfico não são executadas até que sejam explicitamente avaliado. A execução imediata é uma interface imperativa, assim como o código na maioria das linguagens de programação. Programas de execução áspera são geralmente muito mais fáceis de depurar do que programas de execução de gráficos.

parada antecipada

#fundamentals

Um método de regularização que envolve o encerramento treinamento antes do término da perda do treinamento diminuindo. Na parada antecipada, você para intencionalmente o treinamento do modelo. quando a perda em um conjunto de dados de validação começa increase; ou seja, quando O desempenho da generalização piora.

Clique no ícone para ver outras notas.

A parada antecipada pode parecer contra-intuitiva. Afinal, falar para um modelo parar treinar enquanto a perda ainda está diminuindo pode parecer dizer a um chef parar de cozinhar antes que a sobremesa esteja totalmente assada. No entanto, treinar um modelo por muito tempo pode levar a um overfitting. Ou seja, se você treinar um modelo por muito tempo, ele poderá se ajustar aos dados de treinamento de forma tão próxima que não fará boas previsões em novos exemplos.

---

distância da movimentação da Terra (EMD)

Uma medida da semelhança relativa de duas distribuições. Quanto menor a distância da movimentação da Terra, mais semelhantes são as distribuições.

editar distância

#language

Uma medida de quão semelhantes duas strings de texto são uma à outra. No machine learning, editar distância é útil porque é simples e uma forma eficaz de comparar duas strings conhecidas por semelhantes ou para encontrar strings semelhantes a uma determinada string.

Há várias definições para edição da distância, cada uma usando strings diferentes. as operações. Por exemplo, o Distância de Levenshtein considera o menor número de operações de exclusão, inserção e substituição.

Por exemplo, a distância de Levenshtein entre as palavras "heart" e "darts" é 3 porque as três edições a seguir são as mudanças mínimas para transformar uma palavra em outra:

1. coração → deart (substitua "h" por "d")
2. deart → dart (delete "e")
3. dardo → dardos (insira "s")

Notação Einsum

Uma notação eficiente para descrever como dois tensores são combinados. Os tensores são combinados multiplicando os elementos de um tensor pelos elementos do outro tensor e somando os produtos. A notação Einsum usa símbolos para identificar os eixos de cada tensor, e aqueles Os mesmos símbolos são reorganizados para especificar o formato do novo tensor resultante.

O NumPy fornece uma implementação comum de Einsum.

camada de embedding

#language

#fundamentals

Uma camada oculta especial que é treinada com um recurso categórico de alta dimensão para aprender gradualmente um vetor de incorporação de dimensão inferior. Uma camada de incorporação permite que uma rede neural seja treinada de maneira muito mais eficiente do que apenas no recurso categórico de alta dimensão.

Por exemplo, a Terra atualmente suporta cerca de 73.000 espécies de árvores. Suponha que a espécie de árvore seja um atributo no modelo. Assim, a camada de entrada do modelo inclui um vetor único de 73.000 elementos. Por exemplo, talvez baobab fosse representado algo assim:

Uma matriz de 73.000 elementos é muito longa. Se você não adicionar uma camada de embedding ao modelo, o treinamento vai levar muito tempo, porque multiplicando 72.999 zeros. Talvez você escolha a camada de embedding para consistir de 12 dimensões. Consequentemente, a camada de embedding aprenderá gradualmente um novo vetor de embedding para cada espécie de árvore.

Em determinadas situações, gerar hash é uma alternativa razoável para uma camada de embedding.

Consulte Incorporações no Curso intensivo de machine learning para mais informações.

espaço de embedding

#language

O espaço vetorial d-dimensional que pertence a uma dimensão superior espaço de vetor são mapeados. O ideal é que o espaço de embedding contenha uma estrutura que gere resultados matemáticos significativos. Por exemplo, em um espaço de embedding ideal, a adição e a subtração de embeddings podem resolver tarefas de analogia de palavras.

O produto de pontos de dois embeddings é uma medida da semelhança deles.

embedding de vetor

#language

De modo geral, uma matriz de números de ponto flutuante extraída de qualquer camada oculta que descreve as entradas para essa camada oculta. Muitas vezes, um vetor de embedding é a matriz de números de ponto flutuante treinada em uma camada de embedding. Por exemplo, suponha que uma camada de embedding precise aprender uma vetor de embedding para cada uma das 73 mil espécies de árvores na Terra. Talvez a matriz a seguir seja o vetor de embedding de uma árvore de baobá:

Um vetor de embedding não é um monte de números aleatórios. Uma camada de embedding determina esses valores pelo treinamento, semelhante à maneira a rede neural aprende outros pesos durante o treinamento. Cada elemento do matriz é uma classificação juntamente com alguma característica de uma espécie de árvore. Qual elemento representa a característica de qual espécie de árvore? Isso é muito difícil para que humanos possam determinar.

A parte matematicamente notável de um vetor de embedding é que itens semelhantes têm conjuntos semelhantes de números de ponto flutuante. Por exemplo, espécies de árvores semelhantes têm um conjunto de números de ponto flutuante mais semelhante do que espécies de árvores diferentes. Sequoias e sequoias são espécies de árvores relacionadas, então eles terão um conjunto mais semelhante de números de ponto flutuante do que sequoias e coqueiros. Os números no vetor de incorporação vão mudar sempre que você treinar o modelo novamente, mesmo que com uma entrada idêntica.

função de distribuição cumulativa empírica (eCDF ou EDF, na sigla em inglês)

Uma função de distribuição cumulativa com base em medições empíricas de um conjunto de dados real. O valor da função em qualquer ponto ao longo do eixo x é a fração de observações no conjunto de dados que é menor ou igual ao valor especificado.

minimização do risco empírico (ERM)

Escolher a função que minimiza a perda no conjunto de treinamento. Compare com a minimização de risco estrutural.

codificador

#language

Em geral, qualquer sistema de ML que converte dados brutos, esparsos ou em uma representação mais processada, densa ou mais interna.

Codificadores são componentes de um modelo maior, em que são usados pareado com um decodificador. Alguns transformadores codificadores e decodificadores, embora outros transformadores usem apenas o ou só o decodificador.

Alguns sistemas usam a saída do codificador como entrada para uma classificação ou rede de regressão.

Nas tarefas sequência para sequência, um codificador toma uma sequência de entrada e retorna um estado interno (um vetor). Depois, decoder usa esse estado interno para prever a próxima sequência.

Consulte Transformer para ver a definição de um codificador na arquitetura do Transformer.

Consulte LLMs: o que é uma linguagem grande modelo no curso intensivo de machine learning para mais informações.

conjunto

Uma coleção de modelos treinados de forma independente, com previsões que são calculadas em média ou agregadas. Em muitos casos, um conjunto produz previsões melhores do que um único modelo. Por exemplo, uma floresta aleatória é um conjunto criado a partir de várias árvores de decisão. Nem todas as florestas de decisão são conjuntos.

Consulte Random Forest no Curso intensivo de machine learning para mais informações.

entropia

#df

Na teoria da informação, uma descrição de como uma distribuição de probabilidade é imprevisível. Como alternativa, a entropia também é definida como a quantidade de informações que cada exemplo contém. Uma distribuição tem a maior entropia possível quando todos os valores de uma variável aleatória têm a mesma probabilidade.

A entropia de um conjunto com dois valores possíveis "0" e "1" (por exemplo, os rótulos em um problema de classificação binária) tem a seguinte fórmula:

H = -p log p - q log q = -p log p - (1-p) * log (1-p)

em que:

• H é a entropia.
• p é a fração dos exemplos "1".
• q é a fração de "0" exemplos. Observe que q = (1 - p)
• log geralmente é log₂. Nesse caso, a entropia unidade é um pouco.

Por exemplo, suponha que:

• 100 exemplos contêm o valor "1"
• 300 exemplos contêm o valor "0"

Portanto, o valor de entropia é:

• p = 0,25
• q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 bits por exemplo

Um conjunto que é perfeitamente equilibrado (por exemplo, 200 "0" e 200 "1") teria uma entropia de 1,0 bit por exemplo. À medida que um conjunto fica mais desbalanceado, a entropia dele se move em direção a 0,0.

Nas árvores de decisão, a entropia ajuda a formular o ganho de informação para ajudar o divisor a selecionar as condições durante o crescimento de uma árvore de decisão de classificação.

Comparar a entropia com:

• impureza de gini
• Função de perda de entropia cruzada

A entropia é frequentemente chamada de entropia de Shannon.

Consulte Divisor exato para classificação binária com recursos numéricos no curso de florestas de decisão para mais informações.

ambiente

#rl

No aprendizado por reforço, o mundo que contém o agente e permite que o agente observe o estado desse mundo. Por exemplo: o mundo representado pode ser um jogo, como o xadrez, ou um mundo físico, como um labirinto. Quando o agente aplica uma ação ao ambiente, ele transita entre os estados.

episódio

#rl

No aprendizado por reforço, cada uma das tentativas repetidas dos agent para aprender um ambiente.

época

#fundamentals

Um treinamento completo de todo o conjunto de treinamento, de modo que cada exemplo seja processado uma vez.

Um período representa N/tamanho do lote iterações de treinamento, em que N é o número total de exemplos.

Por exemplo, suponha que:

• O conjunto de dados é composto por 1.000 exemplos.
• O tamanho do lote é de 50 exemplos.

Portanto, uma única época requer 20 iterações:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Consulte Regressão linear: Hiperparâmetros no curso intensivo de machine learning para mais informações.

política épsilon greedy

#rl

No aprendizado por reforço, uma política que siga uma política aleatória com probabilidade de épsilon ou caso contrário, uma política gananciosa. Por exemplo, se épsilon for 0.9, a política segue uma política aleatória 90% das vezes e uma política 10% das vezes.

Ao longo de episódios sucessivos, o algoritmo reduz o valor de épsilon para mudar de uma política aleatória para uma gananciosa. Ao mudar a política, o agente primeiro explora o ambiente aleatoriamente e, depois, explora avidamente os resultados da exploração aleatória.

igualdade de oportunidades

#fairness

Uma métrica de imparcialidade para avaliar se um modelo é prever o resultado desejável igualmente bem para todos os valores de um atributo confidencial: Em outras palavras, se o resultado desejado para um modelo é a classe positiva, a meta seria que a taxa de verdadeiro positivo fosse a igual para todos os grupos.

A igualdade de oportunidade está relacionada a probabilidades igualitárias, o que exige que tanto as taxas de verdadeiros positivos quanto as As taxas de falsos positivos são as mesmas para todos os grupos.

Suponha que a Universidade Glubbdubdrib admita liliputianos e brobdingnagians a um rigoroso programa de matemática. As escolas secundárias dos liliputianos oferecem um currículo robusto de aulas de matemática, e a grande maioria dos estudantes está qualificada para o programa universitário. Os Brobdingnagians as escolas de ensino médio não oferecem aulas de matemática e, como resultado, muito menos de seus alunos estão qualificadas. A igualdade de oportunidade é atendida para o rótulo preferido de "admitido" em relação à nacionalidade (Liliputiano ou Brobdingnagiano) se estudantes qualificados têm a mesma chance de serem admitidos, independentemente de eles são liliputianos ou brobdingnagianos.

Por exemplo, suponha que 100 liliputianos e 100 brobdingnaginos se apliquem a Glubbdubdrib University, e as decisões de admissão são tomadas da seguinte maneira:

Tabela 1. Candidatos Lilliputianos (90% estão qualificados)

	Qualificado	Não qualificado
Admitida	45	3
Recusado	45	7
Total	90	10
Porcentagem de estudantes qualificados admitidos: 45/90 = 50% Porcentagem de estudantes não qualificados rejeitados: 7/10 = 70% Porcentagem total de estudantes liliputianos admitidos: (45+3)/100 = 48%

 

Tabela 2. Candidatos a Brobdingnagian (10% qualificados):

	Qualificado	Não qualificado
Admitida	5	9
Recusado	5	81
Total	10	90
Porcentagem de estudantes qualificados admitidos: 5/10 = 50% Porcentagem de estudantes não qualificados rejeitados: 81/90 = 90% Porcentagem total de estudantes Brobdingnagian admitidos: (5+9)/100 = 14%

Os exemplos anteriores satisfazem a igualdade de oportunidade para aceitação alunos qualificados porque Liliputians e Brobdingnagians qualificados têm 50% de chance de serem aceitos.

Embora a igualdade de oportunidades seja atendida, as duas métricas de imparcialidade abaixo não são:

• Paridade demográfica: os estudantes de Lilliput e Brobdingnag são admitidos na universidade em taxas diferentes. 48% dos estudantes de Lilliput são admitidos, mas apenas 14% dos estudantes de Brobdingnag são admitidos.
• igualdades: enquanto Liliputiano qualificado e alunos de Brobdingnagian têm a mesma chance de serem admitidos, a restrição adicional que licenciantes e litígios não qualificados Os Brobdingnagians têm a mesma chance de serem rejeitados não é satisfeitos. Os liliputianos não qualificados têm uma taxa de rejeição de 70%, enquanto os brobdingnagianos não qualificados têm uma taxa de rejeição de 90%.

Consulte Imparcialidade: igualdade de oportunidade no curso intensivo de machine learning para mais informações.

probabilidades iguais

#fairness

Uma métrica de justiça para avaliar se um modelo está prevendo resultados igualmente para todos os valores de um atributo sensível em relação à classe positiva e classe negativa, não apenas uma ou outra exclusivamente. Em outras palavras, a taxa de verdadeiro positivo e a taxa de falso negativo precisam ser as mesmas para todos os grupos.

As probabilidades equalizadas estão relacionadas igualdade de oportunidade, que se concentra apenas nas taxas de erro de uma única classe (positivas ou negativas).

Por exemplo, suponha que a Universidade Glubbdubdrib admita liliputianos e brobdingnagianos em um programa de matemática rigoroso. Liliputianos secundário as escolas oferecem um currículo avançado de matemática, e a grande maioria alunos qualificados para o programa universitário. As escolas secundárias de Brobdingnag não oferecem aulas de matemática. Como resultado, muito menos alunos estão qualificados. As probabilidades iguais são satisfeitas, desde que não não importa se um candidato é liliputiano ou brobdingnagian, se ele sejam qualificados, eles têm a mesma probabilidade de serem admitidos no programa, Se não estiverem qualificados, eles têm a mesma chance de serem rejeitados.

Suponha que 100 liliputianos e 100 brobdingnagianos se inscrevam na Universidade Glubbdubdrib e que as decisões de admissão sejam feitas da seguinte maneira:

Tabela 3. Candidatos Lilliputianos (90% estão qualificados)

	Qualificado	Não qualificado
Admitida	45	2
Recusado	45	8
Total	90	10
Porcentagem de estudantes qualificados admitidos: 45/90 = 50% Porcentagem de estudantes não qualificados rejeitados: 8/10 = 80% Porcentagem total de estudantes liliputianos admitidos: (45+2)/100 = 47%

 

Tabela 4. Candidatos de Brobdingnag (10% estão qualificados):

	Qualificado	Não qualificado
Admitida	5	18
Recusado	5	72
Total	10	90
Porcentagem de estudantes qualificados admitidos: 5/10 = 50% Porcentagem de estudantes não qualificados rejeitados: 72/90 = 80% Porcentagem total de estudantes Brobdingnagian admitidos: (5+18)/100 = 23%

As chances iguais são satisfeitas porque os estudantes qualificados de Lilliput e Brobdingnag têm 50% de chance de serem admitidos, e os estudantes não qualificados de Lilliput e Brobdingnag têm 80% de chance de serem rejeitados.

Observação: embora as probabilidades equalizadas sejam satisfeitas, A paridade demográfica não é satisfeita. Alunos de Lilliput e Brobdingnag são admitidos na Universidade Glubbdubdrib em taxas diferentes: 47% dos alunos de Lilliput são admitidos e 23% dos alunos de Brobdingnag são admitidos.

As chances iguais são definidas formalmente em "Igualdade de oportunidades no aprendizado supervisionado" da seguinte maneira: "o preditor Ŷ satisfaz as chances iguais em relação ao atributo protegido A e ao resultado Y se Ŷ e A forem independentes, condicionados a Y".

Observação: compare as probabilidades com valores mais relaxados Igualdade de oportunidade.

Estimator

#TensorFlow

Uma API do TensorFlow descontinuada. Use tf.keras em vez de estimadores.

avaliações

#language

#generativeAI

É usado principalmente como uma abreviação para avaliações de LLM. De forma mais ampla, avaliações é uma abreviação para qualquer forma de avaliação.

Avaliação

#language

#generativeAI

O processo de medir a qualidade de um modelo ou comparar modelos diferentes.

Para avaliar um modelo de aprendizado de máquina supervisionado, normalmente você o compara com um conjunto de validação e um conjunto de teste. A avaliação de um LLM geralmente envolve avaliações mais amplas de qualidade e segurança.

exemplo

#fundamentals

Os valores de uma linha de features e possivelmente um rótulo. Exemplos em O aprendizado supervisionado se divide em dois categorias gerais:

• Um exemplo rotulado consiste em um ou mais recursos e um rótulo. Os exemplos rotulados são usados durante o treinamento.
• Um exemplo não rotulado consiste em um ou mais atributos, mas sem rótulo. Exemplos não rotulados são usados durante a inferência.

Por exemplo, suponha que você esteja treinando um modelo para determinar a influência das condições climáticas nos resultados das avaliações dos alunos. Aqui estão três exemplos rotulados:

Recursos			Rótulo
Temperatura	Umidade	Pressão	Pontuação do teste
15	47	998	Boa
19	34	1020	Excelente
18	92	1012	Ruim

Confira três exemplos sem rótulos:

Temperatura	Umidade	Pressão
12	62	1014
21	47	1017
19	41	1021

A linha de um conjunto de dados geralmente é a origem bruta de um exemplo. Isto é, um exemplo geralmente consiste em um subconjunto das colunas em conjunto de dados. Além disso, os exemplos também podem incluir recursos sintéticos, como cruzamentos de atributos.

Consulte Aprendizagem supervisionada no curso Introdução ao Machine Learning para mais informações.

Repetição da experiência

#rl

No aprendizado por reforço, uma técnica de DQN usada para reduzir correlações temporais nos dados de treinamento. O agente armazena transições de estado em um buffer de repetição e, em seguida, amostra transições do buffer de repetição para criar dados de treinamento.

viés do experimentador

#fairness

Consulte o viés de confirmação.

problema de gradiente em explosão

#seq

A tendência de gradientes em redes neurais profundas (especialmente redes neurais recorrentes) se tornar surpreendentemente íngremes (altos). Gradientes íngremes geralmente causam atualizações muito grandes nos pesos de cada nó em uma rede neural profunda.

Os modelos que sofrem do problema do gradiente em explosão se tornam difíceis ou impossível de treinar. O clipping de gradiente pode reduzir esse problema.

Compare com o problema de gradiente de desaparecimento.

F

F₁

Uma métrica de classificação binária "resumida" que depende de precisão e recall. Esta é a fórmula:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

Por exemplo, considerando o seguinte:

• precisão = 0,6
• recall = 0,4

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

Quando a precisão e o recall são bastante semelhantes (como no exemplo anterior), F₁ está perto da média. Quando a precisão e o recall diferem significativamente, o F₁ fica mais próximo do valor mais baixo. Exemplo:

• precisão = 0,9
• recall = 0,1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

restrição de imparcialidade

#fairness

Aplicar uma restrição a um algoritmo para garantir que uma ou mais definições de imparcialidade sejam atendidas. Exemplos de restrições de imparcialidade incluem:

• Pós-processamento da saída do modelo.
• Alterar a função de perda para incorporar uma penalidade por violar uma métrica de imparcialidade.
• Adicionar diretamente uma restrição matemática a um problema de otimização.

métrica de imparcialidade

#fairness

Uma definição matemática de "imparcialidade" que seja mensurável. Confira algumas métricas de imparcialidade usadas com frequência:

• odds equalizadas
• paridade preditiva
• imparcialidade contrafactual
• paridade demográfica

Muitas métricas de imparcialidade são mutuamente exclusivas; ver incompatibilidade de métricas de imparcialidade.

falso negativo (FN)

#fundamentals

Exemplo em que o modelo prevê por engano a classe negativa. Por exemplo, o modelo prevê que uma mensagem de e-mail específica não é spam (a classe negativa), mas a mensagem de e-mail na verdade é spam.

taxa de falsos negativos

A proporção de exemplos positivos reais para os quais o modelo errou previu a classe negativa. A fórmula a seguir calcula a taxa negativa falsa:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

Consulte Limites e a matriz de confusão no Curso intensivo de machine learning para mais informações.

falso positivo (FP)

#fundamentals

Exemplo em que o modelo prevê por engano a classe positiva. Por exemplo, o modelo prevê que uma mensagem de e-mail específica é spam (a classe positiva), mas essa mensagem de e-mail na verdade não é spam.

Consulte Limites e confusão matriz no curso intensivo de machine learning para mais informações.

taxa de falso positivo (FPR)

#fundamentals

A proporção de exemplos negativos reais para os quais o modelo previu incorretamente a classe positiva. A fórmula a seguir calcula a taxa positiva falsa:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

A taxa de falsos positivos é o eixo X em uma curva ROC.

Consulte Classificação: ROC e AUC no Curso intensivo de machine learning para mais informações.

recurso

#fundamentals

Uma variável de entrada para um modelo de machine learning. Um exemplo consiste em um ou mais recursos. Por exemplo, suponha que você esteja treinando um modelo para determinar a influência das condições climáticas nas notas dos alunos. A tabela a seguir mostra três exemplos, cada um com três recursos e um rótulo:

Recursos			Rótulo
Temperatura	Umidade	Pressão	Pontuação do teste
15	47	998	92
19	34	1020	84
18	92	1012	87

Contraste com rótulo.

Consulte Aprendizado supervisionado. no curso "Introduction to Machine Learning" para mais informações.

cruzamento de atributos

#fundamentals

Um atributo sintético formado pelo "cruzamento" de atributos categóricos ou agrupados por classes.

Por exemplo, considere um modelo de "previsão de humor" que represente a temperatura em um dos quatro buckets a seguir:

• freezing
• chilly
• temperate
• warm

E representa a velocidade do vento em um dos três buckets a seguir:

• still
• light
• windy

Sem cruzamentos de atributos, o modelo linear é treinado de forma independente em cada um dos sete diferentes buckets anteriores. Assim, o modelo é treinado em, por exemplo, freezing, independentemente do treinamento em, por exemplo, windy.

Como alternativa, é possível criar um cruzamento de atributos de temperatura e velocidade do vento. Esse atributo sintético teria os 12 possíveis valores:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Graças aos cruzamentos de atributos, o modelo pode aprender diferenças de humor entre freezing-windy e freezing-still dia.

Se você criar um atributo sintético a partir de dois atributos, cada um com muitos buckets diferentes, o cruzamento de atributos resultante terá um número enorme de combinações possíveis. Por exemplo, se um atributo tem 1.000 buckets e o outro atributo tem 2.000 buckets, o cruzamento de atributos tem 2.000.000 buckets de armazenamento.

Formalmente, uma cruz é uma Produto cartesiano.

Os cruzamentos de atributos são usados principalmente com modelos lineares e raramente são usados com redes neurais.

Consulte Dados categóricos: cruzamentos de características no Curso intensivo de machine learning para mais informações.

engenharia de atributos

#fundamentals

#TensorFlow

Um processo que envolve as seguintes etapas:

1. Determinar quais recursos podem ser úteis no treinamento de um modelo.
2. Converter dados brutos do conjunto de dados em versões eficientes do esses recursos.

Por exemplo, você pode determinar que temperature pode ser . Em seguida, teste o agrupamento para otimizar o que o modelo pode aprender com diferentes intervalos de temperature.

Às vezes, a engenharia de atributos é chamada de extração de atributos ou featurização.

Clique no ícone para ver outras notas sobre o TensorFlow.

No TensorFlow, a engenharia de atributos geralmente significa converter entradas de arquivos de registro brutos em buffers de protocolo tf.Example. Consulte também tf.Transform.

---

Consulte Dados numéricos: como um modelo ingere dados usando vetores de características no Curso intensivo de aprendizado de máquina para mais informações.

extração de atributos

Termo sobrecarregado com uma das seguintes definições:

• Recuperar representações de recursos intermediários calculadas por um modelo não supervisionado ou pré-treinado (por exemplo, valores de camada oculta em uma rede neural) para uso em outro modelo como entrada.
• Sinônimo de engenharia de atributos.

importâncias dos atributos

#df

Sinônimo de importâncias de variáveis.

conjunto de recursos

#fundamentals

O grupo de atributos que seu machine learning model é treinado. Por exemplo, o código postal, o tamanho e a condição do imóvel podem fazer parte de um conjunto de recursos simples para um modelo que prevê os preços dos imóveis.

especificação de atributos

#TensorFlow

Descreve as informações necessárias para extrair dados de features do buffer de protocolo tf.Example. Como o O buffer de protocolo tf.Example é apenas um contêiner de dados, é preciso especificar o seguinte:

• Os dados a serem extraídos (ou seja, as chaves dos atributos)
• O tipo de dados (por exemplo, float ou int)
• O tamanho (fixo ou variável)

vetor de recurso

#fundamentals

A matriz de valores de feature que compreende um exemplo. O vetor de recursos é inserido durante o treinamento e a inferência. Por exemplo, o vetor de recursos de um modelo com dois recursos discretos pode ser:

[0.92, 0.56]

Cada exemplo fornece valores diferentes para o vetor do atributo, de modo que de atributo para o próximo exemplo pode ser algo como:

[0.73, 0.49]

A engenharia de atributos determina como representar atributos no vetor de atributos. Por exemplo, um atributo categórico binário com cinco valores possíveis pode ser representado com codificação one-hot. Nesse caso, a parte do vetor de características de um exemplo específico consistiria em quatro zeros e um único 1,0 na terceira posição, conforme mostrado abaixo:

[0.0, 0.0, 1.0, 0.0, 0.0]

Como outro exemplo, suponha que seu modelo tenha três atributos:

• um atributo categórico binário com cinco valores possíveis representados codificação one-hot; Por exemplo: [0.0, 1.0, 0.0, 0.0, 0.0]
• outro atributo categórico binário com três valores possíveis representados com codificação one-hot. Por exemplo: [0.0, 0.0, 1.0]
• um recurso de ponto flutuante; Por exemplo: 8.3.

Nesse caso, o vetor de recurso de cada exemplo seria representado por 9 valores. Considerando os valores de exemplo na lista anterior, os vetor de recurso seria:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

Consulte Dados numéricos: como um modelo ingere dados usando vetores de características no Curso intensivo de aprendizado de máquina para mais informações.

caracterização

O processo de extrair recursos de uma fonte de entrada, como um documento ou vídeo, e mapear esses recursos em um vetor de recursos.

Alguns especialistas em ML usam essa funcionalidade como sinônimo de engenharia de atributos ou extração de atributos.

federated learning

Uma abordagem de machine learning distribuído que treina modelos de machine learning usando modelos exemplos que residem em dispositivos como smartphones. No aprendizado federado, um subconjunto de dispositivos faz o download do modelo atual de um servidor central de coordenação. Os dispositivos usam os exemplos armazenados nos dispositivos para fazer melhorias no modelo. Em seguida, os dispositivos fazem upload das melhorias do modelo (mas não dos exemplos de treinamento) para o servidor de coordenação, onde elas são agregadas a outras atualizações para gerar um modelo global melhorado. Após a agregação, as atualizações do modelo computadas pelos dispositivos não são mais necessárias e podem ser descartadas.

Como os exemplos de treinamento não são enviados, o aprendizado federado segue as princípios de privacidade de coleta e minimização de dados focados.

Para mais informações sobre o aprendizado federado, consulte este tutorial.

ciclo de feedback

#fundamentals

Em machine learning, uma situação em que as previsões de um modelo influenciam o dados de treinamento para o mesmo modelo ou outro modelo. Por exemplo, um modelo que recomenda filmes influenciará os filmes que as pessoas assistem, o que, influenciar os modelos subsequentes de recomendação de filmes.

Consulte Sistemas de ML de produção: perguntas a fazer no Curso intensivo de aprendizado de máquina para mais informações.

rede neural feedforward (FFN)

Uma rede neural sem conexões cíclicas ou recursivas. Por exemplo: redes neurais profundas tradicionais são redes neurais feedforward. Compare com as redes neurais recorrentes, que são cíclicas.

aprendizado de poucas imagens

Uma abordagem de machine learning, muitas vezes usada para classificação de objetos, projetada para treinar classificadores eficazes de apenas um pequeno número exemplos de treinamento.

Consulte também aprendizado one-shot e aprendizado zero-shot.

comandos few-shot

#language

#generativeAI

Um comando que contém mais de um (um "pouco") exemplo demonstrando como o modelo de linguagem grande precisa responder. Por exemplo, o comando longo a seguir contém dois exemplos que mostram a um modelo de linguagem grande como responder a uma consulta.

Partes de uma instrução	Observações
Qual é a moeda oficial do país especificado?	A pergunta que você quer que o LLM responda.
França: EUR	Um exemplo.
Reino Unido: GBP	Outro exemplo.
Índia:	A consulta real.

A ativação de poucos disparos geralmente produz resultados mais desejáveis do que sem ativação e de um disparo. No entanto, os comandos few-shot exige um comando mais longo.

Comandos de poucos disparos (few-shot) são uma forma de aprendizado de poucos disparos aplicada à aprendizagem baseada em comandos.

Consulte Engenharia de comandos no Curso intensivo de machine learning para mais informações.

Violino

#language

Uma biblioteca de configuração que prioriza o Python e define valores de funções e classes sem código ou infraestrutura invasivos. No caso de Pax (e outras bases de código de ML), essas funções e As classes representam modelos e treinamento hiperparâmetros.

Violão presume que as bases de código de machine learning são normalmente divididas em:

• Código da biblioteca, que define as camadas e os otimizadores.
• Código de "cola" do conjunto de dados, que chama as bibliotecas e conecta tudo.

O Fiddle captura a estrutura de chamada do código de união em uma forma não avaliada e mutável.

ajuste

#language

#image

#generativeAI

Um segundo passe de treinamento específico para uma tarefa modelo pré-treinado para refinar seus parâmetros para uma para um caso de uso específico. Por exemplo, a sequência de treinamento completa de alguns modelos de linguagem grandes são os seguintes:

1. Pré-treinamento:treine um modelo de linguagem grande em um conjunto de dados geral amplo. como todas as páginas da Wikipédia em inglês.
2. Ajuste:treine o modelo pré-treinado para executar uma tarefa específica. como ao responder consultas médicas. O ajuste fino normalmente envolve centenas ou milhares de exemplos focados na tarefa específica.

Como outro exemplo, a sequência de treinamento completa para um modelo de imagem grande é esta:

1. Pré-treinamento:treine um modelo de imagem grande em uma imagem geral ampla conjunto de dados, como todas as imagens na Wikimedia commons.
2. Ajuste:treine o modelo pré-treinado para executar uma tarefa específica. como a geração de imagens de orcas.

O ajuste fino pode envolver qualquer combinação das seguintes estratégias:

• Modificar todas as configurações atuais do modelo pré-treinado parameters. Às vezes, isso é chamado de ajuste total.
• Modificar apenas alguns dos parâmetros do modelo pré-treinado (normalmente, as camadas mais próximas da camada de saída), mantendo os outros parâmetros inalterados (normalmente, as camadas mais perto da camada de entrada). Consulte ajuste com eficiência de parâmetros.
• Adicionar mais camadas, normalmente sobre as camadas existentes mais próximas ao camada final.

O ajuste fino é uma forma de aprendizado por transferência. Assim, o ajuste fino pode usar uma função de perda ou um tipo de modelo diferente dos usados para treinar o modelo pré-treinado. Por exemplo, é possível ajustar um modelo de imagem grande pré-treinado para produzir um modelo de regressão que retorna o número de pássaros em uma imagem de entrada.

Compare e contraste o ajuste fino com os seguintes termos:

• destilação
• aprendizagem baseada em comandos

Consulte Ajuste no curso intensivo de machine learning para mais informações.

Linho

#language

Uma biblioteca de código aberto de alto desempenho para aprendizado profundo criada com base no JAX. O Flax fornece funções para treinar redes neurais, além de métodos para avaliar a performance delas.

Formador de linho

#language

Um Transformer de código aberto biblioteca, criado com base no Flax e desenvolvido principalmente para processamento de linguagem natural multimodal.

limitação de esquecimento

#seq

A parte de uma memória de curto prazo longa célula que regula o fluxo de informações através da célula. As portas de esquecimento mantêm o contexto decidindo quais informações descartar do estado da célula.

softmax completa

Sinônimo de softmax.

Compare com a amostragem de candidatos.

Consulte Redes neurais: classificação multiclasse no Curso intensivo de machine learning para mais informações.

camada totalmente conectada

Uma camada oculta em que cada nó é conectado a todos os nós na camada oculta subsequente.

Uma camada totalmente conectada também é conhecida como camada densa.

transformação de função

Uma função que recebe uma função como entrada e retorna uma função transformada como saída. O JAX usa transformações de função.

G

GAN

Abreviação de negativo generativo rede.

generalização

#fundamentals

A capacidade de um modelo de fazer previsões corretas com dados novos e que não foram vistos anteriormente. Um modelo que pode generalizar é o oposto de um modelo com overfitting.

Clique no ícone para ver mais observações.

O modelo é treinado com os exemplos no conjunto de treinamento. Consequentemente, a aprende as peculiaridades dos dados no conjunto de treinamento. A generalização basicamente pergunta se o modelo pode fazer boas previsões em exemplos que não estão no conjunto de treinamento.

Para incentivar a generalização, a regularização ajuda um modelo a treinar às peculiaridades dos dados no conjunto de treinamento.

---

Consulte Generalização no Curso intensivo de machine learning para mais informações.

Gemini

#language

#image

#generativeAI

O ecossistema que inclui a IA mais avançada do Google. Os elementos desse ecossistema incluem:

• Vários modelos Gemini.
• A interface de conversação interativa de um modelo Gemini. Os usuários digitam comandos, e o Gemini responde a eles.
• Várias APIs Gemini.
• Vários produtos empresariais com base nos modelos Gemini, por exemplo, Gemini para Google Cloud.

Modelos do Gemini

#language

#image

#generativeAI

A tecnologia moderna do Google baseada em Transformer modelos multimodais. Os modelos do Gemini são especificamente projetada para se integrar aos agentes.

Os usuários podem interagir com os modelos do Gemini de várias maneiras, inclusive por meio de uma interface de caixa de diálogo interativa e SDKs.

curva de generalização

#fundamentals

Um gráfico de perda do treinamento e perda de validação como uma função do número de iterations.

Uma curva de generalização pode ajudar a detectar possíveis overfitting: Por exemplo, o seguinte curva de generalização sugere overfitting porque a perda de validação em última instância, é muito maior do que a perda do treinamento.

Consulte Generalização no curso intensivo de machine learning para mais informações.

modelo linear generalizado

Uma generalização da regressão dos mínimos quadrados modelos, que são baseados em Gaussiano ruído, para outros de modelos com base em outros tipos de ruído, como Ruído de Poisson ou ruído categórico. Exemplos de modelos lineares generalizados incluem:

• Regressão logística
• regressão multiclasse
• Regressão de mínimos quadrados

Os parâmetros de um modelo linear generalizado podem ser encontrados por meio de otimização convexa.

Os modelos lineares generalizados apresentam as seguintes propriedades:

• A previsão média do modelo de regressão dos mínimos quadrados ideal é igual ao rótulo médio nos dados de treinamento.
• A probabilidade média prevista pelo modelo de regressão logística ideal é igual ao rótulo médio nos dados de treinamento.

A potência de um modelo linear generalizado é limitada pelos recursos dele. Ao contrário de um modelo profundo, um modelo linear generalizado não pode "aprender novos recursos".

rede adversária generativa (GAN, na sigla em inglês)

Um sistema para criar novos dados em que um gerador cria dados e um discriminador determina se esses dados criados são válidos ou inválidos.

Confira o curso "Generative Adversarial Networks". para mais informações.

IA generativa

#language

#image

#generativeAI

Um campo transformador emergente sem definição formal. A maioria dos especialistas concorda que os modelos de IA generativa podem criar ("gerar") conteúdo que seja:

• complexo
• coerente
• original

Por exemplo, um modelo de IA generativa pode criar textos ou imagens sofisticados.

Algumas tecnologias anteriores, incluindo LSTMs e RNNs, também podem gerar conteúdo original e coerente. Alguns especialistas consideram essas tecnologias anteriores como IA generativa, enquanto outros acreditam que a verdadeira IA generativa exige uma saída mais complexa do que essas tecnologias anteriores podem produzir.

Compare com o ML preditivo.

modelo generativo

Na prática, um modelo que faz uma destas ações:

• Cria (gera) novos exemplos com base no conjunto de dados de treinamento. Por exemplo, um modelo generativo pode criar poesias após o treinamento em um conjunto de dados de poemas. A parte do gerador de uma rede adversária generativa se enquadram nessa categoria.
• Determina a probabilidade de um novo exemplo vir do conjunto de treinamento ou ter sido criado com o mesmo mecanismo que criou o conjunto de treinamento. Por exemplo, depois de treinar um conjunto de dados consistindo em frases em inglês, um modelo generativo poderia determinar a probabilidade de que a nova entrada seja uma frase válida em inglês.

Um modelo generativo pode, teoricamente, discernir a distribuição de exemplos ou recursos específicos em um conjunto de dados. Ou seja:

p(examples)

Os modelos de aprendizado não supervisionado são generativos.

Compare com os modelos discriminativos.

gerador

O subsistema em uma rede generativa adversária que cria novos exemplos.

Compare com o modelo discriminativo.

impureza de gini

#df

Uma métrica semelhante à entropia. Os divisores usam valores derivados da impureza de Gini ou da entropia para compor condições para a classificação árvores de decisão. O ganho de informação é derivado da entropia. Não há um termo equivalente universalmente aceito para a métrica derivada da impureza de Gini. No entanto, essa métrica sem nome é tão importante quanto o ganho de informação.

A impureza de Gini também é chamada de índice de Gini ou simplesmente Gini.

Clique no ícone para conferir detalhes matemáticos sobre a impureza de Gini.

A impureza de Gini é a probabilidade de classificar incorretamente um novo dado retirados da mesma distribuição. A impureza do gini de um conjunto com dois valores possíveis "0" e "1" (por exemplo, os rótulos em uma problema de classificação binária). é calculado a partir da seguinte fórmula:

   I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

em que:

• I é a impureza de Gini.
• p é a fração de "1" exemplos.
• q é a fração de "0" exemplos. Observe que q = 1-p

Por exemplo, considere o seguinte conjunto de dados:

• 100 rótulos (0,25 do conjunto de dados) contêm o valor "1"
• 300 rótulos (0,75 do conjunto de dados) contêm o valor "0"

Portanto, a impureza do gini é:

• p = 0,25
• q = 0,75
• I = 1 - (0,25² + 0,75²) = 0,375

Consequentemente, um rótulo aleatório do mesmo conjunto de dados teria 37,5% de chance de ser classificado incorretamente e 62,5% de chance de ser classificado corretamente.

Um rótulo perfeitamente equilibrado (por exemplo, 200 "0" e 200 "1") teria uma impureza de Gini de 0,5. Uma configuração rótulo desequilibrado impureza de gini próxima de 0,0.

---

conjunto de dados de ouro

Um conjunto de dados selecionados manualmente que captura informações empíricas. As equipes podem usar um ou mais conjuntos de dados de ouro para avaliar a qualidade de um modelo.

Alguns conjuntos de dados dourados capturam subdomínios diferentes de informações empíricas. Por exemplo: um conjunto de dados de ouro para classificação de imagens pode capturar as condições de iluminação e a resolução da imagem.

GPT (transformador generativo pré-treinado)

#language

Uma família de modelos de linguagem grandes baseados em Transformer desenvolvidos pela OpenAI.

As variantes da GPT podem ser aplicadas a várias modalidades, incluindo:

• geração de imagens (por exemplo, ImageGPT)
• Geração de texto para imagem (por exemplo, DALL-E).

gradiente

O vetor de derivadas parciais em relação todas as variáveis independentes. No aprendizado de máquina, o gradiente é o vetor de derivadas parciais da função do modelo. O gradiente aponta na direção da subida mais íngreme.

acúmulo de gradiente

Uma técnica de retropropagação que atualiza os parâmetros apenas uma vez por época, em vez de uma vez por iteração. Após o processamento de cada minilote, o gradiente o acúmulo simplesmente atualiza um total contínuo de gradientes. Depois, processando o último minilote da época, o sistema finalmente atualiza os parâmetros com base no total de todas as mudanças do gradiente.

A acumulação de gradiente é útil quando o tamanho do lote é muito grande em comparação com a quantidade de memória disponível para treinamento. Quando a memória é um problema, a tendência natural é reduzir o tamanho do lote. No entanto, reduzir o tamanho do lote na retropropagação normal aumenta o número de atualizações de parâmetros. O acúmulo de gradiente permite que o modelo para evitar problemas de memória, mas treinar com eficiência.

árvores de decisão aprimoradas por gradiente (GBTs)

#df

Um tipo de floresta de decisão em que:

• O treinamento depende do intensificação de gradiente.
• O modelo fraco é uma árvore de decisão.

Consulte Decisão otimizada com gradiente As árvores de Decision Forests para mais informações.

aumento do gradiente

#df

Um algoritmo de treinamento em que modelos fracos são treinados para melhorar de forma iterativa a qualidade (reduzir a perda) de um modelo forte. Por exemplo: um modelo fraco pode ser linear ou de árvore de decisão pequena. O modelo forte se torna a soma de todos os modelos fracos treinados anteriormente.

Na forma mais simples de otimização por gradiente, em cada iteração, um modelo fraco é treinado para prever o gradiente de perda do modelo forte. Depois, a saída de um modelo forte é atualizada subtraindo o gradiente previsto, semelhante ao gradiente descendente.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

em que:

• $F_{0}$ é o modelo forte inicial.
• $F_{i+1}$ é o próximo modelo forte.
• $F_{i}$ é o modelo forte atual.
• $\xi$ é um valor entre 0,0 e 1,0 chamado redução, que é análoga à taxa de aprendizado em gradiente descendente.
• $f_{i}$ é o modelo fraco treinado para prever o gradiente de perda de $F_{i}$.

Variações modernas de aprimoramento de gradiente também incluem a segunda derivada (hessiano) da perda do cálculo.

As árvores de decisão são usadas com frequência como modelos fracos no otimização por gradiente. Consulte árvores de decisão aprimoradas por gradiente.

truncamento de gradiente

#seq

Um mecanismo usado com frequência para atenuar o problema de gradiente explosivo limitando artificialmente o valor máximo de gradientes ao usar o gradiente descendente para treinar um modelo.

gradiente descendente

#fundamentals

É uma técnica matemática para minimizar a perda. O gradiente descendente ajusta iterativamente pesos e viés, encontrando gradualmente a melhor combinação para minimizar a perda.

A regressão linear é mais antiga do que o machine learning.

Consulte Regressão linear: gradiente de descida no Curso intensivo de machine learning para mais informações.

gráfico

#TensorFlow

No TensorFlow, uma especificação de computação. Nós no gráfico representam operações. As bordas são direcionadas e representam a passagem do resultado de uma operação (um Tensor) como uma operando para outra operação. Use o TensorBoard para visualizar um gráfico.

execução de gráfico

#TensorFlow

um ambiente de programação do TensorFlow em que o programa constrói primeiro um graph e, em seguida, executa todo esse gráfico ou parte dele. A execução de gráficos é o modo de execução padrão no TensorFlow 1.x.

Já a execução antecipada é diferente.

política gananciosa

#rl

No aprendizado por reforço, uma política que sempre escolhe a ação com a maior retorno esperado.

informações empíricas

#fundamentals

Realidade.

O que realmente aconteceu.

Por exemplo, considere uma classificação binária que prevê se um estudante está no primeiro ano de universidade se formará em seis anos. A verdade fundamental para esse modelo é se o estudante se formou ou não em seis anos.

Clique no ícone para ver outras notas.

Avaliamos a qualidade do modelo com base em informações empíricas. No entanto, informações empíricas nem sempre é totalmente verdadeira. Por exemplo, considere os seguintes exemplos de possíveis imperfeições na informação empírica:

• No exemplo da graduação, temos certeza de que ela registros de cada estudante estão sempre corretos? A universidade mantém registros perfeitos?
• Suponha que o rótulo seja um valor de ponto flutuante medido por instrumentos (por exemplo, barômetros). Como podemos ter certeza de que cada instrumento está calibrado de maneira idêntica ou de que cada leitura foi feita nas mesmas circunstâncias?
• Se o rótulo é uma questão de opinião humana, como podemos ter certeza de que cada avaliador humano está avaliando eventos na da mesma forma? Para melhorar a consistência, às vezes os avaliadores especialistas intervir.

---

viés de atribuição a grupos

#fairness

Supõe que o que é verdadeiro para um indivíduo também é verdadeiro para todos no grupo. Os efeitos do viés de atribuição de grupo podem ser exacerbados se uma amostragem por conveniência for usada para coleta de dados. Em uma amostra não representativa, as atribuições podem ser feitas que não refletem a realidade.

Consulte também viés de homogeneidade externa ao grupo e viés de grupo. Além disso, consulte Imparcialidade: tipos de vieses no curso intensivo de machine learning para mais informações.

H

alucinação

#language

A produção de uma saída aparentemente plausível, mas factualmente incorreta, por um modelo de IA generativa que pretende fazer uma declaração sobre o mundo real. Por exemplo, um modelo de IA generativa que afirma que Barack Obama morreu em 1865 é alucinante.

hash

Em machine learning, um mecanismo de agrupamento por classes dados categóricos, especialmente quando o número de categorias é grande, mas o número de categorias que realmente aparecem no conjunto de dados é comparativamente pequeno.

Por exemplo, a Terra é o lar de cerca de 73.000 espécies de árvores. Você pode representar cada uma das 73.000 espécies de árvores em 73.000 buckets de armazenamento. Como alternativa, se apenas 200 dessas espécies de árvores aparecerem em um conjunto de dados, use o hash para dividir as espécies em talvez 500 buckets.

Um único bucket pode conter várias espécies de árvores. Por exemplo, gerar hash colocar baobab e bordo vermelho, dois geneticamente diferentes espécie, para o mesmo bucket. Independentemente disso, o hash ainda é uma boa maneira de mapear grandes conjuntos categóricos para o número de buckets selecionado. A hash transforma um recurso categórico com um grande número de valores possíveis em um número muito menor de valores agrupando-os de maneira determinística.

Consulte Dados categóricos: vocabulário e codificação one-hot no Curso intensivo de machine learning para mais informações.

heurística

Uma solução simples e rápida para um problema. Por exemplo: "Com uma heurística, atingimos 86% de precisão. Quando mudamos para rede neural profunda, a acurácia foi de até 98%."

camada escondida

#fundamentals

Uma camada em uma rede neural entre as camada de entrada (os atributos) e a camada de saída (a previsão). Cada camada oculta consiste em um ou mais neurônios. Por exemplo, a rede neural a seguir contém duas camadas ocultas, a primeira com três neurônios e a segunda com dois neurônios:

Uma rede neural profunda contém mais de uma camada escondida. Por exemplo, a ilustração anterior é uma rede neural profunda porque o modelo contém duas camadas ocultas.

Consulte Redes neurais: nós e ocultas camadas no curso intensivo de machine learning para mais informações.

clustering hierárquico

#clustering

Uma categoria de algoritmos de clustering que cria uma árvore de clusters. O agrupamento hierárquico é adequado para dados hierárquicos, como as taxonomias botânicas. Há dois tipos de algoritmos de agrupamento hierárquico:

• O clustering aglomerativo primeiro atribui cada exemplo ao próprio cluster e mescla de forma iterativa os clusters mais próximos para criar uma árvore hierárquica.
• O clustering divisivo agrupa primeiro todos os exemplos em um cluster e, em seguida, divide o cluster de forma iterativa em uma árvore hierárquica.

Compare com o clustering com base em centróides.

Consulte Algoritmos de clustering no curso de clustering para mais informações.

perda de articulação

Uma família de funções de perda para classificação projetada para encontrar o limite de decisão o mais distante possível de cada exemplo de treinamento, maximizando a margem entre os exemplos e o limite. KSVMs usam a perda de articulação (ou uma função relacionada, como a perda de articulação ao quadrado). Na classificação binária, a função de perda da articulação é definido da seguinte maneira:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

em que y é o rótulo verdadeiro, -1 ou +1, e y' é a saída bruta do modelo do classificador:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Consequentemente, um gráfico de perda da articulação versus (y * y') é semelhante ao seguinte:

viés histórico

#fairness

Um tipo de viés que já existe no mundo e tem conseguiu entrar em um conjunto de dados. Esses vieses têm a tendência de refletir estereótipos culturais, desigualdades demográficas e preconceitos contra certos e grupos sociais.

Por exemplo, considere um modelo de classificação que prevê se uma pessoa vai pagar um empréstimo, que foi com base em dados históricos de inadimplência dos anos 1980 de bancos locais em duas diferentes comunidades. Se os candidatos anteriores da Comunidade A fossem seis vezes mais propensos a não pagar os empréstimos do que os candidatos da Comunidade B, o modelo pode aprender um viés histórico, fazendo com que o modelo tenha menos probabilidade de aprovar empréstimos na Comunidade A, mesmo se as condições históricas que resultaram porque as taxas de inadimplência mais altas dessa comunidade não eram mais relevantes.

Consulte Imparcialidade: tipos de viés no curso intensivo de machine learning para mais informações.

dados de validação

Exemplos não usados intencionalmente ("afastados") durante o treinamento. O conjunto de dados de validação e o conjunto de dados de teste são exemplos de dados de reserva. Dados de validação ajuda a avaliar a capacidade do seu modelo de generalizar para outros dados além dos os dados com os quais foi treinado. A perda no conjunto de validação fornece um estimativa da perda em um conjunto de dados não visto do que a perda no conjunto de treinamento.

host

#TensorFlow

#GoogleCloud

Ao treinar um modelo de ML em chips de aceleração (GPUs ou TPUs), a parte do sistema que controla o seguinte:

• O fluxo geral do código.
• Extração e transformação do pipeline de entrada.

O host normalmente é executado em uma CPU, não em um chip de aceleração. O dispositivo manipula tensores nos chips de aceleração.

hiperparâmetro

#fundamentals

As variáveis que você ou um serviço de ajuste de hiperparâmetro ajusta durante execuções sucessivas de treinamento de um modelo. Por exemplo: A taxa de aprendizado é um hiperparâmetro. Você pode definir a taxa de aprendizado como 0,01 antes de uma sessão de treinamento. Se você determinar que 0,01 é muito alto, talvez seja possível definir a taxa de aprendizado como 0,003 para a próxima sessão de treinamento.

Por outro lado, parâmetros são os vários pesos e viés que o modelo aprende durante o treinamento.

Consulte Regressão linear: hiperparâmetros no Curso intensivo de machine learning para mais informações.

hiperplano

Um limite que separa um espaço em dois subespaços. Por exemplo, uma linha é uma hiperplano em duas dimensões e um plano é um hiperplano em três dimensões. Mais tipicamente no machine learning, um hiperplano é o limite que separa uma espaço altamente dimensional. Uso de máquinas de vetor de suporte de kernel hiperplanos para separar classes positivas de classes negativas, muitas vezes em uma espaço altamente dimensional.

I

i.i.d.

Abreviação de distribuído de forma independente e idêntica.

Reconhecimento de imagem

#image

Processo que classifica objetos, padrões ou conceitos em uma imagem. O reconhecimento de imagem também é conhecido como classificação de imagem.

Para mais informações, consulte Prática de ML: classificação de imagens.

Consulte o curso ML Practicum: classificação de imagens para mais informações.

conjunto de dados desequilibrado

Sinônimo de conjunto de dados não balanceado.

viés implícito

#fairness

Fazer automaticamente uma associação ou suposição com base na mente da pessoa modelos e memórias. O viés implícito pode afetar o seguinte:

• Como os dados são coletados e classificados.
• Como os sistemas de aprendizado de máquina são projetados e desenvolvidos.

Por exemplo, ao criar um classificador para identificar fotos de casamento, um engenheiro pode usar a presença de um vestido branco em uma foto como um atributo. No entanto, os vestidos brancos são costume apenas em certas épocas e em certas culturas.

Consulte também viés de confirmação.

imputation

Forma abreviada de imputação de valor.

incompatibilidade das métricas de imparcialidade

#fairness

A ideia de que algumas noções de justiça são mutuamente incompatíveis e não podem ser atendidas simultaneamente. Como resultado, não existe métrica universal para quantificar a imparcialidade que podem ser aplicadas a todos os problemas de ML.

Embora isso possa parecer desanimador, a incompatibilidade das métricas de imparcialidade não implica que os esforços de imparcialidade são infrutíferos. Em vez disso, ele sugere que a imparcialidade precisa ser definida contextualmente para um determinado problema de ML, com o objetivo de evitar danos específicos aos casos de uso.

Consulte "No (im)possibilidade de imparcialidade" para uma discussão mais detalhada sobre esse tópico.

aprendizagem contextual

#language

#generativeAI

Sinônimo de comandosfew-shot.

independente e distribuído de maneira idêntica (IID)

#fundamentals

Dados extraídos de uma distribuição que não muda e em que cada valor desenhada não depende de valores que foram desenhados anteriormente. Uma i.i.d. é o gás ideal do aprendizado de máquina, uma construção matemática útil, mas que quase nunca é encontrada no mundo real. Por exemplo, a distribuição de visitantes de uma página da Web pode ser i.i.d. em um curto período de tempo, ou seja, a distribuição mudar durante esse breve período e a visita de uma pessoa geralmente independentemente da visita de outra pessoa. No entanto, se você expandir essa janela de tempo, diferenças sazonais nos visitantes da página da Web podem aparecer.

Consulte também não estacionária.

imparcialidade individual

#fairness

Métrica de imparcialidade que verifica se indivíduos semelhantes são classificados de forma semelhante. Por exemplo, a Brobdingnagian Academy pode querer satisfazer imparcialidade individual, garantindo que dois estudantes com notas idênticas e resultados de testes padronizados têm a mesma probabilidade de obter admissão.

A imparcialidade individual depende totalmente de como você define "similaridade" (neste caso, notas e pontuações de testes), e você pode correr o risco de introduzir novos problemas de imparcialidade se a métrica de similaridade não atender a informações (como o rigor do currículo de um estudante).

Consulte "Justiça por consciência" para uma discussão mais detalhada sobre a justiça individual.

inferência

#fundamentals

Em machine learning, o processo de fazer previsões aplicação de um modelo treinado a exemplos não rotulados.

A inferência tem um significado um pouco diferente nas estatísticas. Consulte a Artigo da Wikipédia sobre inferência estatística para mais detalhes.

Consulte Aprendizado supervisionado. no curso Introdução ao ML para conferir o papel da inferência em um em um sistema de machine learning.

caminho de inferência

#df

Em uma árvore de decisão, durante a inferência, o caminho que um exemplo específico toma da raiz para outras condições, terminando com uma folha. Por exemplo, na árvore de decisão a seguir, setas mais grossas mostram o caminho de inferência para um exemplo com o seguinte valores de atributos:

• x = 7
• y = 12
• z = -3

O caminho de inferência na ilustração a seguir passa por três condições antes de chegar à folha (Zeta).

As três setas grossas mostram o caminho de inferência.

Consulte Árvores de decisão no curso de florestas de decisão para mais informações.

ganho de informações

#df

Nas florestas de decisão, a diferença entre a entropia de um nó e a soma ponderada (pelo número de exemplos) da entropia dos nós filhos. A entropia de um nó é a entropia dos exemplos nesse nó.

Por exemplo, considere os seguintes valores de entropia:

• entropia do nó pai = 0,6
• entropia de um nó filho com 16 exemplos relevantes = 0,2
• entropia de outro nó filho com 24 exemplos relevantes = 0,1

Portanto, 40% dos exemplos estão em um nó filho e 60% no e o outro nó filho. Assim:

• Soma da entropia ponderada dos nós filhos = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Assim, o ganho de informação é:

• ganho de informação = entropia do nó pai - soma de entropia ponderada dos nós filhos
• ganho de informação = 0,6 - 0,14 = 0,46

A maioria dos divisores procura criar condições que maximizem o ganho de informações.

viés de grupo

#fairness

Mostrar parcialidade em relação ao próprio grupo ou às próprias características. Se os testadores ou avaliadores forem amigos, familiares ou colegas do desenvolvedor de machine learning, o viés de grupo poderá invalidar o teste do produto ou o conjunto de dados.

O viés de grupo é uma forma de viés de atribuição a grupos. Confira também viés de homogeneidade externa ao grupo.

Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.

gerador de entrada

um mecanismo pelo qual os dados são carregados uma rede neural.

Um gerador de entrada pode ser considerado um componente responsável pelo processamento de dados brutos em tensores que são iterados para gerar lotes para treinamento, avaliação e inferência.

camada de entrada

#fundamentals

A camada de uma rede neural que armazena o vetor de atributos. Ou seja, a camada de entrada fornece exemplos para treinamento ou inferência. Por exemplo, a camada de entrada na seguinte rede neural consiste em dois recursos:

condição no conjunto

#df

Em uma árvore de decisão, uma condição que testa a presença de um item em um conjunto de itens. Por exemplo, a condição a seguir é uma condição no conjunto:

  house-style in [tudor, colonial, cape]

Durante a inferência, se o valor do feature do estilo da casa for tudor ou colonial ou cape, essa condição será avaliada como "Sim". Se o valor do elemento de estilo de casa for outro (por exemplo, ranch), essa condição será avaliada como "Não".

As condições do conjunto geralmente levam a árvores de decisão mais eficientes do que condições que testam atributos codificados one-hot.

instância

Sinônimo de example.

ajuste de instruções

#generativeAI

Uma forma de ajuste que melhora uma Capacidade de um modelo de IA generativa acompanhar instruções. O ajuste de instruções envolve treinar um modelo em uma série de instruções de instruções, geralmente abordando uma variedade de tarefas. O modelo ajustado por instruções resultante tende a geram respostas úteis para comandos zero-shot em diversas tarefas.

Compare e contraste com:

• ajuste de eficiência de parâmetros
• ajuste de comando

interpretabilidade

#fundamentals

A capacidade de explicar ou apresentar o raciocínio de um modelo de ML em termos compreensíveis para as pessoas.

A maioria dos modelos de regressão linear, por exemplo, é altamente interpretável. (basta observar os pesos treinados para cada feature.) Florestas de decisão também são altamente interpretáveis. No entanto, alguns modelos exigem uma visualização sofisticada para serem interpretados.

Você pode usar o Ferramenta de aprendizado de interpretabilidade (LIT) para interpretar modelos de ML.

concordância entre avaliadores

Uma medida da frequência com que os avaliadores humanos concordam ao realizar uma tarefa. Se os avaliadores discordarem, talvez seja necessário melhorar as instruções da tarefa. Às vezes, também é chamada de acordo entre anotadores ou confiabilidade entre avaliadores. Consulte também Cohen's kappa, que é uma das medidas de concordância entre avaliadores mais populares.

Consulte Dados categóricos: comuns problemas no curso intensivo de machine learning para mais informações.

intersecção sobre união (IoU)

#image

A interseção de dois conjuntos dividida pela união. Em machine learning de detecção de imagem, a IoU é usada para medir a acurácia caixa delimitadora prevista em relação à Caixa delimitadora de informações empíricas. Nesse caso, a IoU do duas caixas é a proporção entre a área sobreposta e a área total, e seus valores variam de 0 (sem sobreposição da caixa delimitadora prevista e das informações empíricas caixa delimitadora) para 1 (a caixa delimitadora prevista e a caixa delimitadora de informações empíricas têm exatamente as mesmas coordenadas).

Por exemplo, na imagem abaixo:

• A caixa delimitadora prevista (as coordenadas que delimitam onde o modelo prevê que a mesa de cabeceira está localizada na pintura) é destacada em roxo.
• A caixa delimitadora de informações empíricas (as coordenadas que delimitam o local da noite) na pintura está realmente localizada) é destacada em verde.

Aqui, a interseção das caixas delimitadoras para previsão e informações empíricas (abaixo à esquerda) é 1, e a união das caixas delimitadoras para previsão e informações empíricas (abaixo à direita) é 7. Portanto, a IoU é \(\frac{1}{7}\).

IoU

Abreviação de interseção sobre união.

matriz de itens

#recsystems

Em sistemas de recomendação, uma matriz de vetores de inserção gerada por fatoração de matriz que contém sinais latentes sobre cada item. Cada linha da matriz de itens contém o valor de uma única coluna para todos os itens. Por exemplo, considere um sistema de recomendação de filmes. Cada coluna na matriz de itens representa um único filme. Os sinais latentes podem representar gêneros ou podem ser sinais mais difíceis de interpretar que envolvem interações complexas entre gênero, estrelas, idade do filme ou outros fatores.

A matriz de itens tem o mesmo número de colunas que a meta. que está sendo fatorado. Por exemplo, considerando um sistema de recomendação de filmes que avalia 10.000 títulos, a matriz de itens terá 10.000 colunas.

itens

#recsystems

Em um sistema de recomendação, as entidades que que um sistema recomenda. Por exemplo, os vídeos são os itens que uma locadora recomenda, enquanto os livros são os itens que uma livraria recomenda.

iteração

#fundamentals

Uma única atualização dos parâmetros de um modelo, ou seja, os pesos e vieses do modelo durante o treinamento. O tamanho do lote determina quantos exemplos o modelo processa em uma única iteração. Por exemplo: Se o tamanho do lote for 20, o modelo processará 20 exemplos antes ajustando os parâmetros.

Ao treinar uma rede neural, uma única iteração envolve as duas passagens a seguir:

1. Uma passagem direta para avaliar a perda em um único lote.
2. Uma passagem reversa (backpropagation) para ajustar os parâmetros do modelo com base na perda e na taxa de aprendizado.

J

JAX

Uma biblioteca de computação de matriz, reunindo álgebra linear acelerada (XLA, na sigla em inglês) e diferenciação automática para computação numérica de alto desempenho. O JAX oferece uma interface simples e poderosa API para escrever código numérico acelerado com transformações combináveis. O JAX oferece recursos como:

• grad (diferenciação automática)
• jit (compilação just-in-time)
• vmap (vetorização ou agrupamento automático)
• pmap (carregamento em paralelo)

JAX é uma linguagem para expressar e compor transformações de valores numéricos análogo, mas muito maior em escopo, ao NumPy (em inglês) do Python biblioteca. Na verdade, a biblioteca .numpy no JAX é uma biblioteca funcionalmente equivalente, mas totalmente reescrita da biblioteca NumPy do Python.

O JAX é particularmente adequado para acelerar muitas tarefas de aprendizado de máquina, transformando os modelos e dados em uma forma adequada para paralelismo em GPUs e TPUs (chips de aceleração).

Flax, Optax, Pax e muitos outros são criadas na infraestrutura JAX.

K

Keras

Uma API de aprendizado de máquina Python conhecida. O Keras é executado em vários frameworks de aprendizado profundo, incluindo o TensorFlow, onde é disponibilizado como tf.keras.

Máquinas de vetor de suporte baseadas em kernels (KSVMs)

Algoritmo de classificação que busca maximizar a margem entre positivo e classes negativas mapeando vetores de dados de entrada para um espaço dimensional maior. Por exemplo, considere um modelo problema em que o conjunto de dados de entrada tem cem atributos. Para maximizar a margem entre classes positivas e negativas, uma KSVM poderia mapear internamente esses atributos para um espaço de um milhão de dimensões. As KSVMs usam uma função de perda chamada perda de articulação.

pontos principais

#image

As coordenadas de elementos específicos em uma imagem. Por exemplo, para um modelo de reconhecimento de imagem que distingue espécies de flores, os pontos-chave podem ser o centro de cada pétala, o caule, o estame e assim por diante.

Validação cruzada de k-dobras

Um algoritmo para prever a capacidade de um modelo de generalizar para novos dados. O k em k-folds se refere ao número de grupos iguais em que você divide os exemplos de um conjunto de dados. Ou seja, você treina e testa seu modelo k vezes. Em cada rodada de treinamento e teste, um grupo diferente é o conjunto de teste, e todos os grupos restantes se tornam o conjunto de treinamento. Após k rodadas de treinamento e teste, calcule a média e a variação padrão das métricas de teste escolhidas.

Por exemplo, suponha que seu conjunto de dados seja composto por 120 exemplos. Suponha ainda que você decide definir k como 4. Portanto, depois de embaralhar os exemplos, divida o conjunto de dados em quatro grupos iguais de 30 exemplos e realize quatro rodadas de treinamento e teste:

Por exemplo, o erro quadrático médio (EQM) pode ser a métrica mais significativa para um modelo de regressão linear. Portanto, você encontraria a média e o desvio padrão do MSE em todas as quatro rodadas.

k-means

#clustering

Um algoritmo de clustering conhecido que agrupa exemplos no aprendizado não supervisionado. O algoritmo k-means faz o seguinte:

• Determina iterativamente os melhores pontos centrais k (conhecidos como centroides).
• Atribui cada exemplo ao centroide mais próximo. Os exemplos mais próximos do mesmo centroide pertencem ao mesmo grupo.

O algoritmo k-means escolhe locais centroides para minimizar o valor cumulativo quadrado das distâncias de cada exemplo até o centroide mais próximo.

Por exemplo, considere o seguinte gráfico de altura do cão em relação à largura:

Se k=3, o algoritmo k-means determinará três centroides. Cada exemplo é atribuído ao seu centroide mais próximo, produzindo três grupos:

Imagine que um fabricante queira determinar os tamanhos ideais blusas médias e grandes para cães. Os três centroides identificam a média altura e largura média de cada cachorro nesse aglomerado. Então, o fabricante provavelmente deve basear os tamanhos de suéteres nesses três centroides. O centroide de um cluster normalmente não é um exemplo no cluster.

As ilustrações anteriores mostram o k-means para exemplos com apenas dois recursos (altura e largura). O k-means pode agrupar exemplos em vários recursos.

k-mediana

#clustering

Um algoritmo de clustering intimamente relacionado a k-means. O a diferença prática entre os dois é a seguinte:

• Em k-means, os centroides são determinados minimizando a soma dos quadrados da distância entre um centroide candidato e cada um dos exemplos.
• Na k-mediana, os centroides são determinados minimizando a soma da distância entre um centroide candidato e cada um dos exemplos.

As definições de distância também são diferentes:

• O k-means depende da Distância euclidiana de o centroide a um exemplo. Em duas dimensões, o euclidiano distância significa usar o teorema de Pitágoras para calcular a hipotenusa.) Por exemplo, a distância k-means entre (2,2) e (5,-2) seria:

$$ {\text{Euclidean distance}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5 $$

• A k-median depende da distância de Manhattan do centroide para um exemplo. Essa distância é a soma das deltas absolutas em cada dimensão. Por exemplo, a distância da mediana k entre (2,2) e (5,-2) seria:

$$ {\text{Manhattan distance}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7 $$

L

Regularização L₀

#fundamentals

Um tipo de regularização que penaliza o número total de ponderações diferentes de zero em um modelo. Por exemplo, um modelo com 11 pesos diferentes de zero seria penalizado mais do que um modelo semelhante com 10 pesos diferentes de zero.

A regularização L₀ às vezes é chamada de regularização de norma L0.

Clique no ícone para ver mais observações.

Geralmente, a regularização L₀ é impraticável em modelos grandes, porque A regularização L₀ transforma o treinamento em convexo um problema de otimização.

---

Perda L₁

#fundamentals

Uma função de perda que calcula o valor absoluto da diferença entre os valores reais de label e os valores que um modelo prevê. Por exemplo, confira o cálculo da perda de L₁ para um lote de cinco exemplos:

Valor real do exemplo	Valor previsto do modelo	Valor absoluto de delta
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = perda de L1

A perda de L₁ é menos sensível a outliers do que a perda de L₂.

O erro médio absoluto é a perda média de L₁ por exemplo.

Clique no ícone para ver o cálculo formal.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

em que:

• $n$ é o número de exemplos.
• $y$ é o valor real do rótulo.
• $\hat{y}$ é o valor que o modelo prevê para $y$.

---

Regularização L₁

#fundamentals

Um tipo de regularização que penaliza pesos em proporção à soma do valor absoluto de dos pesos. A regularização L₁ ajuda a direcionar os pesos de atributos irrelevantes ou pouco relevantes para exatamente 0. Um recurso com um peso 0 é efetivamente removido do modelo.

Contraste com a regularização L₂.

Perda L₂

#fundamentals

Uma função de perda que calcula o quadrado da diferença entre os valores reais de label e os valores que um modelo prevê. Por exemplo, este é o cálculo da perda de L₂ para um lote de cinco exemplos:

Valor real do exemplo	Valor previsto do modelo	Quadrado de delta
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = perda L2

Devido ao quadrado, a perda de L₂ amplifica a influência outliers. Ou seja, a perda L₂ reage com mais força a previsões ruins do que a perda L₁. Por exemplo, a perda L₁ para o lote anterior seria 8 em vez de 16. Observe que um único o outlier representa 9 dos 16.

Os modelos de regressão geralmente usam a perda L₂ como a função de perda.

O erro quadrático médio é a perda L₂ média por exemplo. Perda ao quadrado é outro nome para a perda L₂.

Clique no ícone para conferir a matemática formal.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

em que:

• $n$ é o número de exemplos.
• $y$ é o valor real do rótulo.
• $\hat{y}$ é o valor que o modelo prevê para $y$.

---

Regularização L₂

#fundamentals

Um tipo de regularização que penaliza pesos em proporção à soma dos quadrados dos pesos. A regularização L₂ ajuda a gerar pesos outlier (aqueles com valores altos positivos ou negativos baixos) mais próximos de 0, mas não exatamente de 0. Os atributos com valores muito próximos de 0 permanecem no modelo, mas não influenciam muito a previsão do modelo.

A regularização de L₂ sempre melhora a generalização modelos lineares.

Contraste com a regularização L₁.

o rótulo.

#fundamentals

No machine learning supervisionado, a "atender" ou "resultado" de um exemplo.

Cada exemplo rotulado consiste em um ou mais recursos e um rótulo. Por exemplo, em um conjunto de dados de detecção de spam, o rótulo provavelmente será "spam" ou "não spam". Em um conjunto de dados de chuva, o rótulo pode ser a quantidade de chuva que caiu durante um determinado período.

exemplo rotulado

#fundamentals

Um exemplo que contém um ou mais recursos e um rótulo. Por exemplo, a tabela a seguir mostra três exemplos rotulados de um modelo de avaliação de casas, cada um com três atributos e um rótulo:

Número de quartos	Número de banheiros	Idade da casa	Preço da casa (rótulo)
3	2	15	US$ 345.000
2	1	72	US$ 179.000
4	2	34	US$ 392.000

No aprendizado de máquina supervisionado, os modelos são treinados em exemplos rotulados e fazem previsões em exemplos não rotulados.

Comparar exemplos rotulados com exemplos sem rótulos.

vazamento de rótulo

Uma falha de design de modelo em que um recurso é um proxy para o rótulo. Por exemplo, considere um modelo de classificação binária que prevê se um cliente em potencial vai comprar um produto específico. Suponha que um dos recursos do modelo seja um booleano chamado SpokeToCustomerAgent. Suponha que um agente do cliente esteja atribuído após o cliente em potencial comprar produto. Durante o treinamento, o modelo vai aprender rapidamente a associação entre SpokeToCustomerAgent e o rótulo.

lambda

#fundamentals

Sinônimo de taxa de regularização.

Lambda é um termo sobrecarregado. Aqui, vamos nos concentrar a definição na regularização.

LaMDA (Language Model for Dialogue Applications)

#language

Uma instância baseada em Transformer modelo de linguagem grande desenvolvido pelo Google treinado com um grande conjunto de dados de diálogos capaz de gerar respostas conversacionais realistas.

LaMDA: nossa tecnologia de conversação inovadora oferece uma visão geral.

pontos de referência

#image

Sinônimo de keypoints.

modelo de linguagem

#language

Um modelo que estima a probabilidade de um token ou sequência de tokens que ocorrem em uma sequência mais longa.

Clique no ícone para ver outras notas.

Embora pareça contra-intuitivo, muitos modelos que avaliam textos não são modelos de linguagem. Por exemplo, modelos de classificação de texto e de análise de sentimento não são modelos de linguagem.

---

modelo de linguagem grande

#language

No mínimo, um modelo de linguagem com um número muito alto de parâmetros. Mais informalmente, qualquer Modelo de linguagem baseado em Transformer, como Gemini ou GPT.

espaço latente

#language

Sinônimo de embedding Space.

layer

#fundamentals

Um conjunto de neurônios em uma rede neural. Três tipos comuns de camadas são:

• A camada de entrada, que fornece valores para todos os recursos.
• Uma ou mais camadas escondidas, que encontram relações não lineares entre os atributos e o rótulo.
• A camada de saída, que fornece a previsão.

Por exemplo, a ilustração a seguir mostra uma rede neural com uma camada de entrada, duas camadas escondidas e uma camada final:

No TensorFlow, as camadas também são funções do Python que usam Tensors e opções de configuração como entrada e produzem outros tensors como saída.

API Layers (tf.layers)

#TensorFlow

Uma API do TensorFlow para criar uma rede neural profunda como uma composição de camadas. A API Layers permite criar diferentes tipos de camadas, como:

• tf.layers.Dense para uma camada totalmente conectada.
• tf.layers.Conv2D para uma camada convolucional.

A API Layers segue as convenções da API de camadas do Keras. Ou seja, com exceção de um prefixo diferente, todas as funções na API Layers têm os mesmos nomes e assinaturas que seus equivalentes no Keras, a API de camadas.

folha

#df

Qualquer endpoint em uma árvore de decisão. Ao contrário de um condition, uma folha não realiza um teste. Em vez disso, uma folha é uma possível previsão. Uma folha também é o nó terminal de um caminho de inferência.

Por exemplo, a árvore de decisão a seguir contém três folhas:

Ferramenta de aprendizado de interpretabilidade (LIT)

Uma ferramenta visual e interativa de compreensão de modelos e visualização de dados.

É possível usar o LIT de código aberto para interpretar modelos ou visualizar dados de texto, imagem e tabular.

taxa de aprendizado

#fundamentals

Um número de ponto flutuante que informa o gradiente descendente algoritmo com que intensidade ajustar os pesos e as tendências em cada iteration. Por exemplo, uma taxa de aprendizado de 0,3 ajustaria pesos e vieses três vezes mais do que uma taxa de aprendizado de 0,1.

A taxa de aprendizado é um hiperparâmetro fundamental. Se você definir a taxa de aprendizado é muito baixa, o treinamento vai demorar muito tempo. Se a taxa de aprendizado for definida como muito alta, o gradiente descendente geralmente terá problemas para alcançar a convergência.

Clique no ícone para uma explicação mais matemática.

Durante cada iteração, o algoritmo gradiente descendente multiplica a taxa de aprendizado pelo gradiente. O produto resultante é chamado etapa do gradiente.

---

regressão dos mínimos quadrados

Um modelo de regressão linear treinado minimizando Perda L₂.

linear

#fundamentals

Uma relação entre duas ou mais variáveis que pode ser representada apenas por adição e multiplicação.

O gráfico de uma relação linear é uma linha.

Contraste com não linear.

modelo linear

#fundamentals

Um modelo que atribui um peso por recurso para fazer previsões. Os modelos lineares também incorporam um viés. Por outro lado, a relação entre os recursos e as previsões em modelos profundos geralmente é não linear.

Modelos lineares costumam ser mais fáceis de treinar e mais interpretáveis do que os modelos profundos. No entanto, os modelos profundos podem aprender relações complexas entre atributos.

Regressão linear e regressão logística são dois tipos de modelos lineares.

Clique no ícone para ver o cálculo.

Um modelo linear segue esta fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

em que:

• y' é a previsão bruta. Em alguns tipos de modelos lineares, essa previsão bruta será modificada. Por exemplo, consulte regressão logística.
• b é o viés.
• w é um peso. Portanto, w₁ é o peso do primeiro recurso, w₂ é o peso do segundo recurso e assim por diante.
• x é um atributo, então x₁ é o valor do primeiro atributo, x₂ é o valor do segundo atributo, e assim por diante.

Por exemplo, suponha que um modelo linear para três recursos aprenda os seguintes viés e pesos:

• b = 7
• w₁ = -2,5
• w₂ = -1,2
• w₃ = 1,4

Portanto, considerando três atributos (x₁, x₂ e x₃), o modelo linear usa a seguinte equação para gerar cada previsão:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

Suponha que um exemplo específico contenha os seguintes valores:

• x₁ = 4
• x₂ = -10
• x₃ = 5

A inserção desses valores na fórmula gera uma previsão para este exemplo:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

Os modelos lineares incluem não apenas aqueles que usam somente uma equação linear para fazer previsões, mas também um conjunto mais amplo de modelos que usam uma equação linear como apenas um componente da fórmula que faz previsões. Por exemplo, a regressão logística pós-processa os dados brutos previsão (y') para produzir um valor de previsão final entre 0 e 1, exclusivamente.

---

regressão linear

#fundamentals

Um tipo de modelo de machine learning em que as duas condições a seguir são verdadeiras:

• O modelo é linear.
• A previsão é um valor de ponto flutuante. Essa é a parte de regressão da regressão linear.

Comparar a regressão linear com a regressão logística. Além disso, compare a regressão com a classificação.

LIT

Abreviação para a Ferramenta de interpretabilidade de aprendizado (LIT), que antes era conhecida como "Ferramenta de interpretabilidade de linguagem".

LLM

#language

#generativeAI

Abreviação de modelo de linguagem grande.

Avaliações do LLM

#language

#generativeAI

Um conjunto de métricas e comparativos de mercado para avaliar o desempenho de modelos de linguagem grandes (LLMs, na sigla em inglês). De modo geral, as avaliações de LLM:

• Ajudam os pesquisadores a identificar áreas em que os LLMs precisam ser melhorados.
• São úteis para comparar diferentes LLMs e identificar o melhor LLM para uma tarefa específica.
• Ajudar a garantir que o uso de LLMs seja seguro e ético.

regressão logística

#fundamentals

Um tipo de modelo de regressão que prevê uma probabilidade. Os modelos de regressão logística têm as seguintes características:

• O rótulo é categórico. O termo "regressão logística" geralmente se refere à regressão logística binária, ou seja, a um modelo que calcula as probabilidades de rótulos com dois valores possíveis. Uma variante menos comum, a regressão logística multinomial, calcula as probabilidades de rótulos com mais de dois valores possíveis.
• A função de perda durante o treinamento é Log Loss. Várias unidades de perda de registro podem ser colocadas em paralelo para rótulos com mais de dois valores possíveis.
• O modelo tem uma arquitetura linear, não uma rede neural profunda. No entanto, o restante dessa definição também se aplica a modelos profundos que preveem probabilidades para rótulos categóricos.

Por exemplo, considere um modelo de regressão logística que calcula a probabilidade de um e-mail de entrada ser spam ou não spam. Durante a inferência, suponha que o modelo prevê 0,72. Portanto, o modelo está estimando:

• 72% de chance do e-mail ser spam.
• Uma chance de 28% de o e-mail não ser spam.

Um modelo de regressão logística usa a seguinte arquitetura de duas etapas:

1. O modelo gera uma previsão bruta (y') aplicando uma função linear de atributos de entrada.
2. O modelo usa essa previsão bruta como entrada para uma função sigmoide, que converte a previsão bruta em um valor entre 0 e 1, exclusivo.

Como qualquer modelo de regressão, um modelo de regressão logística prevê um número. No entanto, esse número geralmente faz parte de um modelo de classificação binária da seguinte maneira:

• Se o número previsto for maior que o limite de classificação, o o modelo de classificação binária prevê a classe positiva.
• Se o número previsto for menor do que o limite de classificação, o modelo de classificação binária vai prever a classe negativa.

logits

O vetor de previsões brutas (não normalizadas) que um modelo de classificação gera, que normalmente é transmitido para uma função de normalização. Se o modelo estiver resolvendo um problema de classificação multiclasse, os logits normalmente se tornam uma entrada para a função softmax. Em seguida, a função softmax gera um vetor de (normalizado) probabilidades com um valor para cada classe possível.

Log Perda

#fundamentals

A função de perda usada na regressão logística binária.

Clique no ícone para ver o cálculo.

A fórmula a seguir calcula a perda de registro:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

em que:

• \((x,y)\in D\) é o conjunto de dados que contém muitos rótulos exemplos, que são \((x,y)\) pares.
• \(y\) é o rótulo em um exemplo rotulado. Como isso é regressão logística, todos os valores de \(y\) precisam ser zero ou um.
• \(y'\) é o valor previsto (entre 0 e 1, exclusivo), dado o conjunto de recursos em \(x\).

---

log-odds

#fundamentals

O logaritmo das probabilidades de algum evento.

Clique no ícone para ver o cálculo.

Se o evento for uma probabilidade binária, as odds se referem à razão entre a probabilidade de sucesso (p) e a probabilidade de falha (1-p). Por exemplo, suponha que um determinado evento tem uma taxa de 90% de sucesso e de 10% de falha. Nesse caso, a probabilidade é calculada da seguinte forma:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

A probabilidade logarítmica é simplesmente o logaritmo das probabilidades. Por convenção, "logaritmo" refere-se a logaritmo natural, mas o logaritmo pode ser qualquer base maior que 1. Seguindo a convenção, a probabilidade logarítmica do nosso exemplo é:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

A função log-odds é o inverso da função sigmoide.

---

Memória de longo e curto prazo (LSTM, na sigla em inglês)

#seq

Um tipo de célula em uma rede neural recorrente usada para processar sequências de dados em aplicativos, como reconhecimento de escrita manual, tradução e legendagem de imagens. Os LSTMs abordam o problema de sumiço do gradiente que ocorre quando de treinamento de RNNs devido às longas sequências de dados ao manter o histórico em uma estado da memória interna com base em novas entradas e contextos das células anteriores na RNN.

LoRA

#language

#generativeAI

Abreviação de Adaptabilidade de classificação baixa.

perda

#fundamentals

Durante o treinamento de um modelo supervisionado, uma medida de quão distante a previsão de um modelo está do rótulo.

Uma função de perda calcula a perda.

agregador de perdas

Um tipo de algoritmo de machine learning que melhora o desempenho de um modelo combinando as previsões de vários modelos e usando essas previsões para fazer apenas uma. Como resultado, um agregador de perdas pode reduzir a variância das previsões e melhorar a precisão das previsões.

curva de perda

#fundamentals

Um gráfico de perda em função do número de iterações de treinamento. O gráfico a seguir mostra uma perda típica curva:

As curvas de perda ajudam a determinar quando o modelo convergência ou overfitting.

As curvas de perda podem plotar todos os tipos de perda a seguir:

• perda do treinamento
• perda de validação
• test loss

Consulte também a curva de generalização.

função de perda

#fundamentals

Durante treinamento ou testes, um função matemática que calcula o perda em um lote de exemplos. Uma função de perda retorna uma perda menor para modelos que fazem boas previsões do que para os que fazem ou previsões ruins.

Normalmente, o objetivo do treinamento é minimizar a perda de uma função de perda retorna.

Existem muitos tipos diferentes de funções de perda. Escolha a perda adequada para o tipo de modelo que você está criando. Exemplo:

• A perda _L (ou erro quadrático médio) é a função de perda da regressão linear.
• Log Loss é a função de perda regressão logística.

superfície de perda

Um gráfico de peso versus perda. Objetivos do gradiente descendente para encontrar os pesos para os quais a superfície de perda está no mínimo local.

Adaptabilidade de baixa classificação (LoRA)

#language

#generativeAI

Uma técnica eficiente em termos de parâmetros para ajuste fino que "congela" os pesos pré-treinados do modelo para que não possam mais ser modificados e, em seguida, insere um pequeno conjunto de pesos treináveis no modelo. Esse conjunto de pesos treináveis (também conhecidos como como "matrizes de atualização") é consideravelmente menor do que o modelo base e o que torna o treinamento muito mais rápido.

A LoRa oferece os seguintes benefícios:

• Melhora a qualidade das previsões de um modelo para o domínio em que a multa é aplicado.
• Ajusta mais rapidamente do que as técnicas que exigem o ajuste de todas as configurações parâmetros.
• Reduz o custo computacional da inferência ao ativar a veiculação simultânea de vários modelos especializados que compartilham o mesmo modelo de base.

Clique no ícone para saber mais sobre as matrizes de atualização no LoRA.

As matrizes de atualização usadas na LoRA consistem em matrizes de decomposição de classificação, que são derivadas do modelo base para ajudar a filtrar ruídos e concentrar o treinamento nos recursos mais importantes do modelo.

---

LSTM

#seq

Abreviação de Memória de curto prazo longa.

M

machine learning

#fundamentals

Um programa ou sistema que treina um modelo a partir de dados de entrada. O modelo treinado pode fazer previsões úteis com dados novos (nunca acessados) coletados da mesma distribuição usada para treinar o modelo.

O aprendizado de máquina também se refere ao campo de estudo relacionado a esses programas ou sistemas.

classe majoritária

#fundamentals

O rótulo mais comum conjunto de dados desequilibrado de classes. Por exemplo: dado um conjunto de dados que contenha 99% de rótulos negativos e 1% de rótulos positivos, o e rótulos negativos são a classe majoritária.

Contraste com a classe minoritária.

Processo de decisão de Markov (MDP, na sigla em inglês)

#rl

Um gráfico que representa o modelo de tomada de decisão em que as decisões (ou ações) são tomadas para navegar por uma sequência de afirma que o A propriedade Markov é válida. Em aprendizado por reforço, essas transições entre estados retornam uma recompensa numérica.

Propriedade de Markov

#rl

Uma propriedade de determinados ambientes, em que as transições de estado são totalmente determinadas por informações implícitas no estado atual e a ação do agente.

modelo de linguagem mascarada

#language

Um modelo de linguagem que prevê a probabilidade de tokens candidatos preencherem espaços em branco em uma sequência. Por exemplo, um modelo de linguagem mascarado pode calcular as probabilidades de palavras candidatas para substituir o sublinhado na seguinte frase:

O(a) ____ de chapéu veio de volta.

A documentação geralmente usa a string "MASK" em vez de sublinhado. Exemplo:

A "MÁSCARA" de gorjeta voltou.

A maioria dos modelos modernos de linguagem mascarada é bidirecional.

matplotlib

Biblioteca de plotagem 2D do Python de código aberto. O matplotlib ajuda a visualizar diferentes aspectos do machine learning.

fatoração de matrizes

#recsystems

Em matemática, um mecanismo para encontrar as matrizes cujo produto escalar se aproxima de matriz de destino.

Nos sistemas de recomendação, a matriz de destino muitas vezes mantém os usuários classificações de itens. Por exemplo, a matriz de destino para um sistema de recomendação de filmes pode ser semelhante a esta, em que os números positivos são classificações do usuário e 0 significa que o usuário não classificou o filme:

	Casablanca	A história de Filadélfia	Pantera Negra	Mulher-Maravilha	Ficção pulp
Usuário 1	5.0	3.0	0,0	2,0	0,0
Usuário 2	4.0	0,0	0,0	1,0	5.0
Usuário 3	3.0	1,0	4.0	5.0	0,0

O sistema de recomendação de filmes visa prever avaliações de usuários para filmes sem classificação. Por exemplo, o usuário 1 vai gostar de Pantera Negra?

Uma abordagem para sistemas de recomendação é usar a fatoração de matrizes para gerar as duas matrizes a seguir:

• Uma matriz de usuários, formada pelo número de usuários X os número de dimensões de embedding.
• Uma matriz de itens, formada pelo número de elementos de embedding dimensões X o número de itens.

Por exemplo, usar a fatoração de matrizes nos três usuários e cinco itens pode gerar a seguinte matriz de usuários e de itens:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

O produto escalar das matrizes de usuários e de itens gera uma recomendação matriz que contém não apenas as classificações originais de usuários, mas também as previsões para os filmes que cada usuário ainda não assistiu. Por exemplo, considere a avaliação do Usuário 1 de Casablanca, que foi 5,0. O produto de ponto correspondente a essa célula na matriz de recomendação deve ser de aproximadamente 5,0, e é:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Mais importante, o Usuário 1 vai gostar de Pantera Negra? O produto escalar correspondente à primeira linha e à terceira coluna gera uma classificação previsiva de 4,3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

A fatoração de matrizes geralmente gera uma matriz de usuários e uma matriz de itens que, juntas, são significativamente mais compactas do que a matriz de destino.

Erro médio absoluto (MAE)

A perda média por exemplo quando a perda L₁ é usada. Calcule o erro absoluto médio da seguinte maneira:

1. Calcule a perda de L₁ para um lote.
2. Divida a perda de L₁ pelo número de exemplos no lote.

Clique no ícone para ver o cálculo formal.

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

em que:

• $n$ é o número de exemplos.
• $y$ é o valor real do rótulo.
• $\hat{y}$ é o valor que o modelo prevê para $y$.

---

Por exemplo, considere o cálculo da perda de L₁ no seguinte lote de cinco exemplos:

Valor real do exemplo	Valor previsto do modelo	Perda (diferença entre o real e o previsto)
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = perda de L1

Portanto, a perda de L₁ é 8 e o número de exemplos é 5. Portanto, o erro médio absoluto é:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Contraste o Erro absoluto médio com o Erro quadrático médio e Raiz do erro quadrático médio.

Erro quadrático médio (EQM)

A perda média por exemplo quando a perda L₂ é usada. Calcule o Erro quadrático médio da seguinte forma:

1. Calcule a perda de L₂ para um lote.
2. Divida a perda de L₂ pelo número de exemplos no lote.

Clique no ícone para ver o cálculo formal.

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$ em que:

• $n$ é o número de exemplos.
• $y$ é o valor real do rótulo.
• $\hat{y}$ é a previsão do modelo para $y$.

---

Por exemplo, considere a perda no seguinte lote de cinco exemplos:

Valor real	Previsão do modelo	Perda	Perda quadrada
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			16 = perda L2

Portanto, o Erro quadrático médio é:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

O erro quadrático médio é um otimizador de treinamento conhecido, principalmente para regressão linear.

Contrastar o Erro quadrático médio com Erro médio absoluto e Raiz do erro quadrático médio.

O TensorFlow Playground usa o erro quadrático médio para calcular os valores de perda.

Clique no ícone para conferir mais detalhes sobre os valores atípicos.

Outliers influenciam muito o erro quadrático médio. Por exemplo, uma perda de 1 é uma perda quadrada de 1, mas uma perda de 3 é uma perda quadrada de 9. Na tabela anterior, o exemplo com uma perda de 3 representa cerca de 56% do Erro quadrático médio, enquanto cada um dos exemplos com uma perda de 1 representa apenas 6% do Erro quadrático médio.

Os valores atípicos não influenciam o erro médio absoluto tão fortemente quanto o erro quadrático médio. Por exemplo, uma perda de três contas representa apenas cerca de 38% do erro absoluto médio.

O corte é uma maneira de evitar problemas que os outliers prejudiquem a capacidade preditiva do modelo.

---

malha

#TensorFlow

#GoogleCloud

Na programação paralela de ML, um termo associado à atribuição dos dados e para chips de TPU e definindo como esses valores serão fragmentados ou replicados.

"Mesh" é um termo sobrecarregado que pode significar uma das seguintes opções:

• Um layout físico de chips de TPU.
• Uma construção lógica abstrata para mapear os dados e o modelo para a TPU chips

Em ambos os casos, uma malha é especificada como uma forma.

metaaprendizagem

#language

Um subconjunto de machine learning que descobre ou melhora um algoritmo de aprendizado. Um sistema de metaaprendizagem também pode tentar treinar um modelo para aprender rapidamente uma nova tarefa com uma pequena quantidade de dados ou com base na experiência adquirida em tarefas anteriores. Os algoritmos de metaaprendizado geralmente tentam alcançar o seguinte:

• Melhore ou aprenda recursos desenvolvidos manualmente (como um inicializador ou um otimizador).
• Seja mais eficiente em dados e computação.
• Melhorar a generalização.

O metaaprendizado está relacionado ao aprendizado few-shot.

métrica

#TensorFlow

Uma estatística importante para você.

Um objetivo é uma métrica que um sistema de aprendizado de máquina tenta otimizar.

API Metrics (tf.metrics)

Uma API do TensorFlow para avaliar modelos. Por exemplo, tf.metrics.accuracy determina com que frequência as previsões de um modelo correspondem aos rótulos.

minilote

#fundamentals

Pequeno subconjunto de um lote selecionado aleatoriamente e processado em um iteration. O tamanho do lote de um minilote é geralmente entre 10 e 1.000 exemplos.

Por exemplo, suponha que todo o conjunto de treinamento (o lote completo) consista de 1.000 exemplos. Suponha também que você defina o tamanho do lote de cada minilote como 20. Portanto, cada iteração determina a perda em 20 aleatórias dos 1.000 exemplos e, em seguida, ajusta os pesos e os vieses de acordo.

É muito mais eficiente calcular a perda em um minilote do que a perda em todos os exemplos do lote completo.

gradiente descendente estocástico com minilotes

Um algoritmo de gradiente descendente que usa minilotes. Em outras palavras, o gradiente descendente estocástico com minilotes estima o gradiente com base em um pequeno subconjunto dos dados de treinamento. O gradiente descendente estocástico regular usa uma minilote de tamanho 1.

perda minimax

Uma função de perda para redes generativas adversas, com base na entropia cruzada entre a distribuição de dados gerados e dados reais.

A perda de Minimax é usada primeiro artigo que descreveu redes adversárias generativas.

classe minoritária

#fundamentals

O rótulo menos comum conjunto de dados desequilibrado de classes. Por exemplo: dado um conjunto de dados que contenha 99% de rótulos negativos e 1% de rótulos positivos, o rótulos positivos são a classe minoritária.

Contraste com a classe de maioria.

Clique no ícone para ver outras notas.

Um conjunto de treinamento com um milhão de exemplos parece impressionante. No entanto, se a classe minoritária estiver mal representada, até mesmo um conjunto de treinamento muito grande pode ser insuficiente. Menos foco com base no número total de exemplos no conjunto de dados e muito mais no número de na classe minoritária.

Se o conjunto de dados não tiver exemplos suficientes de classes minoritárias, considere usar amostragem reduzida (a definição na segunda lista de marcadores) para complementar a classe minoritária.

---

mistura de especialistas

#language

#generativeAI

Um esquema para aumentar a eficiência da rede neural ao usando apenas um subconjunto de seus parâmetros (conhecido como um especialista) para processar um determinado token ou exemplo de entrada. Uma rede de restrição encaminha cada token de entrada ou exemplo para o especialista adequado.

Para mais detalhes, consulte um destes documentos:

• Redes neurais escandalosamente grandes: a camada de mistura de especialistas com portão pouco aberto
• Mixture-of-Experts com roteamento de escolha de especialista

ML

Abreviação de machine learning.

MMIT

#language

#image

#generativeAI

Abreviação de multimodal instruction-tuned.

MNIST

#image

Um conjunto de dados de domínio público compilado por LeCun, Cortes e Burges contendo 60.000 imagens, cada uma mostrando como um humano escreveu manualmente um dígito específico de 0 a 9. Cada imagem é armazenada como uma matriz 28x28 de números inteiros, em que cada número inteiro é um valor em escala de cinza entre 0 e 255, inclusive.

O MNIST é um conjunto de dados canônico para machine learning, frequentemente usado para testar novas abordagens de machine learning. Para mais detalhes, consulte O banco de dados MNIST de dígitos manuscritos.

modality

#language

Uma categoria de dados de alto nível. Por exemplo, números, texto, imagens, vídeo e de áudio são cinco modalidades diferentes.

modelo

#fundamentals

Em geral, qualquer construção matemática que processe dados de entrada e retorne saída. Em outras palavras, um modelo é o conjunto de parâmetros e estrutura necessário para que um sistema faça previsões. No machine learning supervisionado, um modelo usa um exemplo como entrada e infere uma prediction será exibida. No aprendizado de máquina supervisionado, os modelos são um pouco diferentes. Exemplo:

• Um modelo de regressão linear consiste em um conjunto de pesos e um viés.
• Um modelo de rede neural consiste em:
  • Um conjunto de camadas escondidas, cada uma contendo uma ou mais neurônios.
  • Os pesos e o viés associados a cada neurônio.
• Um modelo de árvore de decisão consiste em:
  • A forma da árvore; ou seja, o padrão em que as condições e as folhas estão conectadas.
  • As condições e as folhas.

É possível salvar, restaurar ou fazer cópias de um modelo.

O aprendizado de máquina não supervisionado também gera modelos, normalmente uma função que pode mapear um exemplo de entrada para o cluster mais adequado.

Clique no ícone para comparar funções algébricas e de programação com modelos de ML.

Uma função algébrica como a seguinte é um modelo:

  f(x, y) = 3x -5xy + y2 + 17

A função anterior mapeia os valores de entrada (x e y) para a saída.

Da mesma forma, uma função de programação como esta também é um modelo:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

Um autor da chamada transmite argumentos para a função Python anterior, e a função Python gera saída (pela instrução return).

Embora uma rede neural profunda tenha uma estrutura matemática muito diferente de uma função algébrica ou de programação, ela ainda recebe entrada (um exemplo) e retorna a saída (uma previsão).

Um programador humano codifica uma função de programação manualmente. Por outro lado, um modelo de machine learning aprende gradualmente os parâmetros ideais durante o treinamento automatizado.

---

capacidade do modelo

a complexidade dos problemas que um modelo pode aprender. Quanto mais complexa a problemas que um modelo pode aprender, maior a capacidade dele. A capacidade de um modelo normalmente aumenta com o número de parâmetros do modelo. Para uma definição formal da capacidade do classificador, consulte Dimensão de VC.

modelo em cascata

#generativeAI

Um sistema que escolhe o modelo ideal para uma inferência específica consulta.

Imagine um grupo de modelos, variando de muito grande (muitos parâmetros) a muito menor (muito menos parâmetros). Modelos muito grandes consomem mais recursos computacionais no momento da inferência do que modelos menores. No entanto, modelos muito grandes podem inferir solicitações mais complexas do que modelos menores. A cascata de modelos determina a complexidade da consulta de inferência e escolhe o modelo apropriado para realizar a inferência. A principal motivação para a cascata de modelos é reduzir os custos de inferência, geralmente selecionando modelos menores e apenas selecionando um modelo maior para consultas mais complexas.

Imagine que um modelo pequeno seja executado em um smartphone e uma versão maior desse modelo é executado em um servidor remoto. Uma boa cascata de modelos reduz o custo e a latência, permitindo que o modelo menor processe solicitações simples e chamando apenas o modelo remoto para processar solicitações complexas.

Consulte também model router.

paralelismo de modelos

#language

Uma maneira de dimensionar o treinamento ou a inferência que coloca diferentes partes de um modelo em diferentes dispositivos. Paralelismo de modelos permite modelos que são grandes demais para caber em um único dispositivo.

Para implementar o paralelismo de modelos, um sistema normalmente faz o seguinte:

1. Fragmenta (divide) o modelo em partes menores.
2. distribui o treinamento dessas partes menores em vários processadores. Cada processador treina a própria parte do modelo.
3. Combina os resultados para criar um único modelo.

O paralelismo de modelos atrasa o treinamento.

Consulte também paralelismo de dados.

modelo de roteador

#generativeAI

O algoritmo que determina o modelo ideal para inferência no modelo em cascata. Um roteador de modelo costuma ser um modelo de machine learning que e aprende gradualmente a escolher o melhor modelo para uma determinada entrada. No entanto, um roteador de modelo às vezes pode ser um algoritmo mais simples, sem machine learning.

treinamento de modelo

O processo de determinação do melhor modelo.

Momentum

Um algoritmo de gradiente descendente sofisticado em que uma etapa de aprendizado depende não apenas da derivada na etapa atual, mas também das derivadas das etapas imediatamente anteriores. O momento envolve o cálculo de uma a média móvel exponencial dos gradientes ao longo do tempo, ao momentum na física. Às vezes, o Momentum impede que o aprendizado fique preso em mínimos locais.

MOE

#language

#image

#generativeAI

Abreviação de mistura de especialistas.

classificação multiclasse

#fundamentals

No aprendizado supervisionado, um problema de classificação em que o conjunto de dados contém mais de duas classes de rótulos. Por exemplo, os rótulos no conjunto de dados da Íris precisam ser uma das três classes a seguir:

• Íris setosa
• Iris virginica
• Iris versicolor

Um modelo treinado com o conjunto de dados Iris que prevê o tipo Íris em novos exemplos é a classificação multiclasse.

Em contrapartida, problemas de classificação que distinguem exatamente dois são modelos de classificação binária. Por exemplo, um modelo de e-mail que prevê spam ou não spam é um modelo de classificação binária.

Em problemas de agrupamento, a classificação multiclasse se refere a mais de dois clusters.

Regressão logística multiclasse

Usar a regressão logística na Problemas de classificação multiclasse.

autoatenção multicabeça

#language

Uma extensão da autoatenção que aplica mecanismo de autoatenção várias vezes para cada posição na sequência de entrada.

Os Transformers introduziram a autoatenção de várias cabeças.

modelo multimodal

#language

Um modelo em que as entradas e/ou saídas incluem mais de uma modalidade. Por exemplo, considere um modelo que usa uma imagem e uma legenda de texto (duas modalidades) como recursos, e gera uma pontuação que indica a adequação da legenda de texto à imagem. Portanto, as entradas desse modelo são multimodais, e a saída é unimodal.

ajustado por instrução multimodal

#language

Um modelo ajustado por instruções que possa processar entradas além do texto, como imagens, vídeo e áudio.

classificação multinomial

Sinônimo de classificação multiclasse.

regressão multinomial

Sinônimo de Regressão logística multiclasse.

multitarefa

Uma técnica de machine learning em que um único modelo para realizar várias tarefas.

Os modelos multitarefa são criados com base em dados adequados para cada uma das diferentes tarefas. Isso permite que o modelo aprenda a compartilhar informações entre as tarefas, o que ajuda o modelo a aprender de forma mais eficaz.

Um modelo treinado para várias tarefas geralmente tem habilidades de generalização aprimoradas e podem ser mais robustos para lidar com diferentes tipos de dados.

N

Armadilha do NaN

Quando um número no modelo se torna um NaN durante o treinamento, o que faz com que muitos ou todos os outros números no modelo se tornem NaN.

NaN é uma abreviação de Not a Number.

processamento de linguagem natural

#language

Determinar as intenções de um usuário com base no que ele digitou ou disse. Por exemplo, um mecanismo de pesquisa usa processamento de linguagem natural para determinam o que o usuário está pesquisando com base no que ele digitou ou disse.

classe negativa

#fundamentals

Na classificação binária, uma classe é chamada de positiva e a outra é chamada de negativa. A classe positiva é a coisa ou o evento que o modelo está testando e a classe negativa é a outra possibilidade. Exemplo:

• A classe negativa em um exame médico pode ser "não tumor".
• A classe negativa em um classificador de e-mails pode ser "não spam".

Contraste com a classe positiva.

amostragem negativa

Sinônimo de amostragem de candidatos.

Pesquisa de arquitetura neural (NAS)

Uma técnica para projetar automaticamente a arquitetura de um rede neural. Os algoritmos de NAS podem reduzir a quantidade de tempo e recursos necessários para treinar uma rede neural.

O NAS geralmente usa:

• Um espaço de pesquisa, que é um conjunto de arquiteturas possíveis.
• Uma função de condicionamento físico, que é uma medida do desempenho de um determinado arquitetura de dados é executada em uma determinada tarefa.

Os algoritmos NAS geralmente começam com um pequeno conjunto de arquiteturas possíveis expandir gradualmente o espaço de pesquisa à medida que o algoritmo aprende mais sobre o que do Google Cloud são eficazes. A função de condicionamento físico normalmente se baseia no desempenho da arquitetura em um conjunto de treinamento, e o algoritmo é normalmente são treinados usando uma de aprendizado por reforço.

Os algoritmos NAS se mostraram eficazes na localização de alto desempenho arquiteturas de imagem para várias tarefas, incluindo classificação, classificação de texto, e tradução automática.

do feedforward

#fundamentals

Um modelo contendo pelo menos uma camada oculta. Uma rede neural profunda é um tipo de rede neural que contém mais de uma camada escondida. Por exemplo, o diagrama a seguir mostra uma rede neural profunda com duas camadas escondidas.

Cada neurônio de uma rede neural se conecta a todos os nós da próxima camada. Por exemplo, no diagrama anterior, observe que cada um dos três neurônios na primeira camada escondida se conectam separadamente aos dois neurônios na segunda camada escondida.

As redes neurais implementadas em computadores às vezes são chamadas redes neurais artificiais para diferenciá-las das redes neurais encontradas em cérebros e outros sistemas nervosos.

Algumas redes neurais podem imitar relações não lineares extremamente complexas entre diferentes atributos e o rótulo.

Consulte também rede neural convolucional e rede neural recorrente.

neurônio

#fundamentals

Em machine learning, uma unidade distinta em uma camada escondida de uma rede neural. Cada neurônio faz o seguinte: ação em duas etapas:

1. Calcula a soma ponderada dos valores de entrada multiplicada pelos pesos correspondentes.
2. Transmite a soma ponderada como entrada para uma função de ativação.

Um neurônio na primeira camada escondida aceita entradas dos valores de atributo na camada de entrada. Um neurônio em qualquer camada escondida além O primeiro aceita entradas dos neurônios da camada escondida anterior. Por exemplo, um neurônio na segunda camada escondida aceita entradas do na primeira camada escondida.

A ilustração a seguir destaca dois neurônios e as respectivas entradas.

Um neurônio de uma rede neural imita o comportamento dos neurônios no cérebro e outras partes do sistema nervoso.

N-grama

#seq

#language

Uma sequência ordenada de N palavras. Por exemplo, truly madly é um bigrama. Devido ao a ordem for relevante, madly true é um 2-grama diferente de truly madly.

N	Nome(s) para esse tipo de n-grama	Exemplos
2	bigrama ou 2 gramas	to go, go to, eat lunch, eat dinner
3	trigrama ou 3 gramas	comeu demais, três ratos cegos, o pedágio
4	4 gramas	caminhar no parque, poeira ao vento, o menino comeu lentilhas

Muitos modelos de processamento de linguagem natural dependem de N-gramas para prever a próxima palavra que o usuário vai digitar ou dizer. Por exemplo, suponha que um usuário digitou three blind. Um modelo PLN baseado em trigramas provavelmente vai prever que o usuário vai digitar mice em seguida.

Compare os n-gramas com a bolsa de palavras, que são conjuntos não ordenados de palavras.

PLN

#language

Abreviação de linguagem natural compreensão.

nó (árvore de decisão)

#df

Em uma árvore de decisão, qualquer condition ou leaf.

nó (rede neural)

#fundamentals

Um neurônio em uma camada escondida.

nó (gráfico do TensorFlow)

#TensorFlow

Uma operação em um gráfico do TensorFlow.

ruído

Em termos gerais, qualquer coisa que oculte o sinal em um conjunto de dados. Ruído podem ser introduzidas nos dados de várias maneiras. Exemplo:

• Os avaliadores humanos cometem erros na rotulagem.
• Pessoas e instrumentos registram ou omitem valores de recursos incorretamente.

condição não binária

#df

Uma condição com mais de dois resultados possíveis. Por exemplo, a seguinte condição não binária contém três possíveis resultados:

não linear

#fundamentals

uma relação entre duas ou mais variáveis que não podem ser representadas exclusivamente. com adição e multiplicação. Uma relação linear pode ser representado como uma linha, uma relação nonlinear não pode ser representada como uma linha. Por exemplo, considere dois modelos que estão relacionados um único atributo a um único rótulo. O modelo à esquerda é linear, e o da direita é não linear:

viés de não resposta

#fairness

Consulte o viés de seleção.

não estacionariedade

#fundamentals

Um recurso cujos valores mudam em uma ou mais dimensões, normalmente tempo. Por exemplo, considere os seguintes exemplos de não estacionariedades:

• O número de maiôs vendidos em uma loja específica varia de acordo com a estação.
• A quantidade de uma fruta específica colhida em uma região específica é zero durante grande parte do ano, mas é grande por um breve período.
• Devido às mudanças climáticas, as temperaturas médias anuais estão mudando.

Contraste com a estabilidade.

normalização

#fundamentals

De modo geral, o processo de conversão do intervalo real de valores de uma variável em um intervalo padrão de valores, como:

• -1 a +1
• 0 a 1
• Valores Z (aproximadamente -3 a +3)

Por exemplo, suponha que o intervalo real de valores de um determinado recurso seja 800 a 2.400. Como parte da engenharia de recursos, é possível normalizar os valores reais para um intervalo padrão, como -1 a +1.

A normalização é uma tarefa comum engenharia de atributos. Os modelos geralmente são treinados mais rapidamente (e produzem previsões melhores) quando cada atributo numérico no vetor de atributos tem aproximadamente o mesmo intervalo.

Consulte a seção Como trabalhar com dados numéricos módulo do "Machine Learning Crash Course" para mais detalhes. Consulte também Normalização de Z-score.

detecção de novidades

O processo de determinação se um novo exemplo (novo) vem da mesma distribuição do conjunto de treinamento. Em outras palavras, depois de treinar no conjunto de treinamento, a detecção de novidades determina se um exemplo novo (durante a inferência ou durante o treinamento adicional) é um outlier.

Contraste com a detecção de outliers.

dados numéricos

#fundamentals

Recursos representados como números inteiros ou reais. Por exemplo, um modelo de avaliação de casas provavelmente representa o tamanho de uma casa (em pés quadrados ou metros quadrados) como dados numéricos. Representação atributo como dados numéricos indica que os valores do atributo têm uma relação matemática com o rótulo Ou seja, o número de metros quadrados em uma casa provavelmente tem algum relação matemática com o valor da casa.

Nem todos os dados inteiros devem ser representados como dados numéricos. Por exemplo, códigos postais em algumas partes do mundo são inteiros. No entanto, códigos postais inteiros não podem ser representados como dados numéricos em modelos. Isso ocorre porque um código postal de 20000 não é duas vezes (ou metade) mais potente que um código postal de 10000. Além disso, embora diferentes códigos postais corrijam a diferentes valores imobiliários, não podemos presumir que valores imobiliários no código postal 20.000 é duas vezes mais valioso do que valores imobiliários no código postal 10000. Os códigos postais precisam ser representados como dados categóricos.

Os recursos numéricos às vezes são chamados de recursos contínuos.

NumPy

Um objeto biblioteca matemática de código aberto que fornece operações de matriz eficientes no Python. O pandas é criado com base em numPy.

O

objetivo

Uma métrica que seu algoritmo está tentando otimizar.

função objetiva

A fórmula matemática ou métrica que um modelo pretende otimizar. Por exemplo, a função objetivo A regressão linear geralmente é Perda quadrática média. Portanto, ao treinar um modelo de regressão linear, o treinamento visa minimizar a perda quadrática média.

Em alguns casos, o objetivo é maximizar a função objetiva. Por exemplo, se a função objetiva é acurácia, a meta é para maximizar a precisão.

Consulte também loss.

condição oblíqua

#df

Em uma árvore de decisão, uma condição que envolve mais de um recurso. Por exemplo, se altura e largura forem recursos, a condição oblíqua será a seguinte:

  height > width

Compare com a condição alinhada ao eixo.

off-line

#fundamentals

Sinônimo de estática.

inferência off-line

#fundamentals

O processo de um modelo que gera um lote de previsões e, em seguida, armazenar em cache (salvar) essas previsões. Os apps podem acessar a previsão inferida do cache em vez de executar o modelo novamente.

Por exemplo, imagine um modelo que gera previsões meteorológicas locais (previsões) uma vez a cada quatro horas. Após cada execução do modelo, o sistema armazena em cache todas as previsões do tempo locais. Os apps de clima recuperam a previsão do tempo do cache.

A inferência off-line também é chamada de inferência estática.

Compare com a inferência on-line.

codificação one-hot

#fundamentals

Representação de dados categóricos como um vetor em que:

• Um elemento é definido como 1.
• Todos os outros elementos são definidos como 0.

A codificação simples é comumente usada para representar strings ou identificadores que têm um conjunto finito de valores possíveis. Por exemplo, suponha que um recurso categórico chamado Scandinavia tenha cinco valores possíveis:

• "Dinamarca"
• "Suécia"
• "Noruega"
• "Finlândia"
• "Islândia"

A codificação One-hot pode representar cada um dos cinco valores da seguinte maneira:

país	Vetor
"Dinamarca"	1	0	0	0	0
"Suécia"	0	1	0	0	0
"Noruega"	0	0	1	0	0
"Finlândia"	0	0	0	1	0
"Islândia"	0	0	0	0	1

Graças à codificação one-hot, um modelo pode aprender conexões diferentes com base em cada um dos cinco países.

A representação de um atributo como dados numéricos é uma alternativa à codificação one-hot. Infelizmente, representar os países escandinavos numericamente não é uma boa escolha. Por exemplo: considere a seguinte representação numérica:

• "Dinamarca" é 0
• "Suécia" é 1
• "Noruega" é 2
• "Finlândia" é 3
• "Islândia" é 4

Com a codificação numérica, um modelo interpreta os números brutos de maneira matemática e tenta treinar com esses números. No entanto, a Islândia não é duas vezes maior (ou metade) de algo como a Noruega, então o modelo chegaria a algumas conclusões estranhas.

aprendizado one-shot

Uma abordagem de aprendizado de máquina, usada com frequência para classificação de objetos, projetada para aprender classificadores eficazes com um único exemplo de treinamento.

Consulte também aprendizado de poucas imagens e aprendizado zero-shot.

comando one-shot

#language

#generativeAI

Um comando que contém um exemplo demonstrando como o modelo de linguagem grande deve responder. Por exemplo: o comando a seguir contém um exemplo que mostra um modelo de linguagem grande ele deve responder a uma consulta.

Partes de uma instrução	Observações
Qual é a moeda oficial do país especificado?	A pergunta que você quer que o LLM responda.
França: EUR	Um exemplo.
Índia:	A consulta real.

Compare os comandos one-shot com os seguintes termos:

• Comandos zero-shot
• comandos few-shot

one-vs.-all

#fundamentals

Dado um problema de classificação com N classes, uma solução que consiste em N classificadores binários separados, um para cada resultado possível. Por exemplo, considerando um modelo que classifica exemplos como animal, vegetal ou mineral, uma solução única forneceria três classificadores binários separados:

• animal versus não animal
• vegetal versus não vegetal
• mineral versus não mineral

on-line

#fundamentals

Sinônimo de dynamic.

inferência on-line

#fundamentals

Gerar previsões sob demanda. Por exemplo: suponha que um aplicativo transmita uma entrada para um modelo e emita uma solicitação para um previsão. Um sistema que usa a inferência on-line responde à solicitação executando o modelo (e retornando a previsão para o app).

Compare com a inferência off-line.

operação (op)

#TensorFlow

No TensorFlow, qualquer procedimento que crie, manipula ou destrua um tensor. Para exemplo, a multiplicação de matrizes é uma operação que toma dois tensores entrada e gera um tensor como saída.

Optax

Uma biblioteca de processamento e otimização de gradiente para JAX. O Optax facilita a pesquisa fornecendo elementos básicos que podem ser recombinados de maneiras personalizadas para otimizar modelos paramétricos, como redes neurais profundas. Outras metas incluem:

• Fornecer implementações legíveis, bem testadas e eficientes de componentes principais.
• Melhora a produtividade, permitindo combinar ingredientes de baixo nível em otimizadores personalizados (ou outros componentes de processamento de gradiente).
• Acelerar a adoção de novas ideias, facilitando a contribuição de qualquer pessoa.

optimizer

Uma implementação específica do gradiente descendente. algoritmo. Otimizadores populares incluem:

• AdaGrad, que significa "descendente ADAptive GRADient".
• Adam, que significa "ADAptive with Momentum".

viés de homogeneidade externa ao grupo

#fairness

Tendência de ver os membros de fora do grupo mais parecidos do que os membros de grupo ao comparar atitudes, valores, traços de personalidade e outros e as características determinantes. Em grupo se refere às pessoas com quem você interage regularmente. out-group: refere-se a pessoas com quem você não interage regularmente. Se você criar um conjunto de dados pedindo às pessoas para fornecer atributos sobre grupos externos, esses atributos podem ser menos sutis e mais estereotipados do que os atributos que os participantes listam para pessoas no grupo interno.

Por exemplo, os liliputianos podem descrever as casas de outros liliputianos em detalhes, citando pequenas diferenças em estilos arquitetônicos, janelas, portas e tamanhos. No entanto, os mesmos liliputianos podem simplesmente declarar que todos os brobdingnagianos vivem em casas idênticas.

O viés de homogeneidade externa ao grupo é uma forma viés de atribuição a grupos.

Consulte também o viés de grupo.

detecção de outliers

O processo de identificar valores atípicos em um conjunto de treinamento.

Mas não a detecção de novidades.

as exceções

Valores distantes da maioria dos outros valores. No machine learning, qualquer um seguintes são outliers:

• Dados de entrada com valores que ultrapassam aproximadamente três desvios padrão da média.
• Ponderações com valores absolutos altos.
• Valores previstos relativamente distantes dos valores reais.

Por exemplo, suponha que widget-price seja um recurso de um determinado modelo. Suponha que a média de widget-price seja 7 euros com um desvio padrão de 1 euro. Exemplos com um widget-price de 12 ou 2 euros seriam considerados valores discrepantes porque cada um desses preços está cinco desvios padrão da média.

Os valores discrepantes geralmente são causados por erros de digitação ou outros erros de entrada. Em outros casos, outliers não são erros; afinal, considera a cinco desvios padrão da média são raras, mas quase impossíveis.

Os valores atípicos geralmente causam problemas no treinamento do modelo. Recorte é uma maneira de gerenciar valores discrepantes.

avaliação pronta para uso (avaliação OOB)

#df

Mecanismo para avaliar a qualidade de uma floresta de decisão testando cada árvore de decisão em relação ao exemplos não usados durante treinamento dessa árvore de decisão. Por exemplo, no diagrama a seguir, observe que o sistema treina cada árvore de decisão em cerca de dois terços dos exemplos e, em seguida, avalia o terço restante dos exemplos.

A avaliação fora da embalagem é uma aproximação computacionalmente eficiente e conservadora do mecanismo de validação cruzada. Na validação cruzada, um modelo é treinado para cada rodada de validação cruzada. Por exemplo, 10 modelos são treinados em uma validação cruzada de 10 vezes. Com a avaliação OOB, um único modelo é treinado. Como o bagging retém alguns dados de cada árvore durante o treinamento, a avaliação OOB pode usar esses dados para aproximar a validação cruzada.

camada final

#fundamentals

A camada "final" de uma rede neural. A camada final contém a previsão.

A ilustração a seguir mostra uma pequena rede neural profunda com uma camada de entrada, duas camadas ocultas e uma camada de saída:

overfitting

#fundamentals

Criar um modelo que corresponda ao dados de treinamento tão próximos que o modelo não consegue fazer previsões corretas sobre novos dados.

A regularização pode reduzir o ajuste excessivo. O treinamento em um conjunto de treinamento grande e diversificado também pode reduzir o overfitting.

Clique no ícone para ver mais observações.

O overfitting é como seguir rigorosamente conselhos apenas dos seus professor Você provavelmente terá sucesso na aula daquele professor, mas podem “overfitting” com as ideias desse professor e fracassar em outras classes. Seguir os conselhos de vários professores permitirá que você e se adaptar melhor a novas situações.

---

superamostragem

Reutilizar os exemplos de uma classe minoritária em um conjunto de dados não balanceado para criar um conjunto de treinamento mais equilibrado.

Por exemplo, considere um problema de classificação binária em que a proporção da classe majoritária para a minoritária é 5.000:1. Se o conjunto de dados tiver um milhão de exemplos, o conjunto de dados contém apenas cerca de 200 exemplos da classe minoritária, que pode há poucos exemplos para um treinamento eficaz. Para superar essa deficiência, você pode fazer uma amostragem excessiva (reutilização) desses 200 exemplos várias vezes, possivelmente gerando exemplos suficientes para um treinamento útil.

Você precisa ter cuidado com o overfitting ao a sobreamostragem.

Contraste com subamostragem.

P

dados compactados

Uma abordagem para armazenar dados com mais eficiência.

Os dados empacotados armazenam dados usando um formato compactado ou em de alguma outra forma que permita o acesso mais eficiente. Os dados empacotados minimizam a quantidade de memória e computação necessárias para acesso, o que leva a um treinamento mais rápido e uma inferência de modelo mais eficiente.

Os dados empacotados geralmente são usados com outras técnicas, como aumento de dados e regularização, melhorando ainda mais o desempenho do modelos.

pandas

#fundamentals

Uma API de análise de dados orientada por colunas criada com base em numpy. Em vários frameworks de machine learning, incluindo TensorFlow, oferecem suporte a estruturas de dados pandas como entradas. Consulte a documentação do pandas para mais detalhes.

parâmetro

#fundamentals

Os pesos e vieses que um modelo aprende durante treinamento. Por exemplo, em um modelo de regressão linear, os parâmetros consistem na viés (b) e em todos os pesos (w₁, w₂ e assim por diante) na seguinte fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Por outro lado, hiperparâmetros são os valores que você (ou um serviço de ajuste de hiperparâmetros) fornece ao modelo. Por exemplo, a taxa de aprendizado é um hiperparâmetro.

ajuste de eficiência de parâmetros

#language

#generativeAI

Um conjunto de técnicas para ajustar um grande modelo de linguagem pré-treinado (PLM) com mais eficiência do que o ajuste completo. Eficiente em parâmetros O ajuste normalmente ajusta muito menos parâmetros do que refinamento, mas geralmente produz um modelo de linguagem grande que executa tão bem (ou quase tão bem) quanto um modelo de linguagem grande criado ajustes.

Compare o ajuste da eficiência dos parâmetros com:

• ajuste de instruções
• Ajuste de comando

O ajuste com eficiência de parâmetros também é conhecido como ajuste fino com eficiência de parâmetros.

Servidor de parâmetros (PS)

#TensorFlow

Um job que rastreia os parâmetros de um modelo em uma configuração distribuída.

atualização de parâmetro

A operação de ajuste dos parâmetros de um modelo durante o treinamento, normalmente em uma única iteração de gradiente descendente.

derivada parcial

Uma derivada em que todas as variáveis, exceto uma, são consideradas constantes. Por exemplo, a derivada parcial de f(x, y) em relação a x é a derivada de f considerada como uma função de x (ou seja, mantendo y constante). A derivada parcial de f em relação a x se concentra apenas em como x está mudando e ignora todas as outras variáveis na equação.

viés de participação

#fairness

Sinônimo de viés de não resposta. Consulte o viés de seleção.

estratégia de particionamento

O algoritmo em que as variáveis são divididas entre servidores de parâmetros.

Pax

Um framework de programação projetado para treinar redes neurais de modelos em grande escala, tão grandes que abrangem vários chips de TPU acelerador fatias ou pods.

O Pax é baseado no Flax, que é baseado no JAX.

Perceptron

Um sistema (hardware ou software) que recebe um ou mais valores de entrada, executa uma função na soma ponderada das entradas e calcula um único valor de saída. Em machine learning, a função normalmente não é linear, como ReLU, sigmoide ou tanh. Por exemplo, o perceptron a seguir depende da função sigmoide para processar três valores de entrada:

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

Na ilustração a seguir, o perceptron recebe três entradas, cada uma modificada por um peso antes de entrar no perceptron:

Os perceptrons são os neurônios nas redes neurais.

desempenho

Termo sobrecarregado com os seguintes significados:

• O significado padrão na engenharia de software. Ou seja, com que rapidez (ou eficiência) esse software é executado?
• O significado no aprendizado de máquina. Aqui, o desempenho responde seguinte pergunta: Qual é o nível de precisão deste modelo? Ou seja, qual é a qualidade das previsões do modelo?

importâncias das variáveis de permutação

#df

Um tipo de importância da variável que avalia o aumento no erro de previsão de um modelo depois de trocar os valores do atributo. A importância da variável de troca é um fator métrica.

perplexidade

Uma medida de como um modelo está realizando a tarefa. Por exemplo, suponha que sua tarefa seja ler as primeiras letras de uma palavra que um usuário digita em um teclado de telefone e oferecer uma lista de possíveis as palavras de conclusão. A perplexidade, P, para essa tarefa é aproximadamente o número de palpites que você precisa oferecer para que a lista contenha a palavra que o usuário está tentando digitar.

A perplexidade está relacionada à entropia cruzada da seguinte maneira:

$$P= 2^{-\text{cross entropy}}$$

pipeline

A infraestrutura em torno de um algoritmo de machine learning. Um pipeline inclui coletar os dados, colocá-los em arquivos de dados de treinamento, treinar um ou mais modelos e exportá-los para produção.

pipeline

#language

Uma forma de paralelismo de modelo em que o processamento de um modelo é dividido em etapas consecutivas e cada etapa é executada em um dispositivo diferente. Enquanto uma etapa estiver processando um lote, a fase anterior pode funcionar no próximo lote.

Consulte também treinamento em etapas.

pjit

Uma função JAX que divide o código para execução em vários ícones de acelerador. O usuário passa uma função para o pjit, que retorna uma função que tem a semântica equivalente, mas é compilada em um cálculo XLA executado em vários dispositivos (como GPUs ou núcleos de TPU).

O pjit permite que os usuários divizem cálculos sem refazê-los usando o particionador SPMD.

A partir de março de 2023, o pjit foi mesclado com o jit. Consulte Matrizes distribuídas e paralelização automática para mais detalhes.

PLM

#language

#generativeAI

Abreviação de modelo de linguagem pré-treinado.

pmap

Uma função JAX que executa cópias de uma função de entrada em vários dispositivos de hardware subjacentes (CPUs, GPUs ou TPUs), com diferentes valores de entrada. O pmap depende do SPMD.

política

#rl

No aprendizado por reforço, o mapeamento probabilístico de um agente de estados para ações.

pool

#image

Redução de uma matriz (ou matrizes) criada por uma camada convolucional anterior para uma matriz menor. O agrupamento geralmente envolve tomar o valor máximo ou médio da área mista. Por exemplo, suponha que tenhamos a seguinte matriz 3x3:

Uma operação de pooling, assim como uma operação convolucional, divide esse em frações e desliza a operação convolucional strides. Por exemplo, suponha que a operação de agregação divida a matriz de convolução em fatias 2x2 com um passo de 1x1. Como ilustrado no diagrama a seguir, ocorrem quatro operações de pool. Imagine que cada operação de pool escolhe o valor máximo da quatro nessa fração:

A agregação ajuda a aplicar a invariância de tradução na matriz de entrada.

O agrupamento para aplicativos de visão é conhecido mais formalmente como agrupamento espacial. Os aplicativos de séries temporais geralmente se referem ao agrupamento como agrupamento temporal. Informalmente, o agrupamento é chamado de subamostragem ou redução de amostra.

codificação posicional

#language

Uma técnica para adicionar informações sobre a posição de um token em uma sequência para o embedding do token. Os modelos Transformer usam a codificação de posição para entender melhor a relação entre diferentes partes da sequência.

Uma implementação comum da codificação posicional usa uma função senoidal. (Especificamente, a frequência e a amplitude da função senoidal são determinada pela posição do token na sequência.) Essa técnica permite que um modelo de transformador aprenda a atender a diferentes partes da com base em sua posição.

classe positiva

#fundamentals

A classe que você está testando.

Por exemplo, a classe positiva em um modelo de câncer pode ser “tumor”. A classe positiva em um classificador de e-mail pode ser "spam".

Compare com a classe negativa.

Clique no ícone para ver outras notas.

O termo classe positiva pode ser confuso porque o resultado "positivo" de muitos testes geralmente é um resultado indesejado. Por exemplo, a classe positiva em muitos testes médicos corresponde a tumores ou doenças. Em geral, você quer que um médico diga: "Parabéns! Os resultados do seu teste foram negativos." Independentemente disso, a classe positiva é o evento que o teste está procurando encontrar.

Você está testando simultaneamente os pontos positivos e negativos classes.

---

pós-processamento

#fairness

#fundamentals

Ajustar a saída de um modelo após a execução dele. O pós-processamento pode ser usado para impor restrições de imparcialidade sem modificar os próprios modelos.

Por exemplo, é possível aplicar o pós-processamento a um classificador binário definindo um limite de classificação para que a igualdade de oportunidades seja mantida para algum atributo, verificando se a taxa de verdadeiros positivos é a mesma para todos os valores desse atributo.

AUC PR (área sob a curva PR)

Área sob a curva de precisão-recall interpolada, obtida ao representar (recall, precisão) pontos para diferentes valores do limite de classificação. Dependendo de como ele é calculado, o AUC de PR pode ser equivalente à precisão média do modelo.

Praxis

Uma biblioteca de ML principal e de alto desempenho do Pax. A prática é frequentemente chamada de "biblioteca de camadas".

A praxe contém não apenas as definições para a classe da camada, mas a maior parte do os componentes de suporte, incluindo:

• entradas de dados
• bibliotecas de configuração (HParam e Fiddle);
• otimizadores

O Praxis fornece as definições para a classe Model.

precision

Uma métrica para modelos de classificação que responde à seguinte pergunta:

Quando o modelo previu a classe positiva, qual porcentagem das previsões estava correta?

Aqui está a fórmula:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

em que:

• "verdadeiro positivo" significa que o modelo previu corretamente a classe positiva.
• significa que o modelo previu incorretamente a classe positiva.

Por exemplo, imagine que um modelo fez 200 previsões positivas. Dessas 200 previsões positivas:

• 150 foram verdadeiros positivos.
• 50 eram falsos positivos.

Nesse caso:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

Compare com acurácia e recall.

Consulte Classificação: precisão, recall, precisão e métricas relacionadas para mais informações.

curva de precisão/recall

Uma curva de precisão em relação a recall em diferentes limites de classificação.

previsão

#fundamentals

A saída de um modelo. Exemplo:

• A previsão de um modelo de classificação binária é o resultado positivo ou a classe negativa.
• A previsão de um modelo de classificação multiclasse é uma classe.
• A previsão de um modelo de regressão linear é um número.

viés de previsão

Um valor que indica a distância entre a média das previsões e a média dos rótulos no conjunto de dados.

Não confunda com o termo de viés em modelos de machine learning. ou com viés na ética e imparcialidade.

ML preditivo

Qualquer sistema padrão de aprendizado de máquina (ou "clássico").

O termo ML preditivo não tem uma definição formal. Em vez disso, o termo distingue uma categoria de sistemas de ML não baseada em IA generativa.

paridade preditiva

#fairness

Uma métrica de imparcialidade que verifica se, para um determinado classificador, as taxas de precisão são equivalentes para os subgrupos em consideração.

Por exemplo, um modelo que prevê que a aceitação na faculdade atenderia paridade preditiva para nacionalidade se a taxa de precisão for a mesma para liliputianos e brobdingnagians.

A paridade preditiva também é chamada de paridade de taxa preditiva.

Consulte "Definições de imparcialidade" Explicado" (seção 3.2.1) para uma discussão mais detalhada sobre paridade preditiva.

paridade de taxa preditiva

#fairness

Outro nome para paridade preditiva.

pré-processamento

#fairness

Processar dados antes de usá-los para treinar um modelo. O pré-processamento pode ser tão simples quanto remover palavras de um corpus de texto em inglês que não ocorrem no dicionário em inglês ou pode ser tão complexo quanto expressar pontos de dados de uma maneira que elimine o maior número possível de atributos correlacionados com atributos sensíveis. O pré-processamento pode ajudar a atender às restrições de imparcialidade.

modelo pré-treinado

#language

#image

#generativeAI

Modelos ou componentes de modelo (como um vetor de embedding) que já foram treinados. Às vezes, você vai alimentar vetores de embedding pré-treinados em uma rede neural. Outras vezes, o modelo treina em vez de depender de embeddings pré-treinados.

O termo modelo de linguagem pré-treinado se refere a um modelo de linguagem grande que passou por um pré-treinamento.

pré-treinamento

#language

#image

#generativeAI

O treinamento inicial de um modelo em um grande conjunto de dados. Alguns modelos pré-treinados são gigantes desajeitados e geralmente precisam ser refinados com mais treinamento. Por exemplo, especialistas em ML podem pré-treinar modelo de linguagem grande em um conjunto de dados de texto enorme, como todas as páginas em inglês da Wikipédia. Após o pré-treinamento, o modelo resultante pode ser refinado com qualquer uma das seguintes técnicas:

• destilação
• ajuste fino
• ajuste de instruções
• ajuste de eficiência de parâmetros
• prompt-tuning

crença a priori

O que você acredita sobre os dados antes de começar o treinamento. Por exemplo, a regularização L₂ se baseia em uma crença anterior de que os pesos precisam ser pequenos e normalmente distribuídos em torno de zero.

modelo de regressão probabilística

Um modelo de regressão que usa não apenas o pesos para cada recurso, mas também os incerteza desses pesos. Um modelo de regressão probabilística gera uma previsão e a incerteza dessa previsão. Por exemplo, um modelo de regressão probabilística pode gerar uma previsão de 325 com um desvio padrão de 12. Para mais informações sobre modelos de regressão probabilística, consulte este Colab em tensorflow.org.

função da densidade de probabilidade

Uma função que identifica a frequência das amostras de dados com exatamente um um valor específico. Quando os valores de um conjunto de dados são pontos flutuantes contínuos as correspondências exatas raramente ocorrem. No entanto, integrar uma função de densidade de probabilidade do valor x ao valor y gera a frequência esperada de amostras de dados entre x e y.

Por exemplo, considere uma distribuição normal com uma média de 200 e um desvio padrão de 30. Para determinar a frequência esperada de amostras de dados no intervalo de 211,4 a 218,7, é possível integrar a função de densidade de probabilidade para uma distribuição normal de 211,4 a 218,7.

prompt

#language

#generativeAI

Qualquer texto inserido como entrada em um modelo de linguagem grande para condicionar o modelo a se comportar de uma determinada maneira. As solicitações podem ser tão curtas quanto uma frase ou arbitrariamente longas (por exemplo, o texto inteiro de um romance). As instruções se dividem em várias categorias, incluindo as mostradas na tabela a seguir:

Categoria de comando	Exemplo	Observações
Pergunta	Qual é a velocidade de um pombo voar?
Instrução	Escreva um poema engraçado sobre arbitragem.	Um comando que pede ao modelo de linguagem grande para fazer algo.
Exemplo	Converta o código Markdown em HTML. Por exemplo: Markdown: * item da lista HTML: <ul> <li>item da lista</li> </ul>	A primeira frase do comando de exemplo é uma instrução. O restante do comando é o exemplo.
Papel	Explicar por que o gradiente descendente é usado no treinamento de machine learning para com doutorado em física.	A primeira parte da frase é uma instrução. A frase "para um PhD em física" é a parte do papel.
Entrada parcial para o modelo concluir	O primeiro-ministro do Reino Unido mora em	Um comando de entrada parcial pode terminar abruptamente (como neste exemplo) ou com um sublinhado.

Um modelo de IA generativa pode responder a um comando com texto, códigos, imagens, embeddings, vídeos... quase tudo.

aprendizado baseado em comandos

#language

#generativeAI

A capacidade de determinados modelos que permite que eles se adaptem o comportamento deles em resposta a entradas de texto arbitrárias (comandos). Em um paradigma de aprendizado baseado em comandos, um modelo de linguagem grande responde a um comando para gerar texto. Por exemplo, suponha que um usuário insira o seguinte comando:

Resumir a terceira lei de Newton.

Um modelo de aprendizado baseado em comandos não é treinado especificamente para responder ao comando anterior. Em vez disso, o modelo "sabe" muitos fatos sobre a física, muito sobre as regras gerais da linguagem e muito sobre o que constitui respostas úteis. Esse conhecimento é suficiente para fornecer uma responder. Outros feedbacks humanos ("Essa resposta foi muito complicada" ou "O que é uma reação?") permitem que alguns sistemas de aprendizagem baseados em comandos melhorem gradualmente a utilidade das respostas.

design de comando

#language

#generativeAI

Sinônimo de engenharia de comando.

engenharia de comando

#language

#generativeAI

A arte de criar comandos que evocam as respostas desejadas de um modelo de linguagem grande. Os humanos realizam o comando com engenharia de atributos. Escrever comandos bem-estruturados é essencial para garantir respostas úteis de um modelo de linguagem grande. A engenharia de prompts depende de muitos fatores, incluindo:

• O conjunto de dados usado para pré-treinar e, possivelmente, ajustar o modelo de linguagem grande.
• A temperatura e outros parâmetros de decodificação que o usa para gerar respostas.

Consulte Introdução à criação de comandos para mais detalhes sobre como escrever comandos úteis.

Design de comandos é sinônimo de engenharia de comando.

ajuste de comandos

#language

#generativeAI

Um mecanismo de ajuste eficiente de parâmetros que aprende um "prefixo" que o sistema inclua no início comando real.

Uma variação do ajuste de comando, às vezes chamada de ajuste de prefixo, é adicionar o prefixo em cada camada. Em contraste, a maioria dos ajustes de prompts adiciona um prefixo à camada de entrada.

Clique no ícone para saber mais sobre prefixos.

Para o ajuste do comando, o "prefixo" (também conhecido como "comando suave") é um conjunto de vetores aprendidos e específicos da tarefa que são adicionados às embeddings de token de texto do comando real. O sistema aprende a solicitação suave congelando todos os outros parâmetros do modelo e fazendo ajustes em uma tarefa específica.

---

rótulos de proxy

#fundamentals

Dados usados para aproximar rótulos que não estão diretamente disponíveis em um conjunto de dados.

Por exemplo, suponha que você precise treinar um modelo para prever o nível de estresse do funcionário. Seu conjunto de dados contém muitos atributos preditivos, mas não contém um rótulo chamado nível de estresse. Desencorajado, você escolhe "acidentes no local de trabalho" como um rótulo de proxy para nível de estresse. Afinal, os funcionários sob alto estresse acidentes do que acalmar funcionários. Ou não? Talvez acidentes de trabalho de fato subir e descer por vários motivos.

Como segundo exemplo, suponha que você queira que está chovendo? seja um rótulo booleano para seu conjunto de dados, mas ele não contém dados de chuva. Se fotos estiverem disponíveis, você pode estabelecer fotos de pessoas carregando guarda-chuvas como um rótulo de proxy para está chovendo? Isso um bom rótulo de proxy? Talvez, mas as pessoas em algumas culturas podem estar mais propensas a carregar guarda-chuvas para se proteger do sol do que da chuva.

Os rótulos de proxy geralmente são imperfeitos. Sempre que possível, escolha rótulos reais em vez de rótulos de proxy. Dito isso, quando um rótulo real estiver ausente, escolha o proxy rótulo com muito cuidado, escolhendo o menos horrível candidato a rótulo de proxy.

proxy (atributos sensíveis)

#fairness

Um atributo usado como substituto de um atributo sensível. Por exemplo, o código postal de uma pessoa pode ser usado como um substituto da renda, raça ou etnia dela.

função pura

Função com saídas baseadas apenas nas entradas e que não tem lado efeitos visuais. Uma função pura não usa nem altera nenhum estado global, como o conteúdo de um arquivo ou o valor de uma variável fora da função.

As funções puras podem ser usadas para criar códigos seguros para threads, o que é benéfico ao dividir o código do modelo em vários chips de acelerador.

Os métodos de transformação de função da JAX exigem que as funções de entrada sejam funções puras.

P

Função Q

#rl

No aprendizado por reforço, a função que prevê o retorno esperado de uma ação em um estado e, em seguida, segue uma determinada política.

A função Q também é conhecida como função de valor de estado-ação.

Aprendizado Q

#rl

No aprendizado por reforço, um algoritmo que permite que um agente para aprender a função Q ideal de uma Processo de decisão de Markov aplicando a Equação de Bellman. O processo de decisão de Markov modela um ambiente.

quantil

Cada bucket no agrupamento por classes.

agrupamento por classes de quantil

Distribuir os valores de um atributo em buckets para que cada o bucket contém o mesmo (ou quase o mesmo) número de exemplos. Por exemplo: a figura a seguir divide 44 pontos em 4 segmentos, cada um dos quais contém 11 pontos. Para que cada bucket na figura contenha o mesmo número de pontos, alguns buckets têm uma largura diferente de valores x.

quantização

Termo sobrecarregado que pode ser usado de qualquer uma das seguintes maneiras:

• Como implementar o agrupamento por classes de quantil sobre um determinado recurso.
• transformar dados em zeros e uns para armazenar, treinar e e inferência. Como os dados booleanos são mais resistentes a ruídos e erros do que outros formatos, a quantização pode melhorar a precisão do modelo. As técnicas de quantização incluem arredondamento, truncamento e binarização.

• Reduzir o número de bits usados para armazenar o código de um modelo parameters. Por exemplo, suponha que os parâmetros de um modelo sejam armazenados como números de ponto flutuante de 32 bits. A quantização converte de 32 bits para 4, 8 ou 16 bits. A quantização reduz a seguintes:

  • Uso de computação, memória, disco e rede
  • Tempo para inferir uma predição
  • Consumo de energia

  No entanto, a quantização às vezes diminui a precisão das previsões de um modelo.

fila

#TensorFlow

Uma operação do TensorFlow que implementa os dados de uma fila. na estrutura dos preços. Usada normalmente na E/S.

R

RAG

#fundamentals

Abreviação para geração aumentada de recuperação.

floresta aleatória

#df

Um ensemble de árvores de decisão em em que cada árvore de decisão é treinada com um ruído aleatório específico, como bagging.

As florestas aleatórias são um tipo de floresta de decisão.

política aleatória

#rl

No aprendizado por reforço, uma política que escolhe uma ação aleatoriamente.

ranking

Um tipo de aprendizado supervisionado cujo objetivo é ordenar uma lista de itens.

rank (ordinalidade)

A posição ordinal de uma classe em um problema de aprendizado de máquina que categoriza as classes da maior para a menor. Por exemplo, uma classificação de comportamento sistema poderia classificar as recompensas de um cão do mais alto (um bife) a mais baixa (couve murcha).

classificação (Tensor)

#TensorFlow

O número de dimensões em um tensor. Por exemplo: um escalar tem classificação 0, um vetor tem classificação 1 e uma matriz tem classificação 2.

Não confunda com classificação (ordinalidade).

rotulador

#fundamentals

Uma pessoa que fornece rótulos para exemplos. "Comentador" é outro nome para avaliador.

recall

Uma métrica para modelos de classificação que responde à seguinte pergunta:

Quando a informação real era a classe positiva, qual porcentagem de previsões o modelo identificou corretamente como a classe positiva?

Esta é a fórmula:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

em que:

• "verdadeiro positivo" significa que o modelo previu corretamente a classe positiva.
• significa que o modelo previu incorretamente a classe negativa.

Por exemplo, suponha que seu modelo fez 200 previsões em exemplos em que a informação verdadeira era a classe positiva. Dessas 200 previsões:

• 180 eram verdadeiros positivos.
• 20 foram falsos negativos.

Nesse caso:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

Clique no ícone para observações sobre conjuntos de dados desequilibrados nas classes.

A recuperação é particularmente útil para determinar o poder preditivo de modelos de classificação em que a classe positiva é rara. Por exemplo, considere um conjunto de dados com classes desequilibradas em que a classe positiva de uma determinada doença ocorre em apenas 10 pacientes em um milhão. Suponha que o modelo faça cinco milhões de previsões os seguintes resultados:

• 30 verdadeiros positivos
• 20 falsos negativos
• 4.999.000 verdadeiros negativos
• 950 falsos positivos

O recall desse modelo é o seguinte:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

Em contrapartida, a precisão desse modelo é:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

Esse alto valor de precisão parece impressionante, mas é essencialmente sem sentido. O recall é uma métrica muito mais útil para conjuntos de dados desequilibrados de classes do que a acurácia.

---

Consulte Classificação: precisão, recall, precisão e métricas relacionadas para mais informações.

sistema de recomendação

#recsystems

Um sistema que seleciona para cada usuário um conjunto relativamente pequeno de itens desejáveis de um grande corpus. Por exemplo, um sistema de recomendação de vídeos pode recomendar dois vídeos de um corpus de 100.000 vídeos, selecionando Casablanca e História de Filadélfia para um usuário e Mulher Maravilha e Pantera Negra para outro. Um sistema de recomendação de vídeos pode as recomendações se baseiam em fatores como:

• Filmes que usuários semelhantes assistiram ou classificaram.
• Gênero, diretores, atores, público-alvo...

Unidade Linear Retificada (ReLU)

#fundamentals

Uma função de ativação com o seguinte comportamento:

• Se a entrada for negativa ou zero, a saída será 0.
• Se a entrada for positiva, a saída será igual à entrada.

Exemplo:

• Se a entrada for -3, a saída será 0.
• Se a entrada for +3, a saída será 3,0.

Confira um gráfico de ReLU:

A ReLU é uma função de ativação muito conhecida. Apesar do comportamento simples, A ReLU ainda permite que uma rede neural aprenda nonlinear relações entre atributos e o rótulo.

rede neural recorrente

#seq

Uma rede neural que é executada intencionalmente várias vezes, em que partes de cada execução alimentam a próxima. Especificamente, as camadas ocultas da execução anterior fornecem parte da entrada para a mesma camada oculta na próxima execução. As redes neurais recorrentes são particularmente úteis para avaliar sequências, para que as camadas ocultas possam aprender com execuções anteriores da rede neural em partes anteriores da sequência.

Por exemplo, a figura a seguir mostra uma rede neural recorrente que é executado quatro vezes. Os valores aprendidos nas camadas ocultas da primeira execução se tornam parte da entrada para as mesmas camadas ocultas na segunda execução. Da mesma forma, os valores aprendidos na camada oculta na segunda execução passam a fazer parte da entrada para a mesma camada oculta na terceira execução. Dessa forma, a rede neural recorrente treina e prevê gradualmente o significado de toda a sequência, em vez de apenas o significado de palavras individuais.

modelo de regressão

#fundamentals

informalmente, um modelo que gera uma previsão numérica. (Por outro lado, Um modelo de classificação gera uma classe prediction.) Por exemplo, os modelos de regressão a seguir:

• Um modelo que prevê o valor de uma determinada casa, como 423.000 euros.
• Um modelo que prevê a expectativa de vida de uma determinada árvore, como 23,2 anos.
• Um modelo que prevê a quantidade de chuva que vai cair em uma determinada cidade nas próximas seis horas, como 0,18 polegadas.

Dois tipos comuns de modelos de regressão são:

• Regressão linear, que encontra a linha que melhor se adapta aos valores de rótulos dos recursos.
• Regressão logística, que gera uma probabilidade entre 0,0 e 1,0 que um sistema normalmente mapeia para uma previsão de classe.

Nem todo modelo que gera previsões numéricas é um modelo de regressão. Em alguns casos, uma previsão numérica é na verdade apenas um modelo de classificação que tem nomes de classes numéricos. Por exemplo, um modelo que prevê um código postal numérico é um modelo de classificação, não de regressão.

regularização

#fundamentals

Qualquer mecanismo que reduza a sobreajustar. Os tipos conhecidos de regularização incluem:

• L₁ regularização
• L₂ regularização
• regularização de dropout
• parada antecipada (não é uma formalidade método de regularização, mas pode limitar efetivamente o overfitting)

A regularização também pode ser definida como a penalidade na complexidade de um modelo.

Clique no ícone para ver mais observações.

A regularização é contraintuitiva. Aumentar a regularização geralmente aumenta a perda de treinamento, o que é confuso porque, bem, o objetivo é minimizar a perda de treinamento.

Na verdade, não. O objetivo não é minimizar a perda de treinamento. O objetivo é fazer previsões excelentes em exemplos reais. É notável, mesmo que aumentar a regularização aumenta a perda de treinamento, geralmente ajuda os modelos a tomar previsões melhores com base em exemplos do mundo real.

---

taxa de regularização

#fundamentals

Um número que especifica a importância relativa da regularização durante o treinamento. Elevar a taxa de regularização reduz o overfitting, mas pode reduzir a capacidade preditiva dos modelos. Por outro lado, reduzir ou omitir a taxa de regularização aumenta o ajuste excessivo.

Clique no ícone para ver o cálculo.

A taxa de regularização geralmente é representada como a letra grega lambda. A seguinte equação simplificada de perda mostra influência da lambda:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

Em que regularização é qualquer mecanismo de regularização, incluindo:

• Regularização de L₁
• Regularização de L₂

---

aprendizado por reforço (RL)

#rl

Uma família de algoritmos que aprende uma política ideal, com o objetivo de é maximizar o retorno ao interagir com um ambiente. Por exemplo, a recompensa final da maioria dos jogos é a vitória. Os sistemas de aprendizado por reforço podem se tornar especialistas em jogos complexos jogos avaliando sequências de movimentos anteriores que acabam levou a vitórias e sequências que, no final, levaram a perdas.

Aprendizado por reforço com feedback humano (RLHF)

#generativeAI

#rl

Usar feedback de avaliadores humanos para melhorar a qualidade das respostas de um modelo. Por exemplo, um mecanismo de RLHF pode pedir que os usuários classifiquem a qualidade da com um emoji 👍 ou 👎. O sistema pode ajustar as respostas futuras com base nesse feedback.

ReLU

#fundamentals

Abreviação de Retified Linear Unit.

buffer de repetição

#rl

Em algoritmos do tipo DQN, a memória usada pelo agente para armazenar transições de estado para uso em a experiência de repetição.

réplica

Uma cópia do conjunto de treinamento ou do modelo, normalmente em outra máquina. Por exemplo, um sistema poderia usar estratégia para implementar o paralelismo de dados:

1. Coloque réplicas de um modelo em várias máquinas.
2. Enviar diferentes subconjuntos do conjunto de treinamento para cada réplica.
3. Agregue as atualizações de parâmetro.

viés de relatório

#fairness

O fato de que a frequência com que as pessoas escrevem sobre ações, resultados ou propriedades não é um reflexo da realidade frequências ou o grau em que uma propriedade é característica de uma classe de indivíduos. O viés de relatório pode influenciar a composição que os sistemas de machine learning usam para aprender.

Por exemplo, em livros, a palavra laughed é mais comum que breathed. Um modelo de aprendizado de máquina que estima a frequência relativa de risos e respiração em um corpus de livros provavelmente determinaria que rir é mais comum do que respirar.

representação de vetor

O processo de mapear dados para recursos úteis.

reclassificação

#recsystems

A última etapa de um sistema de recomendação, durante o qual os itens pontuados podem ser reavaliados de acordo com alguns outros (normalmente, algoritmo não ML). A reclassificação avalia a lista de itens gerada pela fase de pontuação, realizando ações como:

• Eliminar itens que o usuário já comprou.
• Aumentar a pontuação de itens mais recentes.

geração aumentada de recuperação (RAG, na sigla em inglês)

#fundamentals

Uma técnica para melhorar a qualidade Saída de modelo de linguagem grande (LLM) ao fundamentá-lo com fontes de conhecimento recuperadas após o treinamento do modelo. A RAG melhora a precisão das respostas do LLM fornecendo ao LLM treinado a informações recuperadas de bases de conhecimento ou documentos confiáveis.

Motivações comuns para usar a geração aumentada de recuperação incluem:

• Aumentar a acurácia factual das respostas geradas de um modelo.
• Dar ao modelo acesso a conhecimento que ele não foi treinado.
• Mudar o conhecimento usado pelo modelo.
• Permitir que o modelo cite fontes.

Por exemplo, suponha que um app de química use a API PaLM para gerar resumos relacionados às consultas do usuário. Quando o back-end do app recebe uma consulta, ele:

1. Procura ("recupera") dados relevantes para a consulta do usuário.
2. Anexar ("aumentar") os dados de química relevantes à consulta do usuário.
3. Instrui o LLM a criar um resumo com base nos dados anexados.

return

#rl

No aprendizado por reforço, considerando uma determinada política e um certo estado, retorno é a soma de todas as recompensas que o agente espera receber ao seguir a política do state até o final do episódio. O agente considera a natureza atrasada das recompensas esperadas descontando recompensas de acordo com as transições de estado necessárias para receber a recompensa.

Portanto, se o fator de desconto for \(\gamma\), e \(r_0, \ldots, r_{N}\) denotar os prêmios até o final do episódio, depois o cálculo de retorno é o seguinte:

$$\text{Return} = r_0 + \gamma r_1 + \gamma^2 r_2 + \ldots + \gamma^{N-1} r_{N-1}$$

prêmio

#rl

No aprendizado por reforço, o resultado numérico de realizar uma ação em um estado, conforme definido pelo ambiente.

regularização Ridge

Sinônimo de regularização L₂. O termo regularização de borda é usado com mais frequência em contextos de estatísticas puras, enquanto a regularização de L₂ é usada com mais frequência em aprendizado de máquina.

RNN

#seq

Abreviação de redes neurais recorrentes.

Curva ROC

#fundamentals

Um gráfico da taxa de verdadeiro positivo em comparação com a taxa de falso positivo para diferentes limites de classificação em binário classificação.

A forma de uma curva ROC sugere a capacidade de um modelo de classificação binária de separar classes positivas de classes negativas. Suponha, por exemplo, que um modelo de classificação binária separa perfeitamente todas as de todas as classes positivas:

A curva ROC para o modelo anterior é assim:

Em contraste, a ilustração abaixo mostra o gráfico de regressão logística bruta um modelo péssimo que não consegue separar classes negativas classes positivas:

A curva ROC desse modelo é a seguinte:

Já no mundo real, a maioria dos modelos de classificação binária se separa classes positivas e negativas até certo ponto, mas geralmente não perfeitamente. Então, uma curva ROC típica está em algum lugar entre os dois extremos:

O ponto em uma curva ROC mais próximo de (0,0,1,0) identifica teoricamente o limite de classificação ideal. No entanto, vários outros problemas reais influenciam a seleção do limite de classificação ideal. Por exemplo: talvez os falsos negativos causem muito mais dor do que os falsos positivos.

Uma métrica numérica chamada AUC resume a curva ROC em um único valor de ponto flutuante.

solicitação de papéis

#language

#generativeAI

Parte opcional de um comando que identifica um público-alvo. para a resposta de um modelo de IA generativa. Sem um papel comando, um modelo de linguagem grande fornece uma resposta que pode ou não ser útil para a pessoa que fez as perguntas. Com um comando de função, um modelo de linguagem grande pode responder de uma maneira mais adequada e útil para um público-alvo específico. Por exemplo, a parte da solicitação de papéis do comandos estão em negrito:

• Resuma este artigo para um PhD em economia.
• Descrever como as marés funcionam para uma criança de 10 anos.
• Explique a crise financeira de 2008. Fale como você falaria com uma criança, ou golden retriever.

root

#df

O nó inicial (a primeira condição) em uma árvore de decisão. Por convenção, os diagramas colocam a raiz no topo da árvore de decisão. Exemplo:

diretório raiz

#TensorFlow

O diretório especificado para hospedar subdiretórios do TensorFlow arquivos de checkpoint e eventos de vários modelos.

Raiz do erro quadrático médio (RMSE)

#fundamentals

A raiz quadrada do erro quadrático médio.

invariância rotacional

#image

Em um problema de classificação de imagens, a capacidade de um algoritmo classificar imagens mesmo quando a orientação da imagem muda. Por exemplo, o algoritmo ainda pode identificar uma raquete de tênis, mesmo que ela esteja apontada para cima, para o lado ou para baixo. A invariância de rotação nem sempre é desejável. Por exemplo, um 9 de cabeça para baixo não pode ser classificado como um 9.

Consulte também invariância traducional e invariação de tamanho.

R ao quadrado

Uma métrica de regressão que indica quanta variação em um O rótulo se deve a um recurso individual ou a um conjunto de recursos. R ao quadrado é um valor entre 0 e 1, que pode ser interpretado da seguinte maneira:

• Um R2 de 0 significa que nenhuma variação de um rótulo é devido ao conjunto de recursos.
• Um R-quadrado de 1 significa que toda a variação de um rótulo é devido ao conjunto de recursos.
• Um R-quadrado entre 0 e 1 indica até que ponto a variação do rótulo pode ser prevista com base em um atributo específico ou no conjunto de atributos. Por exemplo, um R ao quadrado de 0,10 significa que 10% da variância no rótulo se deve ao conjunto de atributos, um R ao quadrado de 0,20 significa que 20% é devido ao conjunto de atributos e assim por diante.

R-quadrado é o quadrado do coeficiente de correlação de Pearson entre os valores que um modelo previu e a informações empíricas.

S

viés de amostragem

#fairness

Consulte o viés de seleção.

amostragem com substituição

#df

um método de escolher itens de um conjunto de itens candidatos em que a mesma item pode ser escolhido várias vezes. A frase "com substituição" significa após cada seleção, o item selecionado é retornado ao pool. de itens candidatos. O método inverso, ou seja, amostragem sem substituição, significa que cada item candidato só pode ser escolhido uma vez.

Por exemplo, considere o seguinte conjunto de frutas:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

Suponha que o sistema escolha aleatoriamente fig como o primeiro item. Se você usar a amostragem com substituição, o sistema vai escolher o segundo item do seguinte conjunto:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

Sim, é o mesmo conjunto de antes, então o sistema pode escolher fig novamente.

Se você usar amostragem sem substituição, depois de escolhida, não será possível escolhido novamente. Por exemplo, se o sistema escolher aleatoriamente fig como a primeira amostra, fig não poderá ser escolhido novamente. Portanto, o sistema escolhe a segunda amostra a partir do seguinte conjunto (reduzido):

fruit = {kiwi, apple, pear, cherry, lime, mango}

Clique no ícone para ver mais observações.

A palavra substituição em amostragem com substituição confunde muitas pessoas. Em inglês, replacement significa "substituição". No entanto, a amostragem com substituição usa a definição francesa de substituição, que significa "colocar algo de volta".

A palavra em inglês replacement é traduzida como a palavra em francês remplacement.

---

SavedModel

#TensorFlow

O formato recomendado para salvar e recuperar modelos do TensorFlow. O SavedModel é um formato de serialização recuperável e neutro em relação ao idioma, que permite que sistemas e ferramentas de nível superior produzam, consumam e transformem modelos do TensorFlow.

Consulte o capítulo Como salvar e restaurar no guia para programadores do TensorFlow e confira todos os detalhes.

Econômico

#TensorFlow

Um objeto do TensorFlow responsável por salvar os checkpoints do modelo.

escalar

Um único número ou uma única string que pode ser representada como um tensor de rank 0. Por exemplo, as linhas de código a seguir criam um escalar no TensorFlow:

breed = tf.Variable("poodle", tf.string)
temperature = tf.Variable(27, tf.int16)
precision = tf.Variable(0.982375101275, tf.float64)

escalonamento

Qualquer transformação ou técnica matemática que altera o intervalo de um rótulo e/ou valor do atributo. Algumas formas de escalonamento são muito úteis para transformações como a normalização.

Estas são algumas formas comuns de escalonamento útil em machine learning:

• escala linear, que normalmente usa uma combinação de subtração e divisão para substituir o valor original por um número entre -1 e +1 ou entre 0 e 1.
• Escala logarítmica, que substitui o valor original pelo logaritmo.
• Normalização do Z-score, que substitui o valor original por um valor de ponto flutuante que representa o número de desvios padrão da média desse recurso.

scikit-learn

Uma plataforma de machine learning de código aberto. Consulte scikit-learn.org.

em lote

#recsystems

A parte de um sistema de recomendação que fornece um valor ou uma classificação para cada item produzido pelo fase de geração de candidatos.

viés de seleção

#fairness

Erros nas conclusões extraídas de dados de amostra devido a um processo de seleção que gera diferenças sistemáticas entre as amostras observadas nos dados e não observados. Existem as seguintes formas de viés de seleção:

• viés de cobertura: a população representada no conjunto de dados não corresponder à população que o modelo de machine learning está criando. previsões.
• Viés de amostragem: os dados não são coletados aleatoriamente do grupo de destino.
• Viés de não resposta (também chamado de viés de participação): usuários de determinados grupos desativam as pesquisas em taxas diferentes das de outros grupos.

Por exemplo, suponha que você esteja criando um modelo de machine learning que prevê como as pessoas gostam de um filme. Para coletar dados de treinamento, você distribui uma pesquisa para todos na primeira fila de um cinema que está exibindo o filme. À primeira vista, isso pode parecer uma maneira razoável de coletar um conjunto de dados. No entanto, essa forma de coleta de dados pode introduzir os seguintes tipos de viés de seleção:

• viés de cobertura: ao usar amostras de uma população que escolheu assistir o filme, as previsões do modelo podem não ser generalizadas para pessoas que ainda não expressaram esse nível de interesse no filme.
• viés de amostragem: em vez de fazer uma amostragem aleatória da população pretendida (todas as pessoas no cinema), você coletou apenas as pessoas na primeira fila. É possível que as pessoas sentadas na primeira fileira tenham mais interesse no filme do que as outras fileiras.
• viés de não resposta: em geral, pessoas com opiniões fortes tendem de responder a pesquisas opcionais com mais frequência do que pessoas com de opinião. Como a pesquisa de filmes é opcional, as respostas têm mais probabilidade de formar uma distribuição bimodal do que uma distribuição normal (em forma de sino).

autoatenção (também chamada de camada de autoatenção)

#language

Uma camada de rede neural que transforma uma sequência de embeddings (por exemplo, embeddings token) em outra sequência de embeddings. Cada embedding na sequência de saída é construído pela integração de informações dos elementos da sequência de entrada usando um mecanismo de atenção.

A parte self de autoatenção se refere à sequência que se atende a si mesma, e não a outro contexto. A autoatenção é um dos principais blocos de construção dos transformadores e usa a terminologia de pesquisa de dicionário, como "consulta", "chave" e "valor".

Uma camada de autoatenção começa com uma sequência de representações de entrada, de cada palavra. A representação de entrada de uma palavra pode ser um e incorporações. Para cada palavra em uma sequência de entrada, a rede avalia a relevância da palavra para cada elemento em toda a sequência de palavras. Os índices de relevância determinam o quanto a representação final da palavra incorpora as representações de outras palavras.

Por exemplo, considere a seguinte frase:

O animal não atravessou a rua porque estava muito cansado.

A ilustração a seguir (do artigo Transformer: A Novel Neural Network Architecture for Language Understanding) mostra o padrão de atenção de uma camada de autoatenção para o pronome it, com a intensidade de cada linha indicando o quanto cada palavra contribui para a representação:

A camada de autoatenção destaca as palavras relevantes para "ele". Neste caso, a camada de atenção aprendeu a destacar palavras que pode a que se refere, atribuindo o peso mais alto a animal.

Para uma sequência de n tokens, a autoatenção transforma uma sequência de embeddings n vezes separadas, uma vez em cada posição da sequência.

Consulte também atenção e autoatenção de vários cabeçalhos.

aprendizado autossupervisionado

Uma família de técnicas para converter um problema de machine learning não supervisionado em um problema de machine learning supervisionado, criando rótulos substitutos de exemplos não rotulados.

Alguns modelos baseados em transformador, como o BERT, usam aprendizagem autosupervisionada.

O treinamento autossupervisionado é uma abordagem de aprendizado semi-supervisionado.

autotreinamento

Uma variante de aprendizado autosupervisionado que é particularmente útil quando todas as condições a seguir são verdadeiras:

• A proporção entre exemplos não rotulados e exemplos rotulados no conjunto de dados é alto.
• Isso é um problema de classificação.

O autotreinamento funciona iterando as duas etapas a seguir até que o modelo deixa de melhorar:

1. Use o machine learning supervisionado para treinar um modelo com os exemplos rotulados.
2. Use o modelo criado na etapa 1 para gerar previsões (identificadores) nos exemplos não rotulados, movendo aqueles em que há alta confiança para os exemplos rotulados com o identificador previsto.

Observe que cada iteração da Etapa 2 adiciona mais exemplos rotulados para a Etapa 1 treinar.

aprendizado semi-supervisionado

Treinar um modelo com dados em que alguns dos exemplos de treinamento têm rótulos, mas outros não. Uma técnica para o aprendizado semi-supervisionado é inferir rótulos para os exemplos não rotulados e, em seguida, treinar com os rótulos inferidos para criar um novo modelo. O aprendizado semi-supervisionado pode ser útil se os rótulos forem caros para conseguir, mas os exemplos não rotulados forem abundantes.

O autotreinamento é uma técnica de treinamento o aprendizado de máquina.

atributo sensível

#fairness

Um atributo humano que pode receber consideração especial por questões jurídicas, por motivos éticos, sociais ou pessoais.

análise de sentimento

#language

Usar algoritmos de aprendizado de máquina ou estatísticos para determinar a atitude geral de um grupo, positiva ou negativa, em relação a um serviço, produto, organização ou tópico. Por exemplo, usando compreensão de linguagem natural, um algoritmo pode realizar a análise de sentimento no feedback textual de um curso universitário para determinar o grau em que os alunos geralmente gostaram ou não do curso.

modelo sequencial

#seq

Um modelo com entradas que têm dependência sequencial. Por exemplo, a previsão o próximo vídeo assistido a partir de uma sequência de vídeos assistidos anteriormente.

tarefa de sequência para sequência

#language

Tarefa que converte uma sequência de entrada de tokens em uma saída. de tokens. Por exemplo, dois tipos conhecidos de sequência para sequência tarefas são:

• Tradutores:
  • Exemplo de sequência de entrada: "Eu te amo".
  • Exemplo de sequência de saída: "Je t'aime".
• Respostas a perguntas:
  • Exemplo de sequência de entrada: "Preciso do meu carro em Nova York?"
  • Exemplo de sequência de saída: "Não. Deixe o carro em casa."

do modelo

O processo de disponibilizar um modelo treinado para fornecer previsões por meio de inferência on-line ou inferência off-line.

forma (Tensor)

O número de elementos em cada dimensão de um . A forma é representada como uma lista de números inteiros. Por exemplo, o tensor bidimensional a seguir tem a forma [3,4]:

[[5, 7, 6, 4],
 [2, 9, 4, 8],
 [3, 6, 5, 1]]

O TensorFlow usa o formato de linha principal (estilo C) para representar a ordem das dimensões. É por isso que a forma no TensorFlow é [3,4], e não [4,3]. Em outras palavras, em um TensorFlow Tensor bidimensional, a forma é [número de linhas, número de colunas].

Uma forma estática é uma forma de tensor conhecida no momento da compilação.

Uma forma dinâmica é desconhecida no momento da compilação e, portanto, depende de dados de execução. Esse tensor pode ser representado dimensão de marcador de posição no TensorFlow, como em [3, ?].

fragmento

#TensorFlow

#GoogleCloud

Uma divisão lógica do conjunto de treinamento ou do modelo. Normalmente, alguns processos criam fragmentos ao dividir os exemplos ou parâmetros em (geralmente) blocos de tamanhos iguais. Cada fragmento é atribuído a uma máquina diferente.

A fragmentação de um modelo é chamada de paralelismo de modelos. a fragmentação de dados é chamada de paralelismo de dados.

encolhimento

#df

Um hiperparâmetro na intensificação do gradiente que controla overfitting. A redução no aumento de gradiente é análoga à taxa de aprendizado no gradiente descendente. O encolhimento é um número decimal entre 0,0 e 1,0. Um valor de redução menor reduz o overfitting maior do que um valor de redução maior.

função sigmoide

#fundamentals

Função matemática que "comprimir" um valor de entrada em um intervalo restrito, normalmente entre 0 e 1 ou -1 a +1. Ou seja, você pode transmitir qualquer número (dois, um milhão, um bilhão negativo, o que for) para uma sigmoide, e a saída ainda estará no intervalo restrito. Um gráfico da função de ativação sigmoide é semelhante a este:

A função sigmoide tem vários usos no machine learning, incluindo:

• Converta a saída bruta de um modelo de regressão logística ou regressão polinomial em uma probabilidade.
• Atuar como uma função de ativação em alguns redes neurais artificiais.

Clique no ícone para conferir a matemática.

A função sigmoide sobre um número de entrada x tem a seguinte fórmula:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

Em machine learning, x geralmente é uma soma ponderada.

---

medida de similaridade

#clustering

Em algoritmos de agrupamento, a métrica usada para determinar o quanto dois exemplos são semelhantes.

um único programa / vários dados (SPMD)

Técnica de paralelismo em que o mesmo cálculo é executado em entradas diferentes em paralelo em dispositivos diferentes. O objetivo do SPMD é conseguir resultados mais rapidamente. É o estilo mais comum de programação paralela.

invariância de tamanho

#image

Em um problema de classificação de imagens, a capacidade de um algoritmo de classificar imagens, mesmo quando o tamanho delas muda. Por exemplo: o algoritmo ainda pode identificar uma cat, independentemente de consumir 2 milhões de pixels ou 200 mil pixels. Mesmo os melhores algoritmos de classificação de imagens ainda têm limites práticos de invariância de tamanho. Por exemplo, é improvável que um algoritmo (ou humano) classifique corretamente uma imagem de gato que consome apenas 20 pixels.

Consulte também invariância traducional e invariância rotacional.

esboço

#clustering

Em machine learning não supervisionado, uma categoria de algoritmos que executa uma análise preliminar de similaridade em exemplos. Os algoritmos de esboço usam uma função hash sensível à localidade para identificar pontos que provavelmente são semelhantes e, em seguida, agrupam esses pontos em buckets.

Os esboços reduzem o cálculo necessário para cálculos de similaridade em grandes conjuntos de dados. Em vez de calcular a similaridade para cada no conjunto de dados, calculamos a similaridade apenas para cada um par de pontos dentro de cada bucket.

skip-gram

#language

Um n-grama que pode omitir (ou "pular") palavras do contexto original, o que significa que as N palavras podem não ter sido originalmente adjacentes. Mais precisamente, um "n-gram de k-saltos" é um n-gram em que até k palavras podem ter sido ignoradas.

Por exemplo, "a rápida raposa marrom" tem os seguintes 2-gramas possíveis:

• "a rápida"
• "marrom rápido"
• "raposa marrom"

Um exemplo de "1-skip-2-gram" é um par de palavras com no máximo uma palavra entre elas. Portanto, "a rápida raposa marrom" tem os seguintes 1-skip 2-gramas:

• "marrom"
• "raposa rápida"

Além disso, todos os bigramas também são bigramas de 1-salto-2, já que menos de uma palavra pode ser ignorada.

Skip-grams são úteis para entender melhor o contexto de uma palavra. No exemplo, "fox" foi associado diretamente a "quick" no conjunto de 1-skip-2-grams, mas não no conjunto de 2-grams.

Skip-grams ajudam no treinamento modelos de incorporação de palavras.

softmax

#fundamentals

Uma função que determina as probabilidades de cada classe possível em um modelo de classificação multiclasse. As probabilidades somam exatamente 1,0. Por exemplo, a tabela a seguir mostra como a softmax distribui várias probabilidades:

A imagem é um...	Probabilidade
cachorro	0,85
gato	0,13
cavalo	0,02

A softmax também é chamada de softmax completa.

Compare com a amostragem de candidatos.

Clique no ícone para conferir a matemática.

A equação de softmax é a seguinte:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

em que:

• $\sigma_i$ é o vetor de saída. Cada elemento do vetor de saída especifica a probabilidade desse elemento. A soma de todos os elementos no vetor de saída é 1,0. O vetor de saída contém o mesmo número de elementos que o vetor de entrada, $z$.
• $z$ é o vetor de entrada. Cada elemento do vetor de entrada contém um valor de ponto flutuante.
• $K$ é o número de elementos no vetor de entrada (e no vetor de saída).

Por exemplo, suponha que o vetor de entrada seja:

[1.2, 2.5, 1.8]

Portanto, a softmax calcula o denominador desta forma:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

Portanto, a probabilidade softmax de cada elemento é:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

Portanto, o vetor de saída é:

$$\sigma = [0.154, 0.565, 0.281]$$

A soma dos três elementos em $\sigma$ é 1,0. Ufa.

---

ajuste de comando simples

#language

#generativeAI

Uma técnica para ajustar um modelo de linguagem grande para uma tarefa específica, sem consumir muitos recursos ajustes. Em vez de treinar de novo pesos no modelo, ajuste de comandos flexíveis ajusta automaticamente um comando para atingir o mesmo objetivo.

Dado um comando textual, o ajuste de comando suave normalmente anexa outras embeddings de token ao comando e usa a propagação de volta para otimizar a entrada.

Uma pergunta “difícil” contém tokens reais em vez de embeddings de token.

atributo esparso

#language

#fundamentals

Um atributo com valores predominantemente zero ou vazio. Por exemplo, um recurso que contém um único valor 1 e um milhão de valores 0 é esparso. Por outro lado, um elemento denso tem valores que não são predominantemente nulos ou vazios.

No aprendizado de máquina, um número surpreendente de atributos são atributos raros. Os atributos categóricos geralmente são esparsos. Por exemplo, das 300 espécies de árvores possíveis em uma floresta, um único exemplo pode identificar apenas uma árvore de bordo. Ou dos milhões de possíveis vídeos em uma biblioteca de vídeos, um único exemplo pode identificar apenas "Casablanca".

Em um modelo, você normalmente representa atributos esparsos codificação one-hot: Se a codificação one-hot for grande, é possível colocar uma camada de incorporação sobre com codificação one-hot para aumentar a eficiência.

representação esparsa

#language

#fundamentals

Armazenar apenas as posições de elementos diferentes de zero em um elemento disperso.

Por exemplo, suponha que um atributo categórico chamado species identifique os 36 espécies de árvores em uma determinada floresta. Suponha também que cada exemplo identifica apenas uma única espécie.

Você pode usar um vetor one-hot para representar as espécies de árvores em cada exemplo. Um vetor one-hot conteria um único 1 (para representar a espécie de árvore específica desse exemplo) e 35 0s (para representar o 35 espécies de árvores não nesse exemplo). Assim, a representação one-hot de maple pode ser semelhante a esta:

Como alternativa, a representação esparsa simplesmente identificaria a posição da espécie específica. Se maple estiver na posição 24, a representação esparsa de maple seria:

24

A representação esparsa é muito mais compacta do que a representação única.

Observação: não transmita uma representação esparsa como entrada direta de atributos. a um modelo. Em vez disso, converta a representação esparsa em uma representação de um-a-um antes do treinamento.

Clique no ícone para ver um exemplo um pouco mais complexo.

Suponha que cada exemplo em seu modelo represente as palavras, mas não a ordem dessas palavras, em uma frase. O inglês tem cerca de 170.000 palavras, então ele é uma com cerca de 170 mil elementos. A maioria das frases em inglês usa uma fração extremamente minúscula dessas 170.000 palavras, o conjunto de palavras em uma exemplo único são dados esparsos.

Considere a seguinte frase:

My dog is a great dog

Você pode usar uma variante do vetor one-hot para representar as palavras nesta frase. Nessa variante, várias células no vetor podem conter um valor diferente de zero. Além disso, nessa variante, uma célula pode conter um número inteiro diferente de um. Embora as palavras "meu", "é", "um" e "ótimo" aparecem apenas uma vez na frase, a palavra "cachorro" aparece duas vezes. O uso dessa variante de vetores one-hot para representar as palavras nesta frase gera o seguinte vetor de 170.000 elementos:

Uma representação esparsa da mesma frase seria simplesmente:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

Clique no ícone se não tiver certeza.

O termo "representação esparsa" confunde muitas pessoas porque esparsas representação em si não é um vetor esparso. Em vez disso, a representação esparsa é uma representação densa de um vetor esparso. O sinônimo representação do índice é um pouco mais claro do que uma "representação esparsa".

---

vetor esparso

#fundamentals

Um vetor com valores que são principalmente zeros. Consulte também esparsa atributo e esparsidade.

sparsity

O número de elementos definidos como zero (ou nulo) em um vetor ou matriz dividido pelo número total de entradas nesse vetor ou matriz. Por exemplo, considere uma matriz de 100 elementos em que 98 células contêm zero. O cálculo da esparsidade é o seguinte:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

A esparsidade de atributos se refere à sparsidade de um vetor de atributos. A esparsidade do modelo se refere à sparsidade dos pesos do modelo.

pooling espacial

#image

Consulte pool.

dividir

#df

Em uma árvore de decisão, outro nome para uma condição.

divisor

#df

Durante o treinamento de uma árvore de decisão, a rotina (e o algoritmo) responsável por encontrar a melhor condição em cada nó.

SPMD

Abreviação de programa único / dados múltiplos.

perda de articulação quadrática

O quadrado da perda da articulação. A perda de articulação quadrada penaliza valores atípicos com mais severidade do que a perda de articulação normal.

perda quadrática

#fundamentals

Sinônimo de L₂ perda.

treinamento em etapas

#language

É uma tática de treinar um modelo em uma sequência de estágios distintos. A meta pode ser seja para acelerar o processo de treinamento ou para melhorar a qualidade do modelo.

Veja abaixo uma ilustração da abordagem de empilhamento progressivo:

• A fase 1 contém 3 camadas ocultas, a fase 2 contém 6 camadas ocultas e a fase 3 contém 12 camadas ocultas.
• A fase 2 começa o treinamento com os pesos aprendidos nas 3 camadas escondidas da Etapa 1. A etapa 3 começa o treinamento com os pesos aprendidos na as camadas escondidas do Estágio 2.

Consulte também pipelining.

estado

#rl

No aprendizado por reforço, os valores de parâmetro que descrevem a configuração atual do ambiente, que o agente usa para escolher uma ação.

função de valor de estado-ação

#rl

Sinônimo de função Q.

static

#fundamentals

Algo feito uma vez, em vez de continuamente. Os termos estático e off-line são sinônimos. Confira a seguir usos comuns de estático e off-line no aprendizado de máquina:

• Um modelo estático (ou modelo off-line) é um modelo treinado uma vez e usado por um tempo.
• O treinamento estático (ou treinamento off-line) é o processo de treinar um um modelo estático.
• A inferência estática (ou off-line) é um processo em que um modelo gera um lote de previsões por vez.

Contraste com dinâmico.

inferência estática

#fundamentals

Sinônimo de inferência off-line.

estacionariedade

#fundamentals

Um recurso cujos valores não mudam em uma ou mais dimensões, geralmente tempo. Por exemplo, um atributo com valores que parecem os mesmos em 2021 e Exposições estacionárias em 2023.

Na vida real, poucos recursos apresentam estacionariedade. Até mesmo recursos sinônimos de estabilidade (como o nível do mar) mudam com o tempo.

Compare com a não-estacionariedade.

etapa

Um encaminhamento e um retorno de um lote.

Consulte retropropagação para mais informações no passe para frente e no passe para trás.

taxa de aprendizado

Sinônimo de taxa de aprendizado.

gradiente descendente estocástico (SGD)

#fundamentals

Um algoritmo de gradiente descendente em que o O tamanho do lote é um. Em outras palavras, o SGD é treinado com um único exemplo escolhido de forma uniforme e aleatória em um conjunto de treinamento.

stride

#image

Em uma operação de convolução ou pooling, o delta em cada dimensão da próxima série de frações de entrada. Por exemplo, a animação a seguir demonstra um passo (1,1) durante uma operação de convolução. Portanto, a próxima fatia de entrada começa uma posição à direita da fatia de entrada anterior. Quando a operação atinge a borda direita, a próxima fração é para a esquerda, mas uma posição para baixo.

O exemplo anterior demonstra uma passada bidimensional. Se a matriz de entrada for tridimensional, o passo também será tridimensional.

minimização do risco estrutural (SRM)

Um algoritmo que equilibra dois objetivos:

• A necessidade de criar o modelo mais preditivo (por exemplo, a menor perda).
• A necessidade de manter o modelo o mais simples possível (por exemplo, regularização).

Por exemplo, uma função que minimiza a perda e a regularização no conjunto de treinamento é um algoritmo de minimização de risco estrutural.

Contraste com a minimização do risco empírico.

subamostragem

#image

Consulte pooling.

token de subpalavra

#language

Em modelos de linguagem, um token é uma substring de uma palavra, que pode ser a palavra inteira.

Por exemplo, uma palavra como "itemize" pode ser dividido em partes "item" (uma palavra raiz) e "ize" (um sufixo), cada um dos quais é representado por seu próprio com base no token correto anterior. Dividir palavras incomuns nessas partes, chamadas de subpalavras, permite de linguagem grandes para operar nas partes constituintes mais comuns da palavra, como prefixos e sufixos.

Por outro lado, palavras comuns como "vai" pode não estar dividido e pode ser representado por um único token.

resumo

#TensorFlow

No TensorFlow, um valor ou conjunto de valores calculados em um determinado step, normalmente usado para rastrear métricas de modelo durante o treinamento.

machine learning supervisionado

#fundamentals

Treinar um modelo com base em atributos e os rótulos correspondentes. O machine learning supervisionado é análogo para aprender um assunto, estudando um conjunto de perguntas e suas as respostas correspondentes. Depois de dominar o mapeamento entre perguntas e respostas, o aluno pode fornecer respostas novas (nunca antes vistas) perguntas sobre o mesmo assunto.

Compare com o machine learning não supervisionado.

atributo sintético

#fundamentals

Um elemento que não está presente entre os elementos de entrada, mas é montado a partir de um ou mais deles. Os métodos para criar recursos sintéticos incluem:

• Agrupamento por classes, um recurso contínuo em agrupamentos por classes.
• Criar um cruzamento de atributos.
• Multiplicar (ou dividir) um valor de atributo por outros valores de atributo ou sozinhos. Por exemplo, se a e b forem recursos de entrada, o Confira a seguir exemplos de atributos sintéticos:
  • Ab
  • a²
• Aplicação de uma função transcendental a um valor de elemento. Por exemplo, se c é um atributo de entrada, os seguintes são exemplos de atributos sintéticos:
  • sin(c) (link em inglês)
  • ln(c)

Recursos criados por normalização ou escalonamento sozinhos não são considerados atributos sintéticos.

T

T5

#language

Um modelo de aprendizado de transferência de texto para texto lançado pela Google AI em 2020. T5 é um modelo de codificador-decodificador baseado arquitetura de Transformer, treinada em uma no conjunto de dados. Ele é eficaz em várias tarefas de processamento de linguagem natural, como gerar texto, traduzir idiomas e responder a perguntas em um jeito conversacional.

O T5 tem esse nome por causa dos cinco Ts em "Transformador de transferência de texto para texto".

T5X

#language

Um framework de machine learning de código aberto criado para criar e treinar processamento de linguagem natural em grande escala de PLN. T5 é implementado na base de código T5X (que é baseado no JAX e no Flax).

Aprendizagem Q tabular

#rl

No aprendizado por reforço, implementar Q-learning usando uma tabela para armazenar os Funções Q para cada combinação de state e action.

target

Sinônimo de rótulo.

rede de destino

#rl

No Aprendizado Q profundo, uma rede neural que é uma aproximação da rede neural principal, em que a rede neural principal implementa uma função Q ou uma política. Depois, é possível treinar a rede principal com os valores Q previstos pelo em uma rede VPC. Assim, você evita o ciclo de feedback que ocorre quando a principal rede treina com os valores Q previstos por ela mesma. Ao evitar esse feedback, a estabilidade do treinamento aumenta.

tarefa

Um problema que pode ser resolvido usando técnicas de machine learning, como:

• classificação
• regressão
• clustering
• Detecção de anomalias

temperatura

#language

#image

#generativeAI

Um hiperparâmetro que controla o grau de aleatoriedade da saída de um modelo. Temperaturas mais altas resultam em saídas mais aleatórias, enquanto temperaturas mais baixas resultam em saídas menos aleatórias.

A escolha da melhor temperatura depende do aplicativo específico e as propriedades preferidas da saída do modelo. Por exemplo, você provavelmente aumentaria a temperatura ao criar um aplicativo que gera saídas criativas. Por outro lado, você provavelmente diminuiria a temperatura ao criar um modelo que classifica imagens ou texto para melhorar a acurácia e a consistência do modelo.

A temperatura é frequentemente usada com a softmax.

dados temporais

Dados registrados em momentos diferentes. Por exemplo, as vendas de casacos de inverno registradas para cada dia do ano seriam dados temporais.

Rank 4

#TensorFlow

A estrutura de dados principal nos programas do TensorFlow. Os tensores são N-dimensionais (onde N pode ser muito grande), estruturas de dados, mais comumente escalares, vetores, ou matrizes. Os elementos de um tensor podem conter valores inteiros, de ponto flutuante ou de string.

TensorBoard

#TensorFlow

O painel que exibe os resumos salvos durante a execução de um ou programas do TensorFlow.

TensorFlow

#TensorFlow

Uma plataforma de machine learning distribuída e em grande escala. O termo também se refere a camada de API de base na pilha do TensorFlow, que é compatível com computação geral; nos gráficos do Dataflow.

Embora o TensorFlow seja usado principalmente para machine learning, você também pode usá-lo para tarefas que não são de ML que exigem computação numérica usando gráficos de fluxo de dados.

TensorFlow Playground

#TensorFlow

Um programa que visualiza como diferentes hiperparâmetros influenciam o modelo (principalmente rede neural). Acesse http://playground.tensorflow.org para testar o TensorFlow Playground.

TensorFlow Serving

#TensorFlow

Uma plataforma para implantar modelos treinados em produção.

Unidade de Processamento de Tensor (TPU)

#TensorFlow

#GoogleCloud

Um circuito integrado específico de aplicativo (ASIC) que otimiza e desempenho das cargas de trabalho de machine learning. Esses ASICs são implantados como Vários chips em um dispositivo TPU.

Classificação do Tensor

#TensorFlow

Consulte rank (Tensor).

Forma do tensor

#TensorFlow

O número de elementos que um tensor contém em várias dimensões. Por exemplo, um tensor [5, 10] tem uma forma de 5 em uma dimensão e 10 em outra.

Tamanho do tensor

#TensorFlow

O número total de escalares que um Tensor contém. Por exemplo, um tensor [5, 10] tem um tamanho de 50.

TensorStore

Uma biblioteca para leitura e leitura eficientes gravar grandes matrizes multidimensionais.

condição de encerramento

#rl

No aprendizado por reforço, as condições que determinar quando um episódio termina, por exemplo, quando o agente chega um determinado estado ou excede um número limite de transições de estado. Por exemplo, no jogo da velha (também conhecidos como nodos e cruzamentos), um episódio termina quando o jogador marca três espaços consecutivos ou quando todos os espaços são marcados.

teste

#df

Em uma árvore de decisão, outro nome para uma condition [estado].

perda de teste

#fundamentals

Uma métrica que representa a perda de um modelo em relação ao conjunto de teste. Ao criar um modelo, você normalmente tenta minimizar a perda de teste. Isso porque uma baixa perda de teste um indicador de qualidade mais forte do que uma baixa perda de treinamento ou baixa perda de validação.

Uma grande lacuna entre a perda de teste e a perda de treinamento ou de validação às vezes sugere que você precisa aumentar taxa de regularização.

conjunto de teste

Um subconjunto do conjunto de dados reservado para testar um modelo treinado.

Tradicionalmente, você divide exemplos do conjunto de dados nas três subconjuntos distintos:

• um conjunto de treinamento
• um conjunto de validação
• um conjunto de teste

Cada exemplo em um conjunto de dados precisa pertencer a apenas um dos subconjuntos anteriores. Por exemplo, um único exemplo não pode pertencer ao conjunto de treinamento e ao conjunto de teste.

O conjunto de treinamento e o conjunto de validação estão intimamente ligados ao treinamento de um modelo. Como o conjunto de teste só é associado indiretamente ao treinamento, perda de teste é uma métrica de qualidade mais alta e menos enviesada do que perda de treinamento ou perda de validação.

intervalo de texto

#language

A extensão do índice da matriz associada a uma subseção específica de uma string de texto. Por exemplo, a palavra good na string Python s="Be good now" ocupa do texto vão de 3 a 6.

tf.Example

#TensorFlow

Um padrão buffer de protocolo para descrever dados de entrada para treinamento ou inferência de modelos de machine learning.

tf.keras

#TensorFlow

Uma implementação do Keras integrada ao TensorFlow

limite (para árvores de decisão)

#df

Em uma condição alinhada ao eixo, o valor que um elemento está sendo comparado. Por exemplo, 75 é o o valor limite na seguinte condição:

grade >= 75

Esta forma do termo limiar é diferente de limiar de classificação.

análise de séries temporais

#clustering

Um subcampo do aprendizado de máquina e da estatística que analisa dados temporais. Muitos tipos de problemas de machine learning exigem análise de séries temporais, incluindo classificação, agrupamento, previsão e detecção de anomalias. Por exemplo, você pode usar a análise de séries temporais para prever as vendas futuras de casacos de inverno por mês com base nos dados históricos de vendas.

timestep

#seq

Um "não lançado" célula dentro de rede neural recorrente. Por exemplo, a figura a seguir mostra três etapas de tempo (rotuladas com os índices t-1, t e t+1):

token

#language

Em um modelo de linguagem, a unidade atômica que o modelo usa para treinar e fazer previsões. Um token é normalmente um dos seguintes:

• uma palavra, por exemplo, a frase "cachorros como gatos" consiste em três palavras tokens: "dogs", "like" e "cats".
• um caractere, por exemplo, a frase "bicicleta peixe" consiste em nove tokens de caractere. O espaço em branco conta como um dos tokens.
• subpalavras, em que uma única palavra pode ser um único token ou vários tokens. Uma subpalavra consiste em uma palavra raiz, um prefixo ou um sufixo. Por exemplo, um modelo de linguagem que usa subpalavras como tokens pode considerar a palavra "dogs" como dois tokens (a palavra raiz "dog" e o sufixo plural "s"). Esse mesmo modelo de linguagem pode considerar a palavra "taller" como duas subpalavras (a palavra raiz "tall" e o sufixo "er").

Em domínios fora dos modelos de linguagem, os tokens podem representar outros tipos de unidades atômicas. Por exemplo, em visão computacional, um token pode ser um subconjunto de uma imagem.

torre

Um componente de uma rede neural profunda que é uma rede neural profunda. Em alguns casos, cada torre lê a partir de um uma fonte de dados independente, e essas torres permanecem independentes até é combinada em uma camada final. Em outros casos, por exemplo, em a torre do codificador e do decodificador muitos Transformers), as torres têm conexões cruzadas e se relacionam entre si.

TPU

#TensorFlow

#GoogleCloud

Abreviação de Unidade de Processamento de Tensor.

Chip de TPU

#TensorFlow

#GoogleCloud

Um acelerador de álgebra linear programável com memória de alta largura de banda on-chip otimizada para cargas de trabalho de machine learning. Vários chips de TPU são implantados em um dispositivo TPU.

Dispositivo TPU

#TensorFlow

#GoogleCloud

Uma placa de circuito impresso (PCB) com vários chips de TPU, interfaces de rede de alta largura de banda e hardware de resfriamento do sistema.

Mestre da TPU

#TensorFlow

#GoogleCloud

O processo de coordenação central em execução em uma máquina host que envia e recebe dados, resultados, programas, desempenho e informações de integridade do sistema para os workers de TPU. O mestre da TPU também gerencia a configuração e o desligamento de dispositivos TPU.

Nó da TPU

#TensorFlow

#GoogleCloud

Um recurso de TPU no Google Cloud com um nome Tipo de TPU. O nó TPU se conecta à sua rede VPC de uma rede VPC peer. Os nós da TPU são um recurso definido API Cloud TPU.

Pod de TPU

#TensorFlow

#GoogleCloud

Uma configuração específica de dispositivos TPU em um ambiente data center local. Todos os dispositivos em um pod de TPU estão conectados uns aos outros. por uma rede dedicada de alta velocidade. Um Pod de TPU é a maior configuração de dispositivos de TPU disponível para uma versão específica de TPU.

Recurso da TPU

#TensorFlow

#GoogleCloud

Uma entidade de TPU no Google Cloud que você cria, gerencia ou consome. Por exemplo, nós de TPU e tipos de TPU são recursos de TPU.

Fração de TPU

#TensorFlow

#GoogleCloud

Uma fração da TPU é uma parte fracionária dos dispositivos de TPU em um pod de TPU. Todos os dispositivos em uma fração de TPU estão conectados entre si por uma rede dedicada de alta velocidade.

Tipo de TPU

#TensorFlow

#GoogleCloud

Uma configuração de um ou mais dispositivos TPU com uma versão específica de hardware de TPU. Você seleciona um tipo de TPU ao criar um nó de TPU no Google Cloud. Por exemplo, um tipo de TPU v2-8 é um único dispositivo TPU v2 com 8 núcleos. Um tipo de TPU v3-2048 tem 256 dispositivos de TPU v3 em rede e um total de 2.048 núcleos. Os tipos de TPU são um recurso definido na API Cloud TPU.

Worker da TPU

#TensorFlow

#GoogleCloud

Um processo que é executado em uma máquina host e executa programas de aprendizado de máquina em dispositivos TPU.

treinamento

#fundamentals

O processo para determinar os parâmetros ideais (pesos e vieses) que compreendem um modelo. Durante o treinamento, um sistema lê exemplos e ajusta gradualmente os parâmetros. O treinamento usa cada de algumas vezes a bilhões de vezes.

perda de treinamento

#fundamentals

Uma métrica que representa a perda de um modelo durante um para uma iteração de treinamento específica. Por exemplo, suponha que a função de perda é o Erro quadrático médio. Talvez a perda de treinamento (o erro quadrado médio) da 10ª iteração seja 2,2, e a perda de treinamento da 100ª iteração seja 1,9.

Uma curva de perda mostra a perda de treinamento em relação ao número de iterações. Uma curva de perda oferece as seguintes dicas sobre treinamento:

• Uma inclinação para baixo implica que o modelo está melhorando.
• Uma inclinação ascendente indica que o modelo está piorando.
• Uma inclinação plana indica que o modelo atingiu convergência.

Por exemplo, a seguinte curva de perda, de certa forma idealizada mostra:

• Uma inclinação acentuada para baixo durante as iterações iniciais, o que implica uma melhoria rápida do modelo.
• Uma inclinação gradualmente plana (mas ainda para baixo) até o fim do treinamento, o que implica a melhoria contínua do modelo em um ritmo um pouco mais lento do que durante as iterações iniciais.
• Uma inclinação plana no final do treinamento, o que sugere convergência.

Embora a perda de treinamento seja importante, consulte também a generalização.

Desvio de treinamento/exibição

#fundamentals

A diferença entre o desempenho de um modelo durante o treinamento e o desempenho do mesmo modelo durante a disponibilização.

conjunto de treinamento

#fundamentals

O subconjunto do conjunto de dados usado para treinar um modelo.

Tradicionalmente, os exemplos no conjunto de dados são divididos em três subconjuntos distintos:

• um conjunto de treinamento
• um conjunto de validação
• um conjunto de testes

O ideal é que cada exemplo no conjunto de dados pertença a apenas um dos subconjuntos anteriores. Por exemplo, um único exemplo não pode pertencer ao conjunto de treinamento e ao de validação.

trajetória

#rl

No aprendizado por reforço, uma sequência de tuplas que representam uma sequência de transições de estado do agente, em que cada tupla corresponde ao estado, action, recompensa e o próximo estado de uma determinada transição de estado.

aprendizado por transferência

Transferir informações de uma tarefa de aprendizado de máquina para outra. Por exemplo, na aprendizagem multitarefa, um único modelo resolve várias tarefas, como um modelo profundo com nós de saída diferentes para diferentes tarefas. O aprendizado por transferência pode envolver a transferência de conhecimento da solução de uma tarefa mais simples para uma mais complexa ou transferir conhecimento de uma tarefa com mais dados para uma com menos dados.

A maioria dos sistemas de aprendizado de máquina resolve uma única tarefa. O aprendizado de transferência é um passo inicial para a inteligência artificial, em que um único programa pode resolver várias tarefas.

Transformer

#language

Uma arquitetura de rede neural desenvolvida no Google que depende de mecanismos de autoatenção para transformar sequência de embeddings de entrada em uma sequência de saída embeddings sem depender de convoluções ou redes neurais recorrentes. Um transformador pode ser vista como uma pilha de camadas de autoatenção.

Um transformador pode incluir qualquer um dos seguintes:

• um codificador
• um decodificador
• um codificador e um decodificador,

Um codificador transforma uma sequência de embeddings em uma nova sequência do mesmo tamanho. Um codificador inclui N camadas idênticas, cada uma contendo duas subcamadas. Essas duas subcamadas são aplicadas em cada posição da sequência de incorporação de entrada, transformando cada elemento da sequência em uma nova incorporação. A primeira subcamada do codificador agrega informações sequência de entrada. A segunda subcamada do codificador transforma as informações agregadas em uma incorporação de saída.

Um decodificador transforma uma sequência de embeddings de entrada em uma sequência de os embeddings de saída, possivelmente com um comprimento diferente. Um decodificador também inclui N camadas idênticas com três subcamadas, duas das quais são semelhantes à codificadores. A terceira subcamada do decodificador recebe a saída da e aplica o mecanismo de autoatenção ao e coletar informações deles.

A postagem do blog Transformer: uma nova arquitetura de rede neural para linguagem Noções básicas fornece uma boa introdução aos transformadores.

invariância translacional

#image

Em um problema de classificação de imagens, a capacidade de um algoritmo de classificar imagens, mesmo quando a posição dos objetos na imagem muda. Por exemplo, o algoritmo ainda pode identificar um cachorro, seja no centro do frame ou na extremidade esquerda.

Consulte também variação de tamanho e invariância rotacional.

trigrama

#seq

#language

Um N-grama em que N=3.

verdadeiro negativo (VN)

#fundamentals

Um exemplo em que o modelo prevê corretamente a classe negativa. Por exemplo, o modelo infere que uma mensagem de e-mail específica não é spam e que ela realmente não é spam.

verdadeiro positivo (VP)

#fundamentals

Um exemplo em que o modelo prevê corretamente a classe positiva. Por exemplo, o modelo infere que uma mensagem de e-mail específica é spam, e essa mensagem de e-mail realmente é spam.

taxa de verdadeiro positivo (TPR)

#fundamentals

Sinônimo de recall. Ou seja:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

A taxa de verdadeiro positivo é o eixo y em uma curva ROC.

U

desconhecimento (de um atributo sensível)

#fairness

Uma situação em que atributos sensíveis estão presentes, mas não incluídos nos dados de treinamento. Como os atributos sensíveis muitas vezes estão relacionados a outros atributos dos dados, um modelo treinado sem conhecimento sobre um atributo sensível ainda pode ter efeitos diferentes em relação a esse atributo ou violar outras restrições de justiça.

underfitting

#fundamentals

Produzir um modelo com baixa capacidade de previsão porque o modelo não capturou totalmente a complexidade dos dados de treinamento. Muitos problemas podem causar ajuste inadequado, incluindo:

• Treinamento no conjunto errado de recursos.
• Treinamento para poucos períodos ou em um nível muito baixo uma taxa de aprendizado.
• Treinamento com uma taxa de regularização muito alta.
• Fornecer poucas camadas escondidas em uma rede neural profunda.

subamostragem

Remover exemplos da classe principal em um conjunto de dados com desequilíbrio de classes a fim de crie um conjunto de treinamento mais equilibrado.

Por exemplo, considere um conjunto de dados em que a proporção da classe majoritária para a classe minoritária é de 20:1. Para superar essa classe desequilíbrio, você poderia criar um conjunto de treinamento consistindo em todo o que a minoria exemplos de classe, mas apenas um décimo dos exemplos da classe majoritária, o que crie uma proporção de classe do conjunto de treinamento de 2:1. Graças à subamostragem, esse conjunto de treinamento mais equilibrado pode produzir um modelo melhor. Por outro lado, mais equilibrado pode conter exemplos insuficientes para treinar um modelo eficaz.

Contraste com a amostragem excessiva.

unidirecional

#language

Um sistema que avalia apenas o texto que antecede uma seção de texto de destino. Por outro lado, um sistema bidirecional avalia um texto que antes e segue uma seção de destino do texto. Consulte bidirecional para mais detalhes.

modelo de linguagem unidirecional

#language

Um modelo de linguagem que baseia as probabilidades apenas no tokens que aparecem antes, não depois, dos tokens de destino. Compare com o modelo de linguagem bidirecional.

exemplo não rotulado

#fundamentals

Um exemplo que contém recursos, mas nenhum rótulo. Por exemplo, a tabela a seguir mostra três exemplos não rotulados de um modelo de avaliação de casa, cada um com três recursos, mas sem valor da casa:

Número de quartos	Número de banheiros	Idade da casa
3	2	15
2	1	72
4	2	34

No machine learning supervisionado, é treinado com exemplos rotulados e faz previsões exemplos sem rótulos.

No aprendizado semi-supervisionado e não supervisionado, exemplos não rotulados são usados durante o treinamento.

Compare um exemplo não rotulado com um exemplo rotulado.

machine learning não supervisionado

#clustering

#fundamentals

Treinar um modelo para encontrar padrões em um conjunto de dados, normalmente um um conjunto de dados sem rótulo.

O uso mais comum do aprendizado de máquina não supervisionado é agrupar dados em grupos de exemplos semelhantes. Por exemplo, uma máquina não supervisionada o algoritmo de aprendizado de máquina pode agrupar músicas com base em várias propriedades da música. Os clusters resultantes podem se tornar uma entrada algoritmos de aprendizado (por exemplo, para um serviço de recomendação de músicas). O agrupamento pode ajudar quando os rótulos úteis são escassos ou ausentes. Por exemplo, em domínios como antiabuso e fraude, os clusters podem ajudar humanos a entender melhor os dados.

Compare com o machine learning supervisionado.

Clique no ícone para ver outras notas.

Outro exemplo de aprendizado de máquina não supervisionado é a análise de componentes principais (PCA). Por exemplo, aplicar a PCA em um conjunto de dados que contém o conteúdo de milhões de carrinhos de compras pode revelar que os carrinhos com limões também contêm antiácidos.

---

modelagem de aumento

Uma técnica de modelagem, comumente usada no marketing, que modela a "efeito causal" (também conhecido como "impacto incremental") de um "tratamento" em um "indivíduo". Veja dois exemplos:

• Os médicos podem usar um modelo de aumento para prever a diminuição da mortalidade (efeito causal) de um procedimento médico (tratamento) dependendo da idade e histórico médico de um paciente (indivíduo).
• Os profissionais de marketing podem usar a modelagem de aumento para prever o aumento em probabilidade de uma compra (efeito causal) devido a um anúncio (tratamento) em uma pessoa (indivíduo).

A modelagem de aumento é diferente da classificação ou regressão em que alguns rótulos (por exemplo, metade dos rótulos nos tratamentos binários) estão sempre faltando na estimativa de aumento. Por exemplo, um paciente pode receber ou não um tratamento. Assim, só podemos observar se o paciente vai se curar ou não são curadas em apenas uma dessas duas situações (mas nunca nas duas). A principal vantagem de um modelo de aumento é que ele pode gerar previsões para a situação não observada (o contrafactual) e usá-la para calcular o efeito causal.

ponderação

Aplique um peso à classe amostragem reduzida igual ao fator de redução.

matriz de usuários

#recsystems

Em sistemas de recomendação, um vetor de embedding gerado por fatoração de matriz que contém indicadores latentes sobre as preferências do usuário. Cada linha da matriz do usuário contém informações sobre o relativo força de vários sinais latentes para um único usuário. Por exemplo, considere um sistema de recomendação de filmes. Nesse sistema, os sinais latentes na matriz de usuários podem representar o interesse de cada usuário gêneros específicos ou sinais mais difíceis de interpretar que envolvem interações complexas entre múltiplos fatores.

A matriz do usuário tem uma coluna para cada atributo latente e uma linha para cada usuário. Ou seja, a matriz de usuários tem o mesmo número de linhas que o destino que está sendo fatorado. Por exemplo, considerando um sistema de recomendação de filmes para 1.000.000 de usuários, a matriz de usuários terá 1.000.000 de linhas.

V

validação

#fundamentals

A avaliação inicial da qualidade de um modelo. A validação verifica a qualidade das previsões de um modelo em relação ao conjunto de validação.

Como o conjunto de validação é diferente do conjunto de treinamento, a validação ajuda a evitar a overfitting.

Pense em avaliar o modelo em relação ao conjunto de validação como o primeira rodada de testes e avaliação do modelo em relação conjunto de teste como a segunda rodada de testes.

perda de validação

#fundamentals

Uma métrica que representa a perda de um modelo em o conjunto de validação durante um iteração do treinamento.

Consulte também curva de generalização.

conjunto de validação

#fundamentals

O subconjunto do dataset que realiza a execução uma avaliação com base em um modelo treinado. Normalmente, você avalia o modelo treinado com o conjunto de validação vezes antes de avaliar o modelo em relação ao conjunto de testes.

Tradicionalmente, você divide os exemplos no conjunto de dados nos três subconjuntos distintos a seguir:

• um conjunto de treinamento
• um conjunto de validação
• um conjunto de teste

O ideal é que cada exemplo no conjunto de dados pertença a apenas um dos subconjuntos anteriores. Por exemplo, um único exemplo não deve pertencer conjunto de treinamento e de validação.

imputação de valor

O processo de substituição de um valor ausente por um substituto aceitável. Quando um valor está ausente, você pode descartar o exemplo inteiro ou usar a imputação de valor para salvar o exemplo.

Por exemplo, considere um conjunto de dados que contém um atributo temperature que está que precisa ser gravada a cada hora. No entanto, a leitura da temperatura não estava disponível em um determinado horário. Veja uma seção do conjunto de dados:

Carimbo de data/hora	Temperatura
1680561000	10
1680564600	12
1680568200	ausente
1680571800	20
1680575400	21
1680579000	21

Um sistema pode excluir o exemplo ausente ou imputar a temperatura ausente como 12, 16, 18 ou 20, dependendo do algoritmo de imputação.

problema de evasão de gradiente

#seq

A tendência dos gradientes das primeiras camadas escondidas de algumas redes neurais profundas surpreendentemente plana (baixa). Gradientes cada vez menores resultam em mudanças cada vez menores nos pesos dos nós em uma rede neural profunda, levando a pouco ou nenhum aprendizado. Modelos que sofrem do problema do desaparecimento do gradiente dificultar ou impossibilitar o treinamento. As células Long Short-Term Memory resolvem esse problema.

Compare com o problema de gradiente de explosão.

importâncias de variáveis

#df

Um conjunto de pontuações que indica a importância relativa de cada feature ao modelo.

Por exemplo, considere uma árvore de decisão que estima os preços das casas. Suponha que essa árvore de decisão use três recursos: tamanho, idade e estilo. Se um conjunto de variáveis é importante dos três atributos são calculados como {size=5.8, age=2.5, style=4.7}, então o tamanho é mais importante para o árvore de decisão do que idade ou estilo.

Existem diferentes métricas de importância variáveis, que podem informar especialistas em ML sobre diferentes aspectos dos modelos.

codificador automático variacional (VAE, na sigla em inglês)

#language

Um tipo de codificador automático que aproveita a discrepância entre entradas e saídas para gerar versões modificadas das entradas. Os autoencoders variacionais são úteis para IA generativa.

Os VAEs são baseados na inferência variacional, uma técnica para estimar os parâmetros de um modelo de probabilidade.

vetor

Termo muito carregado cujo significado varia de acordo com os diferentes campos matemáticos e científicos. No aprendizado de máquina, um vetor tem duas propriedades:

• Tipo de dados: os vetores no aprendizado de máquina geralmente contêm números de ponto flutuante.
• Número de elementos: é o comprimento ou a dimensão do vetor.

Por exemplo, considere um vetor de atributo que contenha oito números de ponto flutuante. Esse vetor de recursos tem uma dimensão ou comprimento de oito. Os vetores de machine learning geralmente têm um número enorme de dimensões.

É possível representar muitos tipos diferentes de informações como um vetor. Exemplo:

• Qualquer posição na superfície da Terra pode ser representada como um mapa bidimensional em que uma dimensão é a latitude e a outra é a longitude.
• Os preços atuais de cada uma das 500 ações podem ser representados como um vetor de 500 dimensões.
• Uma distribuição de probabilidade sobre um número finito de classes pode ser representada como um vetor. Por exemplo, um sistema de classificação multiclasse que prevê que uma das três cores de saída (vermelho, verde ou amarelo) poderia produzir a vetor (0.3, 0.2, 0.5) para significar P[red]=0.3, P[green]=0.2, P[yellow]=0.5.

Os vetores podem ser concatenados. Portanto, várias mídias diferentes podem ser representadas como um único vetor. Alguns modelos operam diretamente concatenação de várias codificações one-hot.

Processadores especializados, como TPUs, são otimizados para ter operações matemáticas nos vetores.

Um vetor é um tensor de rank 1.

W

Perda de Wasserstein

Uma das funções de perda comumente usadas redes adversárias generativas, com base na distância da movimentação da Terra entre a distribuição de dados gerados e dados reais.

peso

#fundamentals

Um valor que um modelo multiplica por outro valor. O treinamento é o processo de determinar os pesos ideais de um modelo. inferência é o processo de usar os pesos aprendidos para fazer previsões.

Clique no ícone para conferir um exemplo de pesos em um modelo linear.

Imagine um modelo linear com dois atributos. Suponha que o treinamento determine os seguintes pesos (e viés):

• O viés, b, tem valor de 2,2.
• O peso, w₁ associado a um recurso é 1,5.
• O peso, w₂ associado ao outro atributo é 0,4.

Agora imagine um exemplo com o seguinte atributo valores:

• O valor de um atributo, x₁, é 6.
• O valor do outro atributo, x₂, é 10.

Este modelo linear usa a seguinte fórmula para gerar uma previsão: y':

$$y' = b + w_1x_1 + w_2x_2$$

Portanto, a previsão é:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

Se um peso for 0, o atributo correspondente não contribuirá para o modelo. Por exemplo, se w₁ for 0, o valor de x₁ é irrelevante.

---

Mínimos quadrados ponderados alternados (WALS)

#recsystems

Um algoritmo para minimizar a função objetivo durante a fatorização de matrizes em sistemas de recomendação, que permite uma redução de peso dos exemplos ausentes. O WALS minimiza o valor ponderado erro quadrático médio entre a matriz original e a reconstrução alternar entre a fixação da fatoração de linhas e de colunas. Cada uma dessas otimizações pode ser resolvida por mínimos quadrados otimização convexa. Para mais detalhes, consulte a Curso de sistemas de recomendação.

soma de pesos

#fundamentals

A soma de todos os valores de entrada relevantes multiplicados pelos pesos correspondentes. Por exemplo, suponha que as entradas relevantes sejam as seguintes:

valor de entrada	peso de entrada
2	-1,3
-1	0,6
3	0,4

A soma ponderada é, portanto:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Uma soma ponderada é o argumento de entrada de uma função de ativação.

modelo esparso

Um modelo linear que normalmente tem muitos recursos de entrada nulos. Chamamos isso de "ampla", porque esse modelo é um tipo especial de rede neural com um grande número de entradas que se conectam diretamente ao nó de saída. Os modelos largos geralmente são mais fáceis de depurar e inspecionar do que os modelos profundos. Embora os modelos wide não possam expressar não linearidades usando camadas ocultas, eles podem usar transformações como cruzamento de atributos e bucketização para modelar não linearidades de maneiras diferentes.

Compare com o modelo profundo.

largura

O número de neurônios em uma camada específica de uma rede neural.

sabedoria da multidão

#df

A ideia de que a média das opiniões ou estimativas de um grande grupo de pessoas (a "multidão") geralmente produz resultados surpreendentemente bons. Por exemplo, considere um jogo em que as pessoas precisam adivinhar o número de balas de gelatina em um frasco grande. Embora a maioria das palpites serão imprecisos, a média de todos os palpites será é surpreendentemente próxima do número real jujubas no pote.

Os Ensembles são um software análogo à sabedoria do público. Mesmo que os modelos individuais façam previsões muito imprecisas, a média das previsões de muitos modelos geralmente gera previsões surpreendentemente boas. Por exemplo, embora uma árvore de decisão individual possa fazer previsões ruins, uma floresta de decisão geralmente faz previsões muito boas.

incorporação de palavras

#language

Representação de cada palavra de um conjunto de palavras em uma vetor de incorporação ou seja, representar cada palavra um vetor de valores de ponto flutuante entre 0,0 e 1,0. Palavras com semelhantes significados têm representações mais semelhantes do que palavras com significados diferentes. Por exemplo, cenouras, salsão e pepinos teriam representações relativamente semelhantes, que seriam muito diferentes das representações de avião, óculos de sol e pasta de dente.

X

Álgebra linear acelerada (XLA)

Um compilador de machine learning de código aberto para GPUs, CPUs e aceleradores de ML.

O compilador XLA usa modelos de frameworks de ML conhecidos, como PyTorch; TensorFlow e JAX e as otimiza para execução de alto desempenho em diferentes plataformas de hardware, incluindo GPUs, CPUs e aceleradores de ML.

Z

Aprendizado zero-shot

Um tipo de treinamento de machine learning em que model infere uma previsão para uma tarefa que ainda não foi treinado especificamente. Em outras palavras, o modelo não recebe exemplos de treinamento específicos para a tarefa, mas é solicitado a fazer inferência para essa tarefa.

comando zero-shot

#language

#generativeAI

Um comando que não fornece um exemplo de como você quer que o modelo de linguagem grande responda. Exemplo:

Partes de uma instrução	Observações
Qual é a moeda oficial do país especificado?	A pergunta que você quer que o LLM responda.
Índia:	A consulta real.

O modelo de linguagem grande pode responder com qualquer um dos seguintes itens:

• Rúpia
• INR
• ₹
• Rúpias indianas
• A rúpia
• A rúpia indiana

Todas as respostas estão corretas, mas você pode preferir um formato específico.

Compare e contraste a ativação de zero-shot com os seguintes termos:

• comandos one-shot
• Comandos de poucos disparos (few-shot)

Normalização do escore Z

#fundamentals

Uma técnica de dimensionamento que substitui um valor bruto de elemento por um valor de ponto flutuante que representa o número de desvios padrão da média desse elemento. Por exemplo, considere um atributo com média de 800 e cujo padrão desvio é 100. A tabela a seguir mostra como a normalização do Z-score mapeia o valor bruto para o Z-score:

Valor bruto	Pontuação Z
800	0
950	+1,5
575	-2,25

O modelo de aprendizado de máquina é treinado com os escores Z para esse recurso em vez dos valores brutos.