Nesta página, você encontra os termos do glossário de IA generativa. Para ver todos os termos do glossário, clique aqui.
A
modelo autoregressivo
Um model que infere uma previsão com base nas próprias previsões anteriores. Por exemplo, os modelos de linguagem com regressão automática preveem o próximo token com base nos tokens previstos anteriormente. Todos os modelos de linguagem grandes baseados em Transformer são autorregressivos.
Por outro lado, os modelos de imagem baseados em GAN geralmente não são autoregressivos, porque geram uma imagem em uma única passagem direta e não de maneira iterativa em etapas. No entanto, alguns modelos de geração de imagens são autorregressivos porque geram uma imagem em etapas.
C
comandos de fluxo de consciência
Uma técnica de engenharia de comando que incentiva um modelo de linguagem grande (LLM) para explicar o raciocínio passo a passo. Por exemplo, considere o comando a seguir, prestando atenção principal na segunda frase:
Quantas forças g um motorista enfrenta em um carro que vai de 0 a 96 km por hora em 7 segundos? Na resposta, mostre todos os cálculos relevantes.
A resposta do LLM provavelmente:
- Mostre uma sequência de fórmulas físicas, inserindo os valores 0, 60 e 7 em locais adequados.
- Explique por que escolheu essas fórmulas e o que as diversas variáveis significam.
Os comandos de cadeia de pensamento forçam o LLM a realizar todos os cálculos, o que pode levar a uma resposta mais correta. Além disso, o comando de cadeia de pensamento permite que o usuário examine as etapas do LLM para determinar se a resposta faz sentido ou não.
chat
O conteúdo de uma caixa de diálogo com um sistema de ML, normalmente um modelo de linguagem grande. A interação anterior em um chat (o que você digitou e como o modelo de linguagem grande respondeu) se torna o contexto para as partes subsequentes.
Um chatbot é a aplicação de um modelo de linguagem grande.
embedding de linguagem contextualizada
Uma incorporação que se aproxima de "entender" palavras e frases de maneiras que falantes humanos nativos conseguem fazer. Os embeddings de linguagem contextualizados podem entender sintaxe, semântica e contexto complexos.
Por exemplo, considere os embeddings da palavra em inglês vaw (vaca). Embeddings mais antigos, como word2vec, podem representar palavras em inglês de forma que a distância no espaço de incorporação de vaca a touro seja semelhante à distância de ewe (ovelhas) e ram (ovelhas machos) ou de feminino para masculino. Incorporações de linguagem contextualizadas podem ir um passo além reconhecendo que os falantes de inglês às vezes usam casualmente a palavra vaca para significar vaca ou touro.
janela de contexto
O número de tokens que um modelo pode processar em um determinado comando. Quanto maior a janela de contexto, mais informações o modelo poderá usar para fornecer respostas coerentes e consistentes ao comando.
D
comandos diretos
Sinônimo de comando zero-shot.
destilação
O processo de reduzir o tamanho de um model (conhecido como model) em um modelo menor (conhecido como model) que emula as previsões do modelo original da maneira mais fiel possível. Ela é útil porque o modelo menor tem dois benefícios principais em relação ao maior (o professor):
- Tempo de inferência mais rápido
- Redução no uso de memória e energia
No entanto, as previsões do estudante normalmente não são tão boas quanto as do professor.
A extração treina o modelo estudante para minimizar uma função de perda com base na diferença entre os resultados das previsões dos modelos estudante e professor.
Compare e diferencie a destilação com os seguintes termos:
F
comandos few-shot
Um comando que contém mais de um (um "pouco") exemplo demonstrando como o modelo de linguagem grande precisa responder. O comando longo a seguir contém dois exemplos que mostram um modelo de linguagem grande como responder a uma consulta.
| Partes de um comando | Observações |
|---|---|
| Qual é a moeda oficial do país especificado? | A pergunta que você quer que o LLM responda. |
| França: EUR | Um exemplo. |
| Reino Unido: GBP | Outro exemplo. |
| Índia: | A consulta real. |
Os comandos few-shot geralmente produzem resultados mais desejáveis do que os comandos zero-shot e os comandos one-shot. No entanto, os comandos few-shot exigem um comando mais longo.
Os comandos few-shot são uma forma de aprendizado few-shot aplicada ao aprendizado baseado em comandos.
ajuste
Um segundo cartão de treinamento específico da tarefa realizado em um modelo pré-treinado para refinar os parâmetros dele para um caso de uso específico. Por exemplo, a sequência de treinamento completa para alguns modelos de linguagem grandes é a seguinte:
- Pré-treinamento:treine um modelo de linguagem grande em um conjunto de dados geral vasto, como todas as páginas da Wikipédia em inglês.
- Ajuste: treine o modelo pré-treinado para executar uma tarefa específica, como responder a consultas médicas. O ajuste geralmente envolve centenas ou milhares de exemplos focados na tarefa específica.
Como outro exemplo, a sequência completa de treinamento para um modelo de imagem grande é a seguinte:
- Pré-treinamento: treine um modelo de imagem grande em um conjunto de dados de imagens geral vasto, como todas as imagens em Wikimedia commons.
- Ajuste:treine o modelo pré-treinado para executar uma tarefa específica, como gerar imagens de orcas.
O ajuste pode envolver qualquer combinação das seguintes estratégias:
- Modificar todos os parâmetros do modelo pré-treinado. Isso às vezes é chamado de ajuste completo.
- Modificar apenas alguns dos parâmetros atuais do modelo pré-treinado (geralmente, as camadas mais próximas da camada de saída), enquanto mantém os outros parâmetros atuais inalterados (geralmente, as camadas mais próximas da camada de entrada). Consulte ajuste de eficiência de parâmetros.
- Adição de mais camadas, geralmente sobre as camadas existentes mais próximas da camada de saída.
O ajuste é uma forma de aprendizado por transferência. Assim, o ajuste fino pode usar uma função de perda diferente ou um tipo de modelo diferente daqueles usados para treinar o modelo pré-treinado. Por exemplo, é possível ajustar um modelo de imagem grande pré-treinado para produzir um modelo de regressão que retorne o número de pássaros em uma imagem de entrada.
Compare e contraste o ajuste fino com os seguintes termos:
G
IA generativa
Um campo transformador emergente sem definição formal. Dito isso, a maioria dos especialistas concorda que os modelos de IA generativa podem criar ("gerar") conteúdo que é tudo o seguinte:
- complexo
- coerentes
- original
Por exemplo, um modelo de IA generativa pode criar ensaios ou imagens sofisticadas.
Algumas tecnologias anteriores, incluindo LSTMs e RNNs, também podem gerar conteúdo original e coerente. Alguns especialistas veem essas tecnologias anteriores como IA generativa, enquanto outros acreditam que a verdadeira IA generativa requer resultados mais complexos do que essas tecnologias anteriores podem produzir.
Contraste com o ML preditivo.
I
aprendizado em contexto
Sinônimo de comandos few-shot.
ajuste de instruções
Uma forma de ajuste que melhora a capacidade de um modelo de IA generativa seguir as instruções. O ajuste de instruções envolve o treinamento de um modelo em uma série de prompts, geralmente abrangendo uma ampla variedade de tarefas. O modelo ajustado por instruções resultante tende a gerar respostas úteis a comandos zero-shot em várias tarefas.
Comparar e contrastar com:
L
LoRA
Abreviação de Adaptabilidade na classificação baixa.
Adaptabilidade na classificação baixa (LoRA, na sigla em inglês)
Um algoritmo para realizar ajustes com eficiência de parâmetros que ajusta apenas um subconjunto dos parâmetros de um modelo de linguagem grande. Ela oferece os seguintes benefícios:
- Ajusta mais rapidamente do que técnicas que exigem o ajuste correto de todos os parâmetros de um modelo.
- Reduz o custo computacional de inferência no modelo ajustado.
Um modelo ajustado com a LoRA mantém ou melhora a qualidade das previsões.
A LoRA ativa várias versões especializadas de um modelo.
M
modelo em cascata
Um sistema que escolhe o model ideal para uma consulta de inferência específica.
Imagine um grupo de modelos, desde muito grande (muitos parâmetros) até muito menor (muito menos parâmetros). Modelos muito grandes consomem mais recursos computacionais no momento da inferência do que modelos menores. No entanto, modelos muito grandes costumam inferir solicitações mais complexas do que modelos menores. A cascata de modelo determina a complexidade da consulta de inferência e, em seguida, escolhe o modelo apropriado para realizar a inferência. A principal motivação para a cascata de modelo é reduzir os custos de inferência geralmente selecionando modelos menores e apenas um modelo maior para consultas mais complexas.
Imagine que um modelo pequeno seja executado em um smartphone e uma versão maior dele seja executada em um servidor remoto. A boa cascata de modelos reduz o custo e a latência. Isso permite que o modelo menor processe solicitações simples e chame apenas o modelo remoto para processar solicitações complexas.
Consulte também modelo de roteador.
roteador modelo
O algoritmo que determina o model ideal para a model em model. Um roteador de modelo normalmente é um modelo de machine learning que aprende gradualmente a escolher o melhor modelo para uma determinada entrada. No entanto, um roteador de modelo pode, às vezes, ser um algoritmo mais simples que não seja de machine learning.
O
comandos one-shot
Um comando que contém um exemplo que demonstra como o modelo de linguagem grande deve responder. Por exemplo, o comando a seguir contém um exemplo que mostra um modelo de linguagem grande como ele deve responder a uma consulta.
| Partes de um comando | Observações |
|---|---|
| Qual é a moeda oficial do país especificado? | A pergunta que você quer que o LLM responda. |
| França: EUR | Um exemplo. |
| Índia: | A consulta real. |
Compare os comandos one-shot e os seguintes termos:
P
ajuste de eficiência de parâmetros
Um conjunto de técnicas para ajustar um grande modelo de linguagem pré-treinado (PLM, na sigla em inglês) de forma mais eficiente do que ajustes completos. O ajuste com eficiência de parâmetros normalmente ajusta muito menos parâmetros do que o ajuste fino completo. No entanto, geralmente produz um modelo de linguagem grande que tem um desempenho tão bom (ou quase tão bom) quanto um modelo de linguagem grande criado com base em ajustes completos.
Compare e contraste o ajuste com eficiência de parâmetros usando:
O ajuste da eficiência de parâmetros também é conhecido como ajustes finos com eficiência de parâmetros.
PLM
Abreviação de modelo de linguagem pré-treinado.
modelo pré-treinado
Modelos ou componentes do modelo (como um vetor de embedding) que já foram treinados. Às vezes, você alimenta os vetores de embedding pré-treinados em uma rede neural. Outras vezes, o modelo treinará os próprios vetores de embedding em vez de depender de embeddings pré-treinados.
O termo modelo de linguagem pré-treinado refere-se a um modelo de linguagem grande que passou por pré-treinamento.
pré-treinamento
O treinamento inicial de um modelo em um grande conjunto de dados. Alguns modelos pré-treinados são gigantes desajeitados e normalmente precisam ser refinados com treinamento adicional. Por exemplo, os especialistas em ML podem pré-treinar um modelo de linguagem grande em um vasto conjunto de dados de texto, como todas as páginas em inglês na Wikipédia. Após o pré-treinamento, o modelo resultante pode ser refinado ainda mais por meio de qualquer uma das técnicas a seguir:
prompt
Qualquer texto inserido como entrada em um modelo de linguagem grande para condicionar o modelo a se comportar de determinada maneira. Os comandos podem ser tão curtos quanto uma frase ou arbitrariamente longos (por exemplo, o texto inteiro de um romance). Os comandos se enquadram em várias categorias, incluindo as mostradas na tabela abaixo:
| Categoria da solicitação | Exemplo | Observações |
|---|---|---|
| Pergunta | Qual é a velocidade máxima de um pombo? | |
| Instrução | Escreva um poema engraçado sobre arbitragem. | Um prompt que pede para o modelo de linguagem grande fazer algo. |
| Exemplo | Traduza o código Markdown para HTML. Por exemplo:
Markdown: * item da lista HTML: <ul> <li>list item</li> </ul> |
A primeira frase do comando de exemplo é uma instrução. O restante do comando é o exemplo. |
| Papel | Explicar por que o gradiente descendente é usado no treinamento de machine learning para um PhD em física. | A primeira parte da frase é uma instrução. A frase "para um PhD em física" é a parte da função. |
| Entrada parcial para o modelo concluir | O primeiro-ministro do Reino Unido mora em | Um comando de entrada parcial pode terminar abruptamente, como no exemplo, ou terminar com um sublinhado. |
Um modelo de IA generativa pode responder a um comando com texto, código, imagens, embeddings, vídeos... quase tudo.
aprendizado baseado em comandos
Um recurso de determinados modelos que permite adaptar o comportamento em resposta a entradas de texto arbitrárias (solicitações). Em um paradigma típico de aprendizado baseado em comandos, um modelo de linguagem grande responde a um comando gerando texto. Por exemplo, suponha que um usuário digite o seguinte comando:
Resumir a terceira lei de Newton.
Um modelo capaz de aprendizado baseado em comandos não é treinado especificamente para responder ao comando anterior. Em vez disso, o modelo "sabe" muitos fatos sobre física, muito sobre regras de linguagem gerais e muito sobre o que constitui respostas geralmente úteis. Esse conhecimento é suficiente para fornecer uma resposta (esperamos) útil. Mais feedback humano ("Essa resposta foi muito complicada" ou "O que é uma reação?") permite que alguns sistemas de aprendizado baseados em comandos melhorem gradualmente a utilidade das respostas.
design de comandos
Sinônimo de engenharia de comando.
engenharia de comando
A arte de criar comandos que recebem as respostas desejadas de um modelo de linguagem grande. Os humanos executam a engenharia de comandos. Escrever comandos bem estruturados é essencial para garantir respostas úteis de um modelo de linguagem grande. A engenharia de prompts depende de muitos fatores, incluindo:
- O conjunto de dados usado para pré-treinar e possivelmente ajustar o modelo de linguagem grande.
- A temperatura e outros parâmetros de decodificação que o modelo usa para gerar respostas.
Consulte Introdução à criação de comandos para saber como escrever comandos úteis.
O design de comandos é um sinônimo de engenharia de comandos.
ajuste de comandos
Um mecanismo de ajuste eficiente de parâmetros que aprende um "prefixo" anexado ao prompt real.
Uma variação do ajuste de comandos, às vezes chamado de ajuste de prefixo, consiste em preparar o prefixo em cada camada. Por outro lado, a maioria dos ajustes de comandos só adiciona um prefixo à camada de entrada.
R
Aprendizado por reforço com feedback humano (RLHF)
Usar feedback de avaliadores humanos para melhorar a qualidade das respostas de um modelo. Por exemplo, um mecanismo de RLHF pode pedir que os usuários classifiquem a qualidade da resposta de um modelo com um emoji 👍 ou 👎. O sistema pode ajustar as respostas futuras com base nesse feedback.
comandos de função
Uma parte opcional de um comando que identifica um público-alvo para a resposta de um modelo de IA generativa. Sem um comando de papel, um modelo de linguagem grande fornece uma resposta que pode ou não ser útil para a pessoa que faz as perguntas. Com um prompt de papel, um modelo de linguagem grande pode responder de maneira mais apropriada e mais útil para um público-alvo específico. Por exemplo, a parte do prompt de papel dos comandos a seguir está em negrito:
- Resuma este artigo sobre um PhD em economia.
- Descreva como as marés funcionam para uma criança de 10 anos.
- Explicar a crise financeira de 2008. Fale como se fosse com uma criança ou um golden retriever.
S
ajuste de prompts flexíveis
Uma técnica para ajustar um modelo de linguagem grande para uma tarefa específica, sem ajustes que consomem muitos recursos. Em vez de treinar novamente todos os pesos no modelo, o ajuste de prompts flexíveis ajusta automaticamente um comando para alcançar o mesmo objetivo.
Dado um prompt textual, o ajuste de prompts flexíveis normalmente anexa outros embeddings de token ao prompt e usa a retropropagação para otimizar a entrada.
Um prompt "hard" contém tokens reais em vez de embeddings de token.
T
temperatura
Um hiperparâmetro que controla o grau de aleatoriedade da saída de um modelo. Temperaturas mais altas resultam em uma saída mais aleatória, enquanto temperaturas mais baixas resultam em uma saída menos aleatória.
Escolher a melhor temperatura depende do aplicativo específico e das propriedades preferenciais da saída do modelo. Por exemplo, você provavelmente aumentaria a temperatura ao criar um aplicativo que gera resultados criativos. Por outro lado, você provavelmente diminuiria a temperatura ao criar um modelo que classifica imagens ou textos para melhorar a precisão e consistência.
A temperatura costuma ser usada com softmax.
Z
comandos zero-shot
Um comando que não forneça um exemplo de como você quer que o modelo de linguagem grande responda. Exemplo:
| Partes de um comando | Observações |
|---|---|
| Qual é a moeda oficial do país especificado? | A pergunta que você quer que o LLM responda. |
| Índia: | A consulta real. |
O modelo de linguagem grande pode responder com qualquer uma das seguintes opções:
- Rúpia
- INR
- ₹
- Rúpias indianas
- A rúpia
- A rúpia indiana
Todas as respostas estão corretas, mas você pode preferir um formato específico.
Compare os comandos zero-shot e os seguintes termos: