O que significa "generativa" no nome "Rede Adversária Generativa"? Generativo descreve uma classe de modelos estatísticos que contrasta com os modelos discriminativos.
Informalmente:
- Os modelos generativos podem gerar novas instâncias de dados.
- Os modelos discriminativos diferenciam diferentes tipos de instâncias de dados.
Um modelo generativo pode gerar novas fotos de animais que se parecem com animais reais, enquanto um modelo discriminativo pode diferenciar um cachorro de um gato. As GANs são apenas um tipo de modelo generativo.
Mais formalmente, dado um conjunto de instâncias de dados X e um conjunto de rótulos Y:
- Os modelos generativos capturam a probabilidade conjunta p(X, Y) ou apenas p(X) se não houver rótulos.
- Os modelos discriminativos capturam a probabilidade condicional p(Y | X).
Um modelo generativo inclui a distribuição dos dados e informa a probabilidade de um determinado exemplo. Por exemplo, os modelos que preveem a próxima palavra em uma sequência são geralmente generativos (geralmente muito mais simples que GANs) porque podem atribuir uma probabilidade a uma sequência de palavras.
Um modelo discriminativo ignora a questão de saber se uma determinada instância é provável e apenas informa a probabilidade de um rótulo ser aplicado à instância.
Essa é uma definição muito geral. Há muitos tipos de modelo generativo. As GANs são apenas um tipo de modelo generativo.
Como modelar probabilidades
Nenhum dos dois tipos de modelo precisa retornar um número que represente uma probabilidade. É possível simular a distribuição de dados imitando essa distribuição.
Por exemplo, um classificador discriminativo, como uma árvore de decisão, pode rotular uma instância sem atribuir uma probabilidade a ela. Esse classificador ainda seria um modelo, porque a distribuição de todos os rótulos previstos modelaria a distribuição real de rótulos nos dados.
Da mesma forma, um modelo generativo pode modelar uma distribuição produzindo dados "falsos" convincentes que parecem ter sido extraídos dessa distribuição.
Modelos generativos são difíceis
Os modelos generativos enfrentam uma tarefa mais difícil do que modelos discriminativos análogos. Os modelos generativos precisam mais.
Um modelo generativo para imagens pode capturar correlações como "coisas que parecem barcos provavelmente vão aparecer perto de coisas que parecem água" e "é improvável que olhos apareçam na testa". Essas são distribuições muito complicadas.
Por outro lado, um modelo discriminativo pode aprender a diferença entre "sailboat" e "not sailboat" apenas procurando alguns padrões reveladores. Ele pode ignorar muitas das correlações que o modelo generativo precisa acertar.
Os modelos discriminativos tentam traçar limites no espaço de dados, enquanto os modelos generativos tentam modelar como os dados são colocados em todo o espaço. Por exemplo, o diagrama a seguir mostra modelos discriminativos e generativos de dígitos escritos à mão:
Figura 1: modelos discriminativos e generativos de dígitos escritos à mão.
O modelo discriminativo tenta diferenciar os 0s e 1s manuscritos por meio de uma linha no espaço de dados. Se a linha estiver correta, ela poderá distinguir 0s de 1s sem precisar modelar exatamente onde as instâncias são colocadas no espaço de dados em ambos os lados da linha.
Por outro lado, o modelo generativo tenta produzir 1s e 0s convincentes gerando dígitos próximos das contrapartes reais no espaço de dados. Ele precisa modelar a distribuição em todo o espaço de dados.
As GANs oferecem uma maneira eficaz de treinar esses modelos ricos para que se pareçam com uma distribuição real. Para entender como elas funcionam, precisamos entender a estrutura básica de uma GAN.
Verifique sua compreensão: modelos generativos x discriminativos
- Jogue três dados de seis lados.
- Multiplique o rolamento por uma constante w.
- Repita 100 vezes e calcule a média de todos os resultados.