É possível escolher uma das seguintes estratégias de inferência:
inferência off-line, o que significa que você faz todas as previsões possíveis
em um lote usando um MapReduce ou algo semelhante. Em seguida, você grava as previsões em um SSTable ou Bigtable e as insere em uma tabela de cache/pesquisa.
inferência on-line, ou seja, você prevê sob demanda usando um servidor.
Saiba mais sobre a inferência estática e a dinâmica no vídeo a seguir (2 min).
Inferência estática x dinâmica
Paradigmas do sistema de ML: inferência
Inferência off-line
Faça todas as previsões possíveis em um lote, usando um map individuais ou semelhante.
Gravar em uma tabela e, em seguida, alimentá-los em uma tabela de cache/consulta.
Inferência on-line
Faça previsões sob demanda usando um servidor.
Paradigmas do sistema de ML: inferência
Inferência off-line
Faça todas as previsões possíveis em um lote, usando um map individuais ou semelhante.
Gravar em uma tabela e, em seguida, alimentá-los em uma tabela de cache/consulta.
Pontos positivos: não é preciso se preocupar muito com o custo de inferência.
Upside: provavelmente é possível usar a cota de lote.
Pontos positivos: pode fazer a pós-verificação das previsões nos dados antes de enviá-los.
Paradigmas do sistema de ML: inferência
Inferência off-line
Faça todas as previsões possíveis em um lote, usando um map individuais ou semelhante.
Gravar em uma tabela e, em seguida, alimentá-los em uma tabela de cache/consulta.
Pontos positivos: não é preciso se preocupar muito com o custo de inferência.
Upside: provavelmente é possível usar a cota de lote.
Upside: pode fazer pós-verificação nas previsões nos dados antes de enviá-los.
Desvantagem: só consegue prever coisas que sabemos, o que é ruim.
Desvantagem: a latência da atualização provavelmente medida em horas ou dias.
Paradigmas do sistema de ML: inferência
Inferência on-line
Faça previsões sob demanda usando um servidor.
Upside: consegue prever qualquer novo item conforme ele chega, o que é ótimo para ações complexas.
Paradigmas do sistema de ML: inferência
Inferência on-line
Faça previsões sob demanda usando um servidor.
Upside: consegue prever qualquer novo item conforme ele chega, o que é ótimo para ações complexas.
Desvantagem: uso intenso de computação, sensível à latência e pode limitar a complexidade do modelo.
Desvantagem: as necessidades de monitoramento são mais intensas.
Resumo da aula em vídeo
Confira os prós e contras da inferência off-line:
Pró: não é preciso se preocupar muito com o custo da inferência.
Pró: provavelmente é possível usar a cota de lote ou algum MapReduce gigante.
Pró: pode fazer a pós-verificação das previsões antes de enviá-las.
Desvantagem: só consegue prever coisas que sabemos, pior para cauda longa.
Desvantagem: a latência de atualização provavelmente é medida em horas ou dias.
Veja os prós e contras da inferência on-line:
Pró: é possível fazer uma previsão sobre qualquer novo item à medida que ele chega, o que é ótimo para cauda
longa.
Desvantagem: computação intensa, sensível à latência. Pode limitar a complexidade do modelo.
Desvantagem: o monitoramento das necessidades é mais intenso.