Marcação de imagens

Com as APIs de rotulagem de imagens do Kit de ML, é possível detectar e extrair informações sobre entidades em uma imagem em um amplo grupo de categorias. O modelo padrão de rotulagem de imagens pode identificar objetos gerais, lugares, atividades, espécies animais, produtos e muito mais.

Também é possível usar um modelo de classificação de imagem personalizado para adaptar a detecção a um caso de uso específico. Consulte Como usar um modelo personalizado do TensorFlow Lite para mais informações.

Principais recursos

  • Um classificador base de uso geral avançado Reconhece mais de 400 categorias que descrevem os objetos mais encontrados nas fotos.
  • Adapte-se ao seu caso de uso com modelos personalizados Use outros modelos pré-treinados do TensorFlow Hub ou seu próprio modelo personalizado treinado com o TensorFlow, o AutoML Vision Edge ou o TensorFlow Lite Model Maker.
  • APIs de alto nível e fáceis de usar Não é necessário lidar com entrada/saída de modelos de baixo nível, pré e pós-processamento de imagens nem com a criação de um pipeline de processamento. O kit de ML extrai os rótulos do modelo do TensorFlow Lite e os fornece como uma descrição de texto.

Essa API é destinada a modelos de classificação de imagem que descrevem a imagem completa. Para classificar um ou mais objetos em uma imagem, como sapatos ou peças de móvel, a API Object Detection & Tracking pode ser mais adequada.

Modelos de classificação de imagem compatíveis

As APIs Image Labeling oferecem suporte a diferentes modelos de classificação de imagem:

Modelos de classificação de imagem compatíveis
Modelo base Por padrão, a API usa um eficiente modelo de rotulagem de imagens de uso geral que reconhece mais de 400 entidades que abrangem os conceitos mais encontrados nas fotos.
Modelos personalizados do TensorFlow Lite Para ser direcionada a conceitos específicos do aplicativo, a API aceita modelos de classificação de imagem personalizados de uma grande variedade de origens. Eles podem ser modelos pré-treinados transferidos por download do TensorFlow Hub ou seus próprios modelos treinados com o AutoML Vision Edge, o TensorFlow Lite Model Maker ou o próprio TensorFlow. Os modelos podem ser incluídos no seu app ou hospedados com o Firebase Machine Learning e transferidos por download no ambiente de execução.

Como usar o modelo base

O modelo base do Kit de ML retorna uma lista de entidades que identificam pessoas, coisas, lugares, atividades e assim por diante. Cada entidade vem com uma pontuação que indica a confiança do modelo de ML na relevância. Com essas informações, é possível executar tarefas como geração automática de metadados e moderação de conteúdo. O modelo padrão fornecido com o Kit de ML reconhece mais de 400 entidades diferentes.

iOS Android

Exemplos de rótulos

O modelo base na API de rotulagem de imagens aceita mais de 400 rótulos, como nos exemplos a seguir:

CategoriaExemplos de rótulos
Pessoas Crowd
Selfie
Smile
Atividades Dancing
Eating
Surfing
Android Things Car
Piano
Receipt
Animais Bird
Cat
Dog
Plantas Flower
Fruit
Vegetable
Places Beach
Lake
Mountain

Resultados de exemplo

Confira um exemplo das entidades que foram reconhecidas na foto complementar.

Foto: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
Rótulo 0
Texto Estádio
Confiança 0,9205354
Rótulo 1
Texto Esportes
Confiança 0,7531109
Rótulo 2
Texto Evento
Confiança 0,66905296
Rótulo 3
Texto Lazer
Confiança 0,59904146
Rótulo 4
Texto Futebol
Confiança 0,56384534
Rótulo 5
Texto Rede
Confiança 0,54679185
Rótulo 6
Texto Planta
Confiança 0,524364

Como usar um modelo personalizado do TensorFlow Lite

O modelo de rotulagem de imagens básico do Kit de ML foi criado para uso geral. Ele é treinado para reconhecer 400 categorias que descrevem os objetos mais encontrados nas fotos. Seu app pode precisar de um modelo de classificação de imagem especializado que reconheça um número mais estreito de categorias com mais detalhes, como um modelo que distingue entre espécies de flores ou tipos de alimento.

Essa API permite adaptar a um caso de uso específico, oferecendo suporte a modelos de classificação de imagem personalizados de uma ampla variedade de origens. Consulte Modelos personalizados com o Kit de ML para saber mais. Os modelos personalizados podem ser empacotados com seu aplicativo ou baixados dinamicamente da nuvem usando o serviço de implantação de modelos do Firebase Machine Learning.

iOS Android

Pré-processamento de imagens de entrada

Se necessário, a rotulagem de imagens usa dimensionamento e alongamento bilineares para ajustar o tamanho e a proporção da imagem de entrada de modo que ela atenda aos requisitos do modelo subjacente.