Exercice 1: Commencez clairement et simplement

Écrivez ce que le modèle de machine learning doit faire.

Nous voulons que le modèle de machine learning :

Conseils pour optimiser les annonces
À ce stade, l'instruction peut être qualitative, mais assurez-vous qu'elle capture votre objectif réel, et non un objectif indirect. En cas de doute, reportez-vous aux leçons précédentes pour découvrir ce que les modèles de machine learning peuvent faire.

Exercice 2: le résultat idéal

L'ajout de votre modèle de ML à votre système devrait produire le résultat souhaité. Quel est le résultat, indépendamment du modèle lui-même ? Notez que ce résultat peut être très différent de la façon dont vous évaluez le modèle et sa qualité.

Voici le résultat idéal :

Conseils pour optimiser les annonces
Vous n'avez pas besoin de vous limiter aux métriques pour lesquelles votre produit est déjà optimisé (elles seront abordées dans l'exercice suivant). Concentrez-vous plutôt sur l'objectif plus large de votre produit ou service.

Exercice 3: vos indicateurs de réussite

Notez vos métriques de réussite et d'échec avec le système de ML. Les métriques d'échec sont importantes, c'est-à-dire comment saurez-vous si le système de ML est défaillant ? Les métriques de réussite et d'échec doivent être formulées indépendamment des métriques d'évaluation du modèle. Par exemple, ne parlez pas de la précision, du rappel ni de l'AUC. Privilégiez plutôt les résultats attendus. Souvent, ces métriques sont liées au résultat idéal que vous avez indiqué ci-dessus.

Nos métriques de réussite sont :

Notre modèle de ML est considéré comme un échec dans les cas suivants :

Conseils pour optimiser les annonces
  • Les métriques sont-elles mesurables ?
  • Comment les mesurez-vous ?
  • Quand pourrez-vous les mesurer ?
    • Combien de temps vous faudra-t-il pour savoir si votre nouveau système de ML est une réussite ou un échec ?
  • Tenez compte des coûts d'ingénierie et de maintenance à long terme.
  • L'échec peut ne pas être simplement dû au non-respect d'une métrique de réussite.

Exercice 4: Votre sortie

Écrivez le résultat que votre modèle de ML doit produire.

La sortie de notre modèle de ML se présentera comme suit :

Le résultat est l'un des suivants:

Conseils pour optimiser les annonces
  • La sortie doit être quantifiable avec une définition qu'une machine peut produire.
  • Si vous utilisez le ML prédictif, pouvez-vous obtenir des exemples de sorties à utiliser pour les données d'entraînement ?
    • Comment et depuis quelle source ?
  • Vous devrez peut-être adapter vos exemples de sortie, par exemple en transformant la durée de visionnage en centile.
  • S'il est difficile d'obtenir des exemples de résultats à utiliser pour l'entraînement, vous devrez peut-être revoir vos réponses aux exercices précédents pour reformuler votre problème et atteindre vos objectifs afin d'entraîner un modèle avec vos données.

Exercice 5: Utiliser la sortie

Indiquez à quel moment votre sortie doit être obtenue à partir du modèle de ML et la manière dont elle est utilisée dans votre produit.

La sortie du modèle de ML sera obtenue dans les cas suivants :

Le résultat sera utilisé pour :

Conseils pour optimiser les annonces
Réfléchissez aux données dont vous aurez besoin pour effectuer la prédiction. Par exemple, si vous utilisez le ML pour prédire la durée d'un trajet dans une application de cartographie, vous pouvez écrire : "La sortie du modèle sera obtenue lorsque l'utilisateur sélectionnera l'origine, la destination et le mode de transport."
Réfléchissez à la façon dont vous utiliserez le résultat prédit dans votre produit.
  • S'affiche-t-il immédiatement dans l'interface utilisateur ?
  • Sera-t-elle consommée par la logique métier ultérieure ?
  • Quelles sont vos exigences en termes de latence ?
Ces exigences (la diffusion du modèle de ML) peuvent avoir une incidence sur les informations qui peuvent servir à effectuer des prédictions. Par exemple :
  • La latence liée à l'utilisation de données provenant de services distants peut rendre cette tâche impossible.
  • Si les sources de données sont en retard dans la mise à disposition des nouvelles informations:
    • Les journaux traités ne peuvent être générés qu'une fois par jour.
    • Certaines informations sont inconnues jusqu'à ce qu'elles se produisent réellement (comme les événements de conversion).
Le test Oracle: partez du principe que vous avez toujours la bonne réponse. Comment l'utiliseriez-vous dans votre produit ?

Exercice 6: Votre heuristique

Écrivez comment résoudre le problème si vous n'utilisez pas le ML. Par exemple, les heuristiques que vous pourriez utiliser.

Si nous n'utilisions pas le ML :

Conseils pour optimiser les annonces
Imaginez un scénario dans lequel vous devez livrer le produit demain, et vous ne pouvez que coder en dur la logique métier. Que feriez-vous ?
Cliquez sur le bouton ci-dessous pour imprimer ou enregistrer vos réponses au format PDF.

Imprimer la page