Pour comprendre le problème, procédez comme suit:
- Indiquez l'objectif du produit que vous développez ou refactorisez.
- Déterminer si l'objectif est mieux résolu à l'aide du ML prédictif l'IA générative ou une solution autre que le ML.
- Vérifiez que vous disposez des données nécessaires à l'entraînement d'un modèle si vous utilisez de machine learning prédictif.
Énoncer l’objectif
Commencez par énoncer votre objectif en termes autres que le ML. L'objectif est la réponse à la question : « Qu'est-ce que je essaie d'accomplir ? »
Le tableau suivant indique clairement les objectifs d'applications potentielles:
| Application | Objectif |
|---|---|
| Application Météo | Calculer les précipitations par incréments de six heures pour une région géographique. |
| Application de mode | Générez une variété de modèles de chemises. |
| Application vidéo | Recommandez des vidéos utiles. |
| Application Mail | Détecter le spam. |
| Application financière | Résumez des informations financières issues de plusieurs sources d'actualités. |
| Cartes | Calculez le temps de trajet. |
| Application bancaire | Identifiez les transactions frauduleuses. |
| Application de restauration | Identifier la cuisine par le menu d'un restaurant. |
| Application d'e-commerce | Répondez aux avis en fournissant des réponses utiles. |
Cas d'utilisation clair du ML
Pour certains, le ML est un outil universel pouvant être appliqué à tous les problèmes. Dans en réalité, le ML est un outil spécialisé qui ne convient qu'à des problèmes particuliers. Toi ne souhaitent pas implémenter une solution de ML complexe lorsqu'une solution autre que ML plus simple fonctionne correctement.
Les systèmes de ML peuvent être divisés en deux grandes catégories: le ML prédictif et IA générative. Les éléments suivants : répertorie leurs caractéristiques fondamentales:
| Entrée | Sortie | Technique d'entraînement | |
|---|---|---|---|
| ML prédictif |
Texte Image Audio Vidéo Numérique |
Effectue une prédiction, en classant par exemple comme spam ou non-spam, deviner les précipitations de demain ou prédire le cours d'une action. Le résultat peut généralement être vérifié par rapport à la réalité. | utilise généralement beaucoup de données pour entraîner un modèle supervisé, non supervisé, ou d'apprentissage par renforcement, pour effectuer tâche spécifique. |
| Generative AI |
Texte Image Audio Vidéo Numérique |
Génère un résultat basé sur l'intention de l'utilisateur, par exemple résumer un article, ou produire un clip audio ou une courte vidéo. | Utilise généralement de nombreuses données non étiquetées pour entraîner un grand modèle de langage ou un générateur d'images pour compléter les données manquantes. Le modèle peut ensuite être utilisé pour des tâches qui peuvent être définies comme des tâches à remplir affinées en l'entraînant sur des données étiquetées pour une tâche spécifique, comme la classification. |
Pour confirmer que le ML est la bonne approche, commencez par vérifier que vos ressources hors ML actuelles est optimisée. Si vous n'avez implémenté aucune autre solution de ML, de résoudre le problème manuellement à l'aide d'un heuristique.
La solution hors ML est le benchmark que vous utiliserez pour déterminer si le ML est est un bon cas d'utilisation pour votre problème. Tenez compte des questions suivantes lorsque vous comparez une approche non basée sur le ML à une approche de ML:
Qualité : Selon vous, dans quelle mesure une solution de ML peut-elle être améliorée ? Si vous vous pensez qu'une solution de ML ne représente peut-être qu'une légère amélioration, ce qui peut indiquer la solution actuelle est la meilleure.
Coûts et maintenance. Quel est le coût de la solution de ML à la fois à court et à long terme ? Dans certains cas, cela coûte beaucoup plus cher des ressources de calcul et du temps pour implémenter le ML. Posez-vous les questions suivantes :
- La solution de ML peut-elle justifier l'augmentation des coûts ? Notez que les petits les améliorations des grands systèmes peuvent facilement justifier le coût et de la mise en œuvre d'une solution de ML.
- Quel volume de maintenance la solution nécessitera-t-elle ? Dans de nombreux cas, le ML d'implémentations nécessitent une maintenance à long terme dédiée.
- Votre produit dispose-t-il des ressources nécessaires pour prendre en charge la formation ou le recrutement experts en ML ?
Testez vos connaissances
ML et données prédictifs
Les données sont le moteur du ML prédictif. Pour réparer prédictions, vous avez besoin de données contient des caractéristiques avec . Vos données doivent présenter les caractéristiques suivantes:
Abondante : Les exemples les plus pertinents et les plus utiles ensemble de données, mieux c'est votre modèle.
Cohérentes et fiables. Disposer de données cohérentes et fiables collectées produira un meilleur modèle. Par exemple, une requête météo basée sur le ML s'appuiera sur des données collectées pendant de nombreuses années auprès de ce même d'instruments.
Approuvée : Découvrez d'où viennent vos données. Les données seront-elles provenant de sources fiables que vous contrôlez, telles que les journaux de votre produit, provenant de sources que vous n'avez pas beaucoup de connaissances, comme les résultats d'une autre un système de ML ?
Disponible. Assurez-vous que toutes les entrées sont disponibles au moment de la prédiction dans le le bon format. S'il est difficile d'obtenir certaines valeurs de caractéristiques au moment de la prédiction, omettez ces caractéristiques de vos ensembles de données.
Bonne réponse. Dans les grands ensembles de données, il est inévitable étiquettes auront des valeurs incorrectes, mais si plus d'un faible pourcentage d'étiquettes sont incorrectes, le modèle de mauvaises prédictions.
Représentant : Les jeux de données doivent être aussi représentatifs que possible. En d'autres termes, les jeux de données doivent refléter avec précision les événements, les comportements des utilisateurs et/ou les phénomènes du monde réel modélisés. L'entraînement sur des ensembles de données non représentatifs peut nuire aux performances lorsque l'on demande au modèle de faire des prédictions concrètes.
Si vous ne parvenez pas à obtenir les données dont vous avez besoin au format requis, votre modèle de mauvaises prédictions.
Puissance prédictive
Pour qu'un modèle effectue des prédictions efficaces, les caractéristiques de votre ensemble de données doivent des performances prédictives. Plus une caractéristique est corrélée à une étiquette, plus est de la prédire.
Certaines fonctionnalités offriront des performances prédictives plus élevées que d'autres. Par exemple, dans un
ensemble de données météorologiques, des caractéristiques telles que cloud_coverage, temperature et
dew_point fournirait de meilleurs prévisions de pluie que moon_phase ou
day_of_week Pour l'exemple d'application vidéo, vous pouvez émettre l'hypothèse que les fonctionnalités
tels que video_description, length et views peuvent être de bons prédicteurs pour
les vidéos qu'un utilisateur voudrait regarder.
Sachez que les performances prédictives d'une caractéristique
peuvent changer parce que le contexte ou
les modifications de domaine. Par exemple, dans l'application vidéo, une fonctionnalité comme upload_date
pourrait, en général, être faiblement corrélée à l'étiquette. Toutefois, dans
sous-domaine des vidéos de jeux, upload_date peut être fortement corrélé avec
le libellé.
Déterminer quelles caractéristiques ont des capacités prédictives peut être chronophage processus. Vous pouvez explorer manuellement les performances prédictives d'une fonctionnalité en supprimant et lors de l'entraînement d'un modèle. Vous pouvez automatiser la recherche les performances prédictives à l'aide d'algorithmes Corrélation de Pearson AMI (Informations mutuelles ajustées), et Valeur de Shapley qui fournissent une évaluation numérique permettant d'analyser les performances prédictives feature.
Testez vos connaissances
Pour plus de conseils sur l'analyse et la préparation de vos ensembles de données, consultez Data Preparation and Feature Engineering for Machine Learning (Préparation des données et ingénierie des caractéristiques pour le machine learning).
Prédictions et actions
Il n'est pas utile de prédire quelque chose si vous ne pouvez pas transformer la prédiction en une action qui aide les utilisateurs. Autrement dit, votre produit doit prendre des mesures à partir du la sortie du modèle.
Par exemple, un modèle qui prédit si un utilisateur trouvera une vidéo utile doit alimenter une application qui recommande des vidéos utiles. Un modèle qui prédit s'il pleut doit alimenter une application météo.
Testez vos connaissances
À partir du scénario suivant, déterminez si l'utilisation du ML est la meilleure approche du problème.
Une équipe d’ingénieurs d’une grande organisation est responsable de la gestion les appels téléphoniques entrants.
Objectif: indiquer aux appelants le temps d'attente en fonction de leur le volume d'appel en cours.
Il n'a pas de solution en place, mais il pense qu'une heuristique consiste à diviser l'actuel le nombre de clients en attente par le nombre d'employés qui répondent au téléphone, puis multipliez le résultat par 10 minutes. Toutefois, ils savent que certains clients ont leurs problèmes résolus en deux minutes, tandis que d'autres peuvent prendre jusqu'à 45 minutes ou plus.
Leur heuristique ne leur permettra probablement pas d'obtenir un nombre assez précis. Ils
vous pouvez créer un ensemble de données contenant les colonnes suivantes:
number_of_callcenter_phones, user_issue
time_to_resolve, call_time
time_on_hold
time_on_hold.