Utiliser la boîte de dépôt du flux générique

La boîte de dépôt d'un flux générique permet d'importer plusieurs types de flux une seule boîte de dépôt par environnement. Ce guide vous explique comment utiliser Boîte de dépôt générique et fournir des liens vers le guide du produit concerné que vous prévoyez d'utiliser.

Pour en savoir plus, consultez section Exporter des flux (de bout en bout) ou Flux (déclencheur) de la documentation).

La boîte de dépôt générique repose sur deux importations distinctes :

  1. Fichier descripteur:décrit le type de flux que vous allez utiliser. importation en cours
  2. Fichiers de flux : contenu du flux

Structurer le champ de descripteur

Le fichier descripteur est importé pour indiquer à notre système le type de flux sont en cours d'importation. Cela nous permet de valider et de traiter correctement le flux. Le fichier de descripteur doit être importé avant le contenu du flux et doit respecter les exigences de dénomination suivantes :

  • Vous devez utiliser l'extension .filesetdesc.json pour le fichier descripteur.
  • Chaque nom de fichier descripteur doit être unique et ne peut pas être réutilisé pour plusieurs importations. Mer nous vous recommandons d'inclure l'horodatage de la génération et le nom du flux dans le nom de fichier.
    • Exemple: offer_1524606581.filesetdesc.json
  • Chaque fichier de descripteur doit répertorier l'ensemble des fichiers de données du flux le plus récent pour le nom de flux concerné.
message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Les valeurs possibles pour le champ name sont les suivantes :

Vous trouverez ci-dessous un exemple de fichier de descripteur JSON pour un flux d'offres avec deux segments :

{
  "generation_timestamp": 1524606581,
  "name": "promote.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Structurer le contenu du flux

Après avoir importé le fichier descripteur, importez tous les fichiers de flux pour le type de données de flux correspondant au fichier de configuration du flux nommé par votre fichier descripteur. Les noms de fichiers et les emplacements des chemins d'accès (relatifs dans boîte de dépôt) doit correspondre exactement à ce qui a été inclus dans data_file. Si un fichier est manquant, mal nommé ou importé à un autre emplacement, l'ensemble du flux ne sera pas traités.

Le contenu de ces fichiers de données de flux doit respecter les spécifications du flux spécifiées dans le fichier descripteur.

Chaque nom de fichier de flux doit être unique et ne peut pas être réutilisé d'une importation à l'autre. Nous vous recommandons y compris le code temporel de génération et le numéro de segment (ID incrémentiel) dans le nom de fichier.

  • Exemple : offers_1524606581_1.json

Tailles des fichiers de flux et fréquence d'importation

  • La taille du fichier de flux ne doit pas dépasser 200 Mo (après compression).
  • La taille de chaque fichier de données décompressées doit être inférieure à 2 Go.
  • La plupart des intégrations ne nécessitent qu'une seule partition. Vous devez utiliser le moins de fragments possible. Le nombre de segments est limité à 1 000 par flux.
  • Il n'est pas nécessaire que les enregistrements individuels envoyés dans un segment numéro de segment dans les futurs flux.
  • Pour de meilleures performances, répartissez les données uniformément entre les segments la taille des fichiers segmentés est similaire.
  • Si nécessaire, utilisez gzip pour compresser les flux. Toutefois, faites-le pour chaque segment de vos flux.

Dépannage et débogage

Après avoir importé vos fichiers (fichiers de descripteur et de flux), accédez à Tableau de bord de l'historique du flux (documentation) sur le portail des partenaires (accédez à Historique > Flux) pour suivre la progression de l'ingestion de votre flux.

Recherchez le name saisi dans le fichier descripteur sous "Nom du flux". pour trouver votre flux.

Une fois le flux ingéré (état Success ou Fail), vous pouvez cliquer sur sa ligne pour afficher les détails des erreurs et des avertissements.