SFTP Generik

Server SFTP feed Generik memungkinkan beberapa jenis feed diupload ke satu server SFTP per lingkungan. Panduan ini akan menjelaskan cara menggunakan server SFTP Generik dan memberikan link ke panduan yang sesuai untuk setiap feed yang akan Anda gunakan.

(Lihat bagian Mengekspor Feed (end-to-end) atau Feed (pemula) dalam dokumentasi).

Server SFTP Generik bergantung pada dua upload terpisah:

  1. File deskriptor: menjelaskan jenis feed yang akan Anda upload
  2. File feed: konten feed sebenarnya

Menyusun kolom deskriptor

File deskriptor diupload untuk memberi tahu sistem kami tentang jenis feed yang Anda upload. Hal ini memungkinkan kami memvalidasi dan memproses feed dengan benar. File deskriptor harus diupload sebelum konten feed dan harus mengikuti persyaratan penamaan berikut:

  • Anda harus menggunakan ekstensi file .filesetdesc.json untuk file deskriptor.
  • Setiap nama file deskriptor harus unik dan tidak dapat digunakan kembali di seluruh upload. Sebaiknya sertakan stempel waktu pembuatan dan nama feed dalam nama file.
    • Contoh: offers_1524606581.filesetdesc.json
  • Setiap file deskriptor harus mencantumkan semua file data dalam feed terbaru untuk nama feed yang relevan.
message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Nilai yang mungkin untuk kolom name mencakup:

  • reservewithgoogle.entity
  • google.offer

Contoh file deskriptor JSON untuk feed penawaran dengan dua shard tersedia di bawah:

{
  "generation_timestamp": 1524606581,
  "name": "google.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Menyusun konten feed

Setelah mengupload file deskriptor, Anda akan mengupload semua file feed untuk jenis data feed yang sesuai dengan file konfigurasi feed yang diberi nama oleh file deskriptor Anda. Nama file dan lokasi jalur (relatif dalam server SFTP) harus sama persis dengan yang disertakan dalam kolom data_file. Jika ada file yang tidak ada, diberi nama yang salah, atau diupload ke lokasi yang berbeda, seluruh feed tidak akan di proses.

Konten file data feed ini harus sesuai dengan spesifikasi feed yang relevan dari feed yang ditentukan dalam file deskriptor.

Setiap nama file feed harus unik dan tidak dapat digunakan kembali di seluruh upload. Sebaiknya sertakan stempel waktu pembuatan dan nomor shard (ID inkremental) dalam nama file.

  • Contoh: offers_1524606581_1.json

Ukuran file feed dan frekuensi upload

  • Pertahankan ukuran file feed di bawah 200 MB (setelah kompresi).
  • Ukuran setiap file data yang didekompresi tidak boleh lebih dari 2 GB.
  • Sebagian besar integrasi hanya perlu menggunakan satu shard. Anda harus menggunakan shard sesedikit mungkin. Maksimum ada 1.000 shard per feed.
  • Setiap data yang dikirim dalam satu shard tidak perlu dikirim dalam nomor shard yang sama di feed mendatang.
  • Untuk mendapatkan performa yang lebih baik, bagi data secara merata di antara shard sehingga semua file yang di-sharding memiliki ukuran yang serupa.
  • Jika perlu, gunakan gzip untuk mengompresi feed. Namun, lakukan hal tersebut untuk setiap shard feed.

Pemecahan masalah dan proses debug

Setelah mengupload file (file deskriptor dan feed), buka Penampil Penyerapan (dokumentasi) di Portal Partner (buka Penyerapan > Histori) untuk mengikuti progres penyerapan feed Anda.

Cari name yang telah Anda masukkan dalam file deskriptor di kolom "Nama feed" untuk menemukan feed Anda.

Setelah feed diserap (statusnya adalah Success atau Fail), Anda dapat mengklik barisnya untuk melihat detail error dan peringatan.