Máy chủ SFTP nguồn cấp dữ liệu chung cho phép tải nhiều loại nguồn cấp dữ liệu lên một máy chủ SFTP duy nhất cho mỗi môi trường. Hướng dẫn này sẽ trình bày cách sử dụng máy chủ SFTP chung và cung cấp đường liên kết đến hướng dẫn phù hợp cho từng nguồn cấp dữ liệu mà bạn dự định sử dụng.
(Vui lòng tham khảo phần Xuất nguồn cấp dữ liệu (từ đầu đến cuối) hoặc Nguồn cấp dữ liệu (dành cho người mới bắt đầu) trong tài liệu).Máy chủ SFTP chung dựa vào việc có 2 lần tải lên riêng biệt:
- Tệp mô tả: mô tả loại nguồn cấp dữ liệu mà bạn sẽ tải lên
- Tệp nguồn cấp dữ liệu: nội dung của nguồn cấp dữ liệu thực tế
Cấu trúc trường mô tả
Tệp mô tả được tải lên để thông báo cho hệ thống của chúng tôi về loại nguồn cấp dữ liệu mà bạn đang tải lên. Điều này cho phép chúng tôi xác thực và xử lý nguồn cấp dữ liệu một cách chính xác. Bạn phải tải tệp mô tả lên trước nội dung nguồn cấp dữ liệu và phải tuân theo các yêu cầu về tên sau:
- Bạn phải sử dụng đuôi tệp
.filesetdesc.jsoncho tệp mô tả. - Mỗi tên tệp mô tả phải là duy nhất và không được sử dụng lại trong các lần tải lên. Bạn nên đưa dấu thời gian tạo và tên nguồn cấp dữ liệu vào tên tệp.
- Ví dụ: offers_1524606581.filesetdesc.json
- Mỗi tệp mô tả phải liệt kê tất cả các tệp dữ liệu trong nguồn cấp dữ liệu mới nhất cho tên nguồn cấp dữ liệu có liên quan.
message FilesetDescriptor { // The timestamp at which this feed was generated, in Unix time format // (seconds since the epoch). (required) int64 generation_timestamp = 1; // Identifies the name of this feed. (required) string name = 2; // Paths (relative to the dropbox root) specifying data files included in this // feed. (required) repeated string data_file = 3; }
Các giá trị có thể có cho trường name bao gồm:
- reservewithgoogle.entity
- google.offer
Dưới đây là ví dụ về tệp mô tả JSON cho nguồn cấp dữ liệu ưu đãi có 2 phân đoạn:
{
"generation_timestamp": 1524606581,
"name": "google.offer",
"data_file": [
"offers_1524606581_1.json",
"offers_1524606581_2.json"
]
}Cấu trúc nội dung nguồn cấp dữ liệu
Sau khi tải tệp mô tả lên, bạn sẽ tải tất cả các tệp nguồn cấp dữ liệu
cho loại dữ liệu nguồn cấp dữ liệu tương ứng với tệp cấu hình nguồn cấp dữ liệu có tên theo
tệp mô tả của bạn. Tên tệp và vị trí đường dẫn (tương đối trong
máy chủ SFTP) phải khớp chính xác với những gì có trong trường
data_file. Nếu thiếu tệp, tệp có tên không chính xác hoặc
được tải lên một vị trí khác, thì toàn bộ nguồn cấp dữ liệu sẽ không được
xử lý.
Nội dung của các tệp dữ liệu nguồn cấp dữ liệu này phải tuân thủ quy cách có liên quan của nguồn cấp dữ liệu được chỉ định trong tệp mô tả.
Mỗi tên tệp nguồn cấp dữ liệu phải là duy nhất và không được sử dụng lại trong các lần tải lên. Bạn nên đưa dấu thời gian tạo và số phân đoạn (mã nhận dạng tăng dần) vào tên tệp.
- Ví dụ: offers_1524606581_1.json
Kích thước tệp nguồn cấp dữ liệu và tần suất tải lên
- Giữ kích thước tệp nguồn cấp dữ liệu dưới 200 MB (sau khi nén).
- Kích thước của mỗi tệp dữ liệu đã giải nén phải nhỏ hơn 2 GB.
- Hầu hết các quá trình tích hợp sẽ chỉ cần sử dụng một phân đoạn. Bạn nên sử dụng càng ít phân đoạn càng tốt. Mỗi nguồn cấp dữ liệu có tối đa 1.000 phân đoạn.
- Bạn không cần gửi các bản ghi riêng lẻ được gửi trong một phân đoạn theo cùng một số phân đoạn trong các nguồn cấp dữ liệu sau này.
- Để có hiệu suất tốt hơn, hãy chia đều dữ liệu giữa các phân đoạn để tất cả các tệp phân đoạn có kích thước tương tự nhau.
- Nếu cần, hãy sử dụng gzip để nén nguồn cấp dữ liệu. Tuy nhiên, hãy làm như vậy cho từng phân đoạn nguồn cấp dữ liệu riêng lẻ.
Khắc phục sự cố và gỡ lỗi
Sau khi tải tệp lên (tệp mô tả và tệp nguồn cấp dữ liệu), hãy chuyển đến Trình xem quá trình nhập (tài liệu) trên Cổng đối tác (chuyển đến Quá trình nhập > Nhật ký) để theo dõi tiến trình nhập nguồn cấp dữ liệu.
Tìm name mà bạn đã nhập trong tệp mô tả ở cột "Tên nguồn cấp dữ liệu" để tìm nguồn cấp dữ liệu của bạn.
Sau khi nguồn cấp dữ liệu được nhập (trạng thái là Success hoặc Fail), bạn có thể nhấp vào
hàng của nguồn cấp dữ liệu đó để xem thông tin chi tiết về các lỗi và cảnh báo.