Serwer SFTP ogólnego pliku danych umożliwia przesyłanie wielu typów plików danych na jeden serwer SFTP na środowisko. W tym przewodniku znajdziesz instrukcje korzystania z serwera Generic SFTP oraz linki do odpowiednich przewodników dotyczących kanału, którego chcesz użyć.
Serwer Generic SFTP wymaga 2 oddzielnych przesyłań:
- Plik z informacjami: określa, jaki typ pliku danych będziesz przesyłać.
- Pliki pliku danych: zawartość rzeczywistego pliku danych.
Strukturowanie pola opisu
Plik opisu jest przesyłany, aby poinformować nasz system, jaki typ pliku danych przesyłasz. Dzięki temu możemy prawidłowo zweryfikować i przetworzyć plik danych. Plik opisu należy przesłać przed treścią pliku danych. Musi on spełniać te wymagania dotyczące nazewnictwa:
- Plik opisu musi mieć rozszerzenie
.filesetdesc.json. - Nazwa pliku każdego deskryptora musi być niepowtarzalna i nie można jej ponownie użyć w przypadku innych przesyłanych plików. Zalecamy podanie w nazwie pliku sygnatury czasowej wygenerowania i nazwy pliku danych.
- Przykład: offers_1524606581.filesetdesc.json
- Każdy plik opisu musi zawierać listę wszystkich plików danych w najnowszym pliku danych o odpowiedniej nazwie.
message FilesetDescriptor {
// The timestamp at which this feed was generated, in Unix time format
// (seconds since the epoch). (required)
int64 generation_timestamp = 1;
// Identifies the name of this feed. (required)
string name = 2;
// Paths (relative to the dropbox root) specifying data files included in this
// feed. (required)
repeated string data_file = 3;
}Możliwe wartości pola name:
Poniżej znajdziesz przykładowy plik opisu JSON dla pliku danych z ofertami z 2 fragmentami:
{
"generation_timestamp": 1524606581,
"name": "promote.offer",
"data_file": [
"offers_1524606581_1.json",
"offers_1524606581_2.json"
]
}Struktura treści w pliku danych
Po przesłaniu pliku opisu przesyłasz wszystkie pliki pliku danych dla typu danych pliku danych odpowiadającego plikowi konfiguracji pliku danych o nazwie podanej w pliku opisu. Nazwy plików i ścieżki (względne na serwerze SFTP) muszą być identyczne z tymi, które zostały podane w polu data_file. Jeśli brakuje któregoś pliku, jego nazwa jest nieprawidłowa lub został on przesłany do innej lokalizacji, cały plik nie zostanie przetworzony.
Treść tych plików danych musi być zgodna z odpowiednią specyfikacją pliku danych, która została określona w pliku opisu.
Nazwa każdego pliku danych musi być niepowtarzalna i nie można jej użyć ponownie w przypadku innych przesyłanych plików. Zalecamy uwzględnienie w nazwie pliku znacznika czasu wygenerowania i numeru fragmentu (identyfikator w postaci kolejnej liczby).
- Przykład: offers_1524606581_1.json
Rozmiary plików danych i częstotliwość przesyłania
- Rozmiar pliku danych nie może przekraczać 200 MB (po skompresowaniu).
- Rozmiar każdego skompresowanego pliku danych powinien być mniejszy niż 2 GB.
- Większość integracji będzie wymagać użycia tylko 1 fragmentu. Należy używać jak najmniejszej liczby fragmentów. Maksymalna liczba fragmentów na plik danych wynosi 1000.
- Poszczególne rekordy wysłane w ramach jednego fragmentu nie muszą być wysyłane pod tym samym numerem fragmentu w przyszłych plikach danych.
- Aby uzyskać lepszą wydajność, podziel dane równomiernie między fragmentami, aby wszystkie pliki fragmentów miały zbliżoną wielkość.
- W razie potrzeby użyj gzip do skompresowania plików danych. Zrób to jednak osobno dla każdego fragmentu pliku danych.
Rozwiązywanie problemów i debugowanie
Po przesłaniu plików (plików opisu i plików danych) przejdź do panelu historii plików danych (dokumentacja) w Portalu Partnera (kliknij Historia > Pliki danych), aby śledzić postępy przetwarzania pliku danych.
Aby znaleźć plik danych, poszukaj w kolumnie „Nazwa pliku danych” name, który został podany w pliku opisu.
Gdy plik danych zostanie przetworzony (stan Success lub Fail), możesz kliknąć jego wiersz, aby wyświetlić szczegóły błędów i ostrzeżeń.