Przetwarzanie wsadowe

Twoje pliki danych pozwalają aby Twoja restauracja, usługi i menu były dostępne w kompleksowym zamawianiu.

Z tego dokumentu dowiesz się, jak hostować zasoby reklamowe piaskownicy i produkcyjne oraz korzystać z pozyskiwania danych wsadowych , aby zaktualizować asortyment w ramach kompleksowego składania zamówień.

Środowiska pliku danych

Dostępne są 3 środowiska pliku danych na potrzeby programowania integracji:

Środowisko pliku danych	Opis	Pozyskiwanie wsadowe
Tryb piaskownicy	Środowisko testowe tworzenia pliku danych.	Wymagane
Produkcja	Środowisko produkcyjne dla zasobów reklamowych, które chcesz uruchomić.	Wymagane

Hosting plików danych

W celu kompleksowego przetwarzania zbiorczych plików danych z środowiska piaskownicy i środowiska produkcyjnego musisz przechowywać pliki danych w Google Cloud Storage, Amazon S3 lub HTTPS za pomocą mapy witryny.

Zalecamy hostowanie plików danych w środowisku piaskownicy i w środowisku produkcyjnym oddzielnie. Dzięki temu możesz programować i testować w środowisku piaskownicy. przed wdrożeniem zmian w środowisku produkcyjnym.

Jeśli na przykład używasz Google Cloud Storage jako opcji hostingu, będziesz mieć tak: ścieżki:

• Plik danych w trybie piaskownicy: gs://foorestaurant-google-feed-sandbox/
• Plik danych produkcyjnych: gs://foorestaurant-google-feed-prod/

Aby hostować swoje zasoby reklamowe, wykonaj te czynności:

1. Wygeneruj pliki danych.
2. Wybierz rozwiązanie hostingowe.
3. Hostuj swoje pliki danych.
4. Pamiętaj o regularnym aktualizowaniu plików danych. Pliki danych produkcyjnych muszą być aktualizowane w każdym dniu.

Aby dowiedzieć się, jak utworzyć plik danych o asortymencie, zapoznaj się z dokumentacją Restaurant, Service, i Menu podmiotów oraz Tworzenie pliku danych .

Wytyczne dotyczące plików danych

Każdy plik, który może zawierać wiele elementów, nie może przekraczać 200 MB. Organizacja najwyższego poziomu elementy Restaurant, Service i Menu oraz ich elementy elementów podrzędnych, nie mogą łącznie przekraczać 4 MB.

Uwaga: zalecamy umieszczenie wszystkich powiązanych restauracji, usług i menu łącznie w jednym pliku danych, po jednym na każdą lokalizację sprzedawcy. Dla: Jeśli na przykład masz 8000 lokalizacji sprzedawców, wygeneruj 8000 plików. W osobnym pliku lokalizacja sprzedawcy może ułatwić debugowanie i obsługę integracji.

Wybierz rozwiązanie hostingowe

W tabeli poniżej znajdziesz opcje hostowania plików danych oraz sposób współdziałania tych hostów Kompleksowa pomoc w zamawianiu:

	Amazon S3	Google Cloud Storage	HTTPS z mapą witryny
Dane logowania i dostęp	Podaj Google następujące informacje: Identyfikator klucza dostępu Tajny klucz dostępu Ścieżki do katalogów S3 w środowisku produkcyjnym i piaskownicy oraz marker.txt . Ścieżka musi zaczynać się od s3://. Zasobnik S3 musi zawierać te informacje: Pliki danych dotyczące asortymentu. marker.txt, który zawiera sygnaturę czasową używaną do pobierania. Przykładowy plik marker.txt: 2018-12-03T08:30:42.694Z	Podaj Google ścieżki do katalogów zasobników produkcyjnych i piaskownicy oraz marker.txt. Ścieżki muszą zaczynać się od gs://. Dodaj konto usługi podane przez konsultanta Google jako czytelnika Google Zasobnik Cloud Storage. Aby dowiedzieć się więcej o tym, jak kontrolować dostęp do Google Cloud Storage (GCS), zapoznaj się z artykułem Google Konsola Cloud Platform: ustawianie uprawnień zasobnika. Zasobnik GCS musi zawierać te informacje: Pliki danych dotyczące asortymentu. marker.txt, który zawiera sygnaturę czasową używaną do pobierania. Przykładowy plik marker.txt: 2018-12-03T08:30:42.694Z	Podaj Google następujące informacje: Dane logowania do uwierzytelniania podstawowego. Ścieżka do ścieżek mapy witryny produkcyjnej i piaskownicy. Ścieżka musi zaczynać się od https://. Protokół: musisz udostępnić pliki kanału przez HTTPS, a nie HTTP. Bezpieczeństwo: Google zdecydowanie zaleca ochronę plików hostowanych za pomocą Uwierzytelnianie podstawowe.
Skąd Google wie, które pliki należy pobrać	Lista katalogów zawierająca wszystkie pliki w zasobniku.	Lista katalogów zawierająca wszystkie pliki w zasobniku.	Pojedyncze adresy URL plików wymienionych w mapie witryny.
Skąd Google wie, że pliki są gotowe do pobrania	Po wygenerowaniu plików danych zaktualizuj plik marker.txt z najnowszą sygnaturą czasową.	Po wygenerowaniu plików danych zaktualizuj plik marker.txt z najnowszą sygnaturą czasową.	Po wygenerowaniu plików danych zaktualizuj nagłówek odpowiedzi last-modified z sitemap.xml z najnowszą sygnaturą czasową.
Limity plików	Maksymalna liczba plików: 100 000. W zasobniku Amazon S3 musisz mieć mniej niż 100 000 plików.	Maksymalna liczba plików: 100 000. W zasobniku Google Cloud Storage musisz mieć łącznie mniej niż 100 000 plików.	Maksymalna liczba plików: 100 000. Liczba ścieżek w pliku XML mapy witryny musi być mniejsza niż 100 000.

Połącz pliki danych na potrzeby przetwarzania wsadowego

Po zakończeniu hostowania plików danych musisz je połączyć ze swoim projektem w Centrum działań. wstępną konfigurację plików danych produkcyjnych przeprowadza się na stronie Zadania wprowadzenia. Później konfigurację plików produkcyjnych i plików danych piaskownicy może w każdej chwili zaktualizować na stronie Konfiguracja > Pliki danych przez dowolnego użytkownika portalu z rolę administracyjną. Jest ono używane do programowania i testowania, pliki danych są wyświetlane użytkownikom.

Jeśli hostujesz pliki danych na platformie Amazon S3

1. W Centrum działań kliknij Konfiguracja >. Pliki danych.

2. Kliknij Edytuj i wypełnij formularz aktualizowania pliku danych:

   • Metoda przesyłania pliku danych: ustaw Amazon S3.
   • Marker File (Plik znacznika): podaj adres URL pliku marker.txt.
   • Pliki danych: podaj adres URL zasobnika S3 zawierającego pliki danych.
   • Identyfikator dostępu: wpisz identyfikator klucza dostępu uprawnień z uprawnieniami do odczytu z S3. i zasobami Google Cloud.
   • Klucz dostępu: wpisz tajny klucz dostępu uprawnień z uprawnieniami do odczytu z S3. i zasobami Google Cloud.
3. Kliknij Prześlij.
4. Po upływie godziny lub dwóch sprawdź, czy przetwarzanie zbiorcze pobiera pliki danych.

Jeśli hostujesz pliki danych w Google Cloud Storage

1. W Centrum działań kliknij Konfiguracja >. Pliki danych.

2. Kliknij Edytuj i wypełnij formularz aktualizowania pliku danych:

   • Metoda dostarczania pliku danych: ustaw Google Cloud Storage.
   • Marker File (Plik znacznika): podaj adres URL pliku marker.txt.
   • Pliki danych: podaj adres URL zasobnika GCS zawierającego pliki danych.
3. Kliknij Prześlij.
4. Utworzono konto usługi mające dostęp do zasobnika GCS. Nazwa konta znajduje się tutaj: Po zadaniach wprowadzających kliknij Konfiguracja > Pliki danych. są kompletne. To konto usługi wymaga roli „Odczytujący starsze obiekty pamięci masowej”. Ta rola może zostanie przypisany do konta usługi na stronie Uprawnienia w konsoli Google Cloud.
5. Po upływie godziny lub dwóch sprawdź, czy przetwarzanie zbiorcze pobiera pliki danych.

Jeśli hostujesz pliki danych za pomocą protokołu HTTPS

1. W Centrum działań kliknij Konfiguracja >. Pliki danych.

2. Kliknij Edytuj i wypełnij formularz aktualizowania pliku danych:

   • Metoda dostarczania pliku danych: ustaw HTTPS.
   • Plik mapy witryny: podaj adres URL pliku sitemap.xml.
   • Nazwa użytkownika: wpisz nazwę użytkownika, aby uzyskać dostęp do serwera HTTPS.
   • Hasło: wpisz hasło dostępu do serwera HTTPS.
3. Kliknij Prześlij.
4. Po upływie godziny lub dwóch sprawdź, czy przetwarzanie zbiorcze pobiera pliki danych.

Przykładowe ścieżki

W tabeli poniżej znajdziesz przykładowe ścieżki dla poszczególnych opcji hostingu:

	Amazon S3	Google Cloud Storage	HTTPS z mapą witryny
Ścieżka	s3://foorestaurant-google-feed-sandbox/	gs://foorestaurant-google-feed-sandbox/	https://sandbox-foorestaurant.com/sitemap.xml
Plik znacznika	s3://foorestaurant-google-feed-sandbox/marker.txt	gs://foorestaurant-google-feed-sandbox/marker.txt	Nie dotyczy

Mapy witryn dla hostingu HTTPS

Definiując mapy witryn, postępuj według tych wskazówek:

• Linki w mapie witryny muszą prowadzić do samych plików.
• Jeśli mapa witryny zawiera odniesienia do dostawcy chmury zamiast nazwy Twojej domeny, upewnij się, że początek adresów URL, np. https://www.yourcloudprovider.com/your_id, są stabilne i unikalne dla Twojego zadania wsadowego.
• Uważaj, aby nie przesyłać częściowych map witryn (na przykład w przypadku częściowego przesłania danych). Wykonuję W rezultacie Google przetworzy tylko pliki z mapy witryny, co spowoduje, że zasoby reklamowe i może spowodować zablokowanie przetwarzania kanału.
• Upewnij się, że ścieżki do plików, do których odwołuje się mapa witryny, nie zmieniają się. Nie stosuj na przykład: ustaw odniesienie do mapy witryny https://www.yourcloudprovider.com/your_id/10000.json dzisiaj, ale wróć do https://www.yourcloudprovider.com/your_id/20000.json jutro.

Przykładowa mapa witryny

Oto przykładowy plik sitemap.xml, który udostępnia pliki danych:

Przykład 1: elementy pogrupowane przez sprzedawców (zalecane).

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_1.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_2.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_3.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

Przykład 2. Elementy pogrupowane według typów.

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/menu.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/service.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

Uwaga: w przypadku kompleksowej mapy witryny w zakresie zamawiania to jedyne wymagane pole to loc.

Aktualizowanie plików danych

Po połączeniu plików danych Google co godzinę sprawdza dostępność aktualizacji, ale pozyskujemy tylko wszystkich plików danych, jeśli pliki marker.txt lub sitemap.xml zostały wcześniej zmodyfikowane. Oczekujemy, że będziesz aktualizować pliki danych raz dziennie, aby zapobiec wyświetlaniu nieaktualnych informacji o asortymencie.

Aby wskazać, że pliki danych zostały zmodyfikowane i są gotowe do przetwarzania wsadowego, zaktualizuj atrybut Pole metadanych obiektu last-modified pliku marker.txt (w przypadku GCP i S3) lub nagłówek odpowiedzi last-modified w pliku sitemap.xml. Google korzysta z tych wartości, aby określić aktualność pliku danych.

Podczas przetwarzania pliku danych wsadowego

• Nowe elementy, których nie ma w Twoich bieżących zasobach reklamowych typu „kompleksowa usługa porządkowania” i które nie mają żadnych zostałyby wstawione błędy.
• Elementy występujące już w zasobach reklamowych, w przypadku których nie ma żadnych błędów i mają o dateModified nowsze niż w bieżącym wpisie lub w przypadku braku identyfikatora dateModified czas rozpoczęcia przetwarzania kanału jest późniejszy niż bieżący wpis aktualizacji, w przeciwnym razie zostaną oznaczone jako nieaktualne.
• Elementy, które były częścią poprzedniego pliku danych, a które nie są już uwzględnione w pliku danych przetwarzany plik danych zostanie usunięty, jeśli nie będzie żadnego pliku błędów w pliku danych.

Sygnaturę czasową lub nagłówek odpowiedzi last-modified trzeba zaktualizować dopiero po dostarczeniu wszystkich danych plików danych. Ogranicz zadania wsadowe, które aktualizują pliki danych, tak aby działały tylko raz dziennie. Możesz też robić co najmniej 3-godzinne przerwy między każdym zadaniem wsadowym. Jeśli nie chcesz wykonując te czynności, Google może pobrać nieaktualne pliki.

Uwaga: last-modified różni się od obsługi wersji encji. last-modified jest wyzwalany, gdy grupa zostanie podjęta i nie ma żadnego wpływu na wersji encji.