Importazione in batch

I feed di dati ti consentono rendi disponibili il ristorante, i servizi e il menu nell'ordine end-to-end.

Questo documento spiega come ospitare gli inventari della sandbox e della produzione e come utilizzare l'importazione in batch. per aggiornare l'inventario in Ordine end-to-end.

Ambienti con feed di dati

Sono disponibili tre ambienti di feed di dati per lo sviluppo dell'integrazione:

Ambiente del feed Descrizione Importazione in batch
Sandbox L'ambiente di test per lo sviluppo del feed. Obbligatorio
Produzione L'ambiente di produzione dell'inventario che vuoi lanciare. Obbligatorio

Hosting di feed di dati

Affinché l'ordine end-to-end elabori i feed dei dati di produzione e sandbox per batch per l'importazione, devi ospitare i file dei feed di dati in Google Cloud Storage, Amazon S3 o HTTPS con un Sitemap.

Ti consigliamo di ospitare i feed di dati per gli ambienti sandbox e di produzione separatamente. Questo approccio ti consente di eseguire attività di sviluppo e test nell'ambiente del feed sandbox. prima del deployment delle modifiche in produzione.

Ad esempio, se utilizzi Google Cloud Storage come opzione di hosting, devi avere: percorsi:

  • Feed sandbox: gs://foorestaurant-google-feed-sandbox/
  • Feed di produzione: gs://foorestaurant-google-feed-prod/

Per ospitare l'inventario:

  1. Generare i file dei feed di dati.
  2. Scegli una soluzione di hosting.
  3. Ospita i tuoi feed di dati.
  4. Assicurati che i file dei feed di dati vengano aggiornati regolarmente. I feed di dati di produzione devono essere aggiornati ogni giorno.

Per informazioni dettagliate su come creare un feed di inventario, consulta la documentazione relativa al Restaurant, Service, e Menu entità, nonché Crea un feed di dati .

Linee guida sui file dei feed di dati

Ogni file, che può contenere più entità, non deve superare i 200 MB. Il livello superiore entità Restaurant, Service e Menu, insieme ai relativi le entità secondarie, non devono superare i 4 MB nel complesso.

Scegli una soluzione di hosting

La tabella seguente elenca le opzioni per l'hosting dei feed di dati e il modo in cui interagiscono Ordine end-to-end:

Amazon S3 Google Cloud Storage HTTPS con una Sitemap
Credenziali e accesso

Fornisci a Google le seguenti informazioni:

  • ID chiave di accesso
  • Chiave di accesso segreta
  • I percorsi delle directory S3 della sandbox e di produzione e marker.txt . Il percorso deve iniziare con s3://.

Il bucket S3 deve includere le seguenti informazioni:

  • File del feed per il tuo inventario.
  • marker.txt, che contiene un timestamp utilizzato per il recupero.

File marker.txt di esempio: 2018-12-03T08:30:42.694Z

Fornisci a Google i percorsi delle directory dei bucket sandbox e di produzione marker.txt. I percorsi devono iniziare con gs://.

Aggiungi l'account di servizio fornito dal tuo consulente Google come lettore del tuo account nel bucket Cloud Storage.

Per ulteriori informazioni su come controllare l'accesso a Google Cloud Storage (GCS), consulta Google Console di Cloud Platform: impostazione delle autorizzazioni del bucket.

Il bucket GCS deve includere le seguenti informazioni:

  • File del feed per il tuo inventario.
  • marker.txt, che contiene un timestamp utilizzato per il recupero.

File marker.txt di esempio: 2018-12-03T08:30:42.694Z

Fornisci a Google le seguenti informazioni:

  • Credenziali per l'autorizzazione di base.
  • Il percorso dei percorsi delle Sitemap di produzione e della sandbox. Il percorso deve iniziare con https://.
  • Protocollo: devi rendere disponibili i file dei feed tramite HTTPS, non tramite HTTP.
  • Sicurezza: Google consiglia vivamente di proteggere i file dei feed ospitati con Autenticazione di base.
In che modo Google sa quali file devono essere recuperati Elenco di directory di tutti i file nel bucket. Elenco di directory di tutti i file nel bucket. Singoli URL dei file elencati nella Sitemap.
Come Google sa che i file sono pronti per il recupero Dopo aver generato i feed di dati, aggiorna il file marker.txt con il timestamp più recente. Dopo aver generato i feed di dati, aggiorna il file marker.txt con il timestamp più recente. Dopo aver generato i feed di dati, aggiorna l'intestazione della risposta last-modified di sitemap.xml con il timestamp più recente.
Limiti per i file

Numero massimo di file: 100.000.

Devi avere meno di 100.000 file totali nel bucket Amazon S3.

Numero massimo di file: 100.000.

Il bucket Google Cloud Storage deve contenere meno di 100.000 file.

Numero massimo di file: 100.000.

Il numero di percorsi all'interno del file XML della Sitemap deve essere inferiore a 100.000.

Collegare i feed di dati per l'importazione in batch

Dopo aver ospitato i feed, devi collegarli al tuo progetto nel Centro azioni. La la configurazione iniziale dei feed di produzione viene eseguita nella pagina Attività di onboarding. Più avanti la configurazione dei feed di produzione e sandbox può essere aggiornata in qualsiasi momento dalla pagina Configurazione > Feed da qualsiasi utente del portale con un ruolo amministrativo. L'ambiente sandbox viene utilizzato per scopi di sviluppo e test, mentre i feed di produzione vengono mostrati agli utenti.

Se ospiti i tuoi feed di dati con Amazon S3

  1. Nel Centro azioni, vai a Configurazione >. Feed.
  2. Fai clic su Edit (Modifica) e compila il modulo Update Feed (Aggiorna feed):

    • Metodo di pubblicazione del feed: impostato su Amazon S3.
    • File marcatore: fornisci l'URL del file marker.txt.
    • File di dati:fornisci l'URL al bucket S3 che contiene i feed di dati.
    • Access ID (ID di accesso): inserisci l'ID della chiave di accesso IAM con le autorizzazioni per leggere da S3 Google Cloud.
    • Access Key (Chiave di accesso): inserisci la chiave di accesso segreta IAM con le autorizzazioni per leggere da S3. Google Cloud.
  3. Fai clic su Invia.
  4. Dopo una o due ore, controlla se l'importazione in batch recupera i file del feed.

Se ospiti i tuoi feed di dati con Google Cloud Storage

  1. Nel Centro azioni, vai a Configurazione >. Feed.
  2. Fai clic su Edit (Modifica) e compila il modulo Update Feed (Aggiorna feed):

    • Metodo di pubblicazione del feed:imposta su Google Cloud Storage.
    • File marcatore: fornisci l'URL del file marker.txt.
    • File di dati:fornisci l'URL al bucket GCS che contiene i feed di dati.
  3. Fai clic su Invia.
  4. Viene creato un account di servizio per accedere al bucket GCS. Il nome dell'account è disponibile in Configurazione > Feed dopo le attività di onboarding sono completate. Questo account di servizio richiede il ruolo "Lettore oggetti legacy Storage". Questo ruolo può da concedere all'account di servizio nella pagina IAM della console Google Cloud.
  5. Dopo una o due ore, controlla se l'importazione in batch recupera i file del feed.

Se ospiti i tuoi feed di dati con HTTPS

  1. Nel Centro azioni, vai a Configurazione >. Feed.
  2. Fai clic su Edit (Modifica) e compila il modulo Update Feed (Aggiorna feed):

    • Metodo di pubblicazione dei feed: imposta su HTTPS.
    • File Sitemap: fornisci l'URL del file sitemap.xml.
    • Nome utente: inserisci le credenziali nome utente per accedere al server HTTPS.
    • Password: inserisci la password per accedere al server HTTPS.
  3. Fai clic su Invia.
  4. Dopo una o due ore, controlla se l'importazione in batch recupera i file del feed.

Percorsi di esempio

La tabella seguente contiene percorsi di esempio per ciascuna opzione di hosting:

Amazon S3 Google Cloud Storage HTTPS con una Sitemap
Percorso s3://foorestaurant-google-feed-sandbox/ gs://foorestaurant-google-feed-sandbox/ https://sandbox-foorestaurant.com/sitemap.xml
File indicatore s3://foorestaurant-google-feed-sandbox/marker.txt gs://foorestaurant-google-feed-sandbox/marker.txt Non applicabile

Sitemap per l'hosting HTTPS

Attieniti alle seguenti linee guida per la definizione delle Sitemap:

  • I link nella Sitemap devono indirizzare ai file stessi.
  • Se la Sitemap include riferimenti a un cloud provider anziché al tuo nome di dominio, assicurati che l'inizio degli URL, ad esempio https://www.yourcloudprovider.com/your_id, sono stabili e univoci per il job batch.
  • Fai attenzione a non caricare Sitemap parziali (come nel caso di un caricamento di dati parziali). Attività Di conseguenza, Google dovrà importare solo i file contenuti nella Sitemap; di conseguenza, l'inventario livelli di livelli più bassi e potrebbe comportare il blocco dell'importazione del feed.
  • Assicurati che i percorsi dei file a cui viene fatto riferimento nella Sitemap non cambino. Ad esempio, non trova il riferimento della tua Sitemap https://www.yourcloudprovider.com/your_id/10000.json oggi, ma poi fa riferimento a https://www.yourcloudprovider.com/your_id/20000.json domani.
Esempio di Sitemap

Ecco un esempio di file sitemap.xml per la pubblicazione di file di feed di dati:

Esempio 1: entità raggruppate dai commercianti (consigliato).

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_1.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_2.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_3.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

Esempio 2: entità raggruppate per tipi.

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/menu.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/service.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

Aggiornare i feed di dati

Una volta collegati i feed di dati, Google controlla la disponibilità di aggiornamenti una volta ogni ora, ma importa solo tutti i feed di dati dopo che i file marker.txt o sitemap.xml sono stati modificato. Prevediamo che aggiorni i feed di dati una volta al giorno per evitare inventari inattivi.

Per specificare che i feed di dati sono stati modificati e sono pronti per l'importazione in batch, aggiorna il Campo dei metadati dell'oggetto last-modified del file marker.txt (per Google Cloud e S3) o l'intestazione della risposta last-modified del file sitemap.xml. Google utilizza questi valori per determinare l'attualità di un feed di dati.

Durante l'importazione del feed batch,

  • Nuove entità che non esistono nel tuo inventario end-to-end attuale degli ordini e non ne hanno vengono inseriti gli errori.
  • Entità già presenti nell'inventario che non presentano errori e hanno un dateModified più recente dell'importazione voce corrente o, nel caso in cui non si disponga di un dateModified, l'ora di inizio dell'importazione del feed è più recente della voce corrente che avrebbero aggiornate, altrimenti verrebbero contrassegnate come obsolete.
  • Entità che facevano parte di un feed precedente che non sono più incluse in il feed batch in elaborazione verrebbe eliminato, a condizione che non ci siano file a livello di errori nel feed.

Il timestamp o l'intestazione della risposta last-modified deve essere aggiornato solo dopo tutti i dati i file dei feed vengono generati e aggiornati. Limita i job batch che aggiornano i feed di dati in modo che vengano eseguiti solo una volta al giorno. In alternativa, lascia trascorrere almeno tre ore tra un job batch e l'altro. In caso contrario eseguire questi passaggi, Google potrebbe recuperare i file inattivi.