Dziennikowanie i monitorowanie działają razem, aby pomóc Ci w zrozumieniu i optymalizacji wydajności aplikacji oraz diagnozowaniu błędów i problemów związanych z systemem. W przypadku wszystkich wywołań interfejsu API należy włączyć logi podsumowania, a w przypadku nieudanych wywołań interfejsu API – szczegółowe logi. Dzięki temu w razie potrzeby pomocy technicznej będziesz mieć możliwość udostępnienia logów wywołań interfejsu API.
Rejestrowanie biblioteki klienta
Biblioteki klienta interfejsu Google Ads API mają wbudowane rejestrowanie. Szczegółowe informacje o logowaniu na poszczególnych platformach znajdziesz w dokumentacji biblioteki klienta.
Format dziennika
Biblioteki klienta interfejsu Google Ads API generują szczegółowy dziennik i podsumowanie dziennika dla każdego wywołania interfejsu API. Szczegółowy dziennik zawiera wszystkie szczegóły wywołania interfejsu API, natomiast podsumowanie zawiera minimalne szczegóły wywołania interfejsu API. Pokazuje przykład każdego typu dziennika, w którym dzienniki są skrócone i sformatowane w celu ułatwienia ich odczytania.
Log podsumowania
GoogleAds.SummaryRequestLogs Warning: 1 : [2023-09-15 19:58:39Z] -
Request made: Host: , Method: /google.ads.googleads.v14.services.GoogleAdsService/SearchStream,
ClientCustomerID: 5951878031, RequestID: hELhBPNlEDd8mWYcZu7b8g,
IsFault: True, FaultMessage: Status(StatusCode="InvalidArgument",
Detail="Request contains an invalid argument.")
Szczegółowy dziennik
GoogleAds.DetailedRequestLogs Verbose: 1 : [2023-11-02 21:09:36Z] -
---------------BEGIN API CALL---------------
Request
-------
Method Name: /google.ads.googleads.v14.services.GoogleAdsService/SearchStream
Host:
Headers: {
"x-goog-api-client": "gl-dotnet/5.0.0 gapic/17.0.1 gax/4.2.0 grpc/2.46.3 gccl/3.0.1 pb/3.21.5",
"developer-token": "REDACTED",
"login-customer-id": "1234567890",
"x-goog-request-params": "customer_id=4567890123"
}
{ "customerId": "4567890123", "query": "SELECT ad_group_criterion.type FROM
ad_group_criterion WHERE ad_group.status IN(ENABLED, PAUSED) AND
campaign.status IN(ENABLED, PAUSED) ", "summaryRowSetting": "NO_SUMMARY_ROW" }
Response
--------
Headers: {
"date": "Thu, 02 Nov 2023 21:09:35 GMT",
"alt-svc": "h3-29=\":443\"; ma=2592000"
}
{
"results": [ {
"adGroupCriterion": {
"resourceName": "customers/4567890123/adGroupCriteria/456789456789~123456123467",
"type": "KEYWORD"
} }, {
"adGroupCriterion": {
"resourceName": "customers/4567890123/adGroupCriteria/456789456789~56789056788",
"type": "KEYWORD"
} } ],
"fieldMask": "adGroupCriterion.type", "requestId": "VsJ4F00ew6s9heHvAJ-abw"
}
----------------END API CALL----------------
Co zrobić, jeśli nie używam biblioteki klienta?
Jeśli nie używasz biblioteki klienta, zaimplementuj własne rejestrowanie, aby rejestrować szczegóły wychodzących i przyjmowanych wywołań interfejsu API. Należy odnotować co najmniej wartość nagłówka odpowiedzi request-id, którą można udostępnić zespołom pomocy technicznej w razie potrzeby.
Logowanie w chmurze
Do rejestrowania logów i danych o wydajności aplikacji możesz używać wielu narzędzi. Możesz na przykład użyć Cloud Logging, aby rejestrować dane o wydajności w projekcie Google Cloud. Dzięki temu możesz konfigurować panele i alerty w Google Cloud Monitoring, aby korzystać z zarejestrowanych danych.
Cloud Logging udostępnia biblioteki klienta we wszystkich obsługiwanych językach bibliotek klienta interfejsu Google Ads API (z wyjątkiem Perl), więc w większości przypadków można prowadzić logi bezpośrednio z integracji z Cloud Logging. W przypadku innych języków, w tym Perla, Cloud Logging udostępnia też interfejs API REST.
Istnieje kilka opcji rejestrowania w Cloud Logging lub innym narzędziu z biblioteki klienta interfejsu Google Ads API. Każda opcja ma swoje zalety i wady związane z czasem implementacji, złożonością i wydajnością. Zanim zdecydujesz, które rozwiązanie wdrożyć, dokładnie przeanalizuj te kompromisy.
Opcja 1. Zapisz lokalne dzienniki w chmurze z procesu w tle
Aby prowadzić tworzenie plików dziennika przez bibliotekę klienta na lokalnym komputerze, zmodyfikuj konfigurację rejestrowania. Gdy dzienniki zostaną wyprowadzone do pliku lokalnego, możesz skonfigurować demona, który będzie zbierać dzienniki i wysyłać je do chmury.
Jednym z ograniczeń tego podejścia jest to, że niektóre dane dotyczące skuteczności nie będą rejestrowane domyślnie. Dzienniki biblioteki klienta zawierają szczegóły obiektów żądania i odpowiedzi, więc wskaźniki opóźnień nie będą uwzględniane, chyba że zostaną wprowadzone dodatkowe zmiany, aby rejestrować te dane.
Opcja 2. Uruchamiaj aplikację w Compute Engine i zainstaluj agenta operacyjnego
Jeśli Twoja aplikacja działa w Compute Engine, możesz wysyłać logi do Google Cloud Logging, instalując agenta operacyjnego. Aby wysyłać logi aplikacji do Cloud Logging, oprócz wskaźników i logów wysyłanych domyślnie, możesz skonfigurować agenta operacyjnego.
Jeśli Twoja aplikacja działa już w środowisku Google Cloud lub rozważasz przeniesienie jej do Google Cloud, warto rozważyć tę opcję.
Opcja 3. Wdrożenie rejestrowania w kodzie aplikacji
Logowanie bezpośrednio z kodu aplikacji można wykonać na 2 sposoby:
uwzględnienie obliczeń danych i instrukcji logowania we wszystkich odpowiednich miejscach w kodzie, Ta opcja jest bardziej odpowiednia w przypadku mniejszych baz kodu, w których zakres i koszty konserwacji takiej zmiany byłyby minimalne.
Implementacja interfejsu logowania. Jeśli logikę aplikacji można zastosować w taki sposób, aby różne części aplikacji dziedziczyły z tej samej klasy bazowej, w tej klasie bazowej można zaimplementować logikę rejestrowania. Ta opcja jest zazwyczaj preferowana w porównaniu z włączaniem instrukcji logowania w kodzie aplikacji, ponieważ jest łatwiejsza w utrzymaniu i skalowaniu. W przypadku większych repozytoriów kodu łatwość konserwacji i skalowalność tego rozwiązania są jeszcze ważniejsze.
Jednym z ograniczeń tego podejścia jest to, że pełne dzienniki żądań i odpowiedzi nie są dostępne z kodu aplikacji. Do obiektów pełnego żądania i pełnej odpowiedzi można uzyskać dostęp z przechwytywania gRPC. W ten sposób wbudowana biblioteka klienta uzyskuje dzienniki żądań i odpowiedzi. W przypadku błędu w obiekcie wyjątku mogą być dostępne dodatkowe informacje, ale w przypadku prawidłowej odpowiedzi w logice aplikacji jest ich mniej. Na przykład w większości przypadków identyfikator żądania nie jest dostępny w obiektach odpowiedzi Google Ads API.
Opcja 4. Wdróż niestandardowy przechwytujący logowania gRPC
gRPC obsługuje unary i streaming interceptory, które mogą uzyskiwać dostęp do obiektów żądań i odpowiedzi podczas ich przekazywania między klientem a serwerem. Biblioteki klienta interfejsu Google Ads API korzystają z przechwytywania gRPC, aby zapewnić wbudowane wsparcie logowania. Podobnie możesz zaimplementować niestandardowy przechwytujący gRPC, aby uzyskać dostęp do obiektów żądania i odpowiedzi, wyodrębnić informacje na potrzeby logowania i monitorowania oraz zapisać te dane w wybranej lokalizacji.
W odróżnieniu od niektórych innych przedstawionych tu rozwiązań wdrożenie niestandardowego przechwytu gRPC daje Ci elastyczność w zakresie rejestrowania obiektów żądania i odpowiedzi w przypadku każdej prośby oraz implementowania dodatkowej logiki do rejestrowania szczegółów żądania. Możesz na przykład obliczyć upłynięty czas żądania, stosując logikę pomiaru wydajności w ramach niestandardowego przechwytywania, a potem zgłaszać dane do Google Cloud Logging, aby udostępnić je do monitorowania opóźnień w Google Cloud Monitoring.
Niestandardowy przechwytujący Google Cloud Logging w Pythonie
Aby zademonstrować to rozwiązanie, napisaliśmy w Pythonie przykładowy niestandardowy przechwytujący rejestrowania. Niestandardowy przechwytujący jest tworzony i przekazywany do klienta usługi. Następnie uzyskuje dostęp do obiektów żądania i odpowiedzi, które są przekazywane w każdym wywołaniu metody usługi, przetwarza dane z tych obiektów i wysyła je do Google Cloud Logging.
Oprócz danych pochodzących z obiektów żądania i odpowiedzi przykład implementuje dodatkową logikę, która rejestruje upływ czasu od momentu wysłania żądania, a także inne metadane, które mogą być przydatne do celów monitorowania, na przykład informacje o tym, czy żądanie zostało pomyślnie zrealizowane. Więcej informacji o tym, jak te dane mogą być przydatne, zarówno ogólnie do monitorowania, jak i w przypadku łączenia Google Cloud Logging i Google Cloud Monitoring, znajdziesz w przewodniku Monitoring.
# Copyright 2022 Google LLC # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # https://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. """A custom gRPC Interceptor that logs requests and responses to Cloud Logging. The custom interceptor object is passed into the get_service method of the GoogleAdsClient. It intercepts requests and responses, parses them into a human readable structure and logs them using the logging service instantiated within the class (in this case, a Cloud Logging client). """ import logging import time from google.cloud import logging from grpc import UnaryUnaryClientInterceptor, UnaryStreamClientInterceptor from google.ads.googleads.interceptors import LoggingInterceptor, mask_message class CloudLoggingInterceptor(LoggingInterceptor): """An interceptor that logs rpc request and response details to Google Cloud Logging. This class inherits logic from the LoggingInterceptor, which simplifies the implementation here. Some logic is required here in order to make the underlying logic work -- comments make note of this where applicable. NOTE: Inheriting from the LoggingInterceptor class could yield unexpected side effects. For example, if the LoggingInterceptor class is updated, this class would inherit the updated logic, which could affect its functionality. One option to avoid this is to inherit from the Interceptor class instead, and selectively copy whatever logic is needed from the LoggingInterceptor class.""" def __init__(self, api_version): """Initializer for the CloudLoggingInterceptor. Args: api_version: a str of the API version of the request. """ super().__init__(logger=None, api_version=api_version) # Instantiate the Cloud Logging client. logging_client = logging.Client() self.logger = logging_client.logger("cloud_logging") def log_successful_request( self, method, customer_id, metadata_json, request_id, request, trailing_metadata_json, response, ): """Handles logging of a successful request. Args: method: The method of the request. customer_id: The customer ID associated with the request. metadata_json: A JSON str of initial_metadata. request_id: A unique ID for the request provided in the response. request: An instance of a request proto message. trailing_metadata_json: A JSON str of trailing_metadata. response: A grpc.Call/grpc.Future instance. """ # Retrieve and mask the RPC result from the response future. # This method is available from the LoggingInterceptor class. # Ensure self._cache is set in order for this to work. # The response result could contain up to 10,000 rows of data, # so consider truncating this value before logging it, to save # on data storage costs and maintain readability. result = self.retrieve_and_mask_result(response) # elapsed_ms is the approximate elapsed time of the RPC, in milliseconds. # There are different ways to define and measure elapsed time, so use # whatever approach makes sense for your monitoring purposes. # rpc_start and rpc_end are set in the intercept_unary_* methods below. elapsed_ms = (self.rpc_end - self.rpc_start) * 1000 debug_log = { "method": method, "host": metadata_json, "request_id": request_id, "request": str(request), "headers": trailing_metadata_json, "response": str(result), "is_fault": False, "elapsed_ms": elapsed_ms, } self.logger.log_struct(debug_log, severity="DEBUG") info_log = { "customer_id": customer_id, "method": method, "request_id": request_id, "is_fault": False, # Available from the Interceptor class. "api_version": self._api_version, } self.logger.log_struct(info_log, severity="INFO") def log_failed_request( self, method, customer_id, metadata_json, request_id, request, trailing_metadata_json, response, ): """Handles logging of a failed request. Args: method: The method of the request. customer_id: The customer ID associated with the request. metadata_json: A JSON str of initial_metadata. request_id: A unique ID for the request provided in the response. request: An instance of a request proto message. trailing_metadata_json: A JSON str of trailing_metadata. response: A JSON str of the response message. """ exception = self._get_error_from_response(response) exception_str = self._parse_exception_to_str(exception) fault_message = self._get_fault_message(exception) info_log = { "method": method, "endpoint": self.endpoint, "host": metadata_json, "request_id": request_id, "request": str(request), "headers": trailing_metadata_json, "exception": exception_str, "is_fault": True, } self.logger.log_struct(info_log, severity="INFO") error_log = { "method": method, "endpoint": self.endpoint, "request_id": request_id, "customer_id": customer_id, "is_fault": True, "fault_message": fault_message, } self.logger.log_struct(error_log, severity="ERROR") def intercept_unary_unary(self, continuation, client_call_details, request): """Intercepts and logs API interactions. Overrides abstract method defined in grpc.UnaryUnaryClientInterceptor. Args: continuation: a function to continue the request process. client_call_details: a grpc._interceptor._ClientCallDetails instance containing request metadata. request: a SearchGoogleAdsRequest or SearchGoogleAdsStreamRequest message class instance. Returns: A grpc.Call/grpc.Future instance representing a service response. """ # Set the rpc_end value to current time when RPC completes. def update_rpc_end(response_future): self.rpc_end = time.perf_counter() # Capture precise clock time to later calculate approximate elapsed # time of the RPC. self.rpc_start = time.perf_counter() # The below call is REQUIRED. response = continuation(client_call_details, request) response.add_done_callback(update_rpc_end) self.log_request(client_call_details, request, response) # The below return is REQUIRED. return response def intercept_unary_stream( self, continuation, client_call_details, request ): """Intercepts and logs API interactions for Unary-Stream requests. Overrides abstract method defined in grpc.UnaryStreamClientInterceptor. Args: continuation: a function to continue the request process. client_call_details: a grpc._interceptor._ClientCallDetails instance containing request metadata. request: a SearchGoogleAdsRequest or SearchGoogleAdsStreamRequest message class instance. Returns: A grpc.Call/grpc.Future instance representing a service response. """ def on_rpc_complete(response_future): self.rpc_end = time.perf_counter() self.log_request(client_call_details, request, response_future) # Capture precise clock time to later calculate approximate elapsed # time of the RPC. self.rpc_start = time.perf_counter() # The below call is REQUIRED. response = continuation(client_call_details, request) # Set self._cache to the cache on the response wrapper in order to # access the streaming logs. This is REQUIRED in order to log streaming # requests. self._cache = response.get_cache() response.add_done_callback(on_rpc_complete) # The below return is REQUIRED. return response