Asystent Google na Androida

Asystent Google umożliwia sterowanie głosem w aplikacjach na Androida. Za pomocą Asystenta użytkownicy mogą uruchamiać aplikacje, wykonywać zadania, korzystać z treści i wykonywać inne czynności, mówiąc np. „OK Google, rozpocznij uruchomienie w przykładowej aplikacji”.

Jako deweloper Androida możesz korzystać z platformy programistycznej i narzędzi testowych, które umożliwiają łatwe sterowanie głosem aplikacji na urządzeniach z Androidem, takich jak urządzenia mobilne, samochody i urządzenia do noszenia.

Akcje w aplikacji

Działania w aplikacji Asystenta pozwalają użytkownikom uruchamiać aplikacje na Androida i sterować nimi za pomocą głosu.





Działania w aplikacji zapewniają bardziej precyzyjne sterowanie głosem. Dzięki temu użytkownicy mogą uruchamiać aplikacje i wykonywać zadania takie jak:

  • Uruchamianie funkcji z Asystenta: połącz możliwości aplikacji z zapytaniami użytkowników, które pasują do wstępnie zdefiniowanych wzorców semantycznych lub intencji wbudowanych.
  • Wyświetlanie informacji o aplikacji na platformach Google: udostępnij widżety na Androida do wyświetlania przez Asystenta, które oferują użytkownikom odpowiedzi w tekście, proste potwierdzenia i krótkie interakcje bez zmiany kontekstu.
  • Sugerowanie skrótów głosowych przez Asystenta: używaj Asystenta do proaktywnego sugerowania zadań we właściwym kontekście, które użytkownicy mogą odkryć lub odtworzyć ponownie.

Akcje w aplikacji korzystają z intencji wbudowanych (BII), aby umożliwiać te i dziesiątki innych zastosowań w popularnych kategoriach zadań. Szczegółowe informacje o obsłudze BII w aplikacjach znajdziesz w omówieniu działań w aplikacji na tej stronie.

Programowanie na wiele urządzeń

Dzięki akcji w aplikacji możesz sterować głosem do przodu na urządzeniach innych niż urządzenia mobilne. Przykładowo w przypadku BiI zoptymalizowanych pod kątem samochodów kierowcy mogą za pomocą głosu wykonywać następujące czynności:

Omówienie akcji w aplikacji

Korzystasz z akcji w aplikacji, aby umożliwić użytkownikom bardziej szczegółowe sterowanie głosem aplikacji. Użytkownicy mogą używać poleceń głosowych do wykonywania określonych zadań w aplikacji. Jeśli użytkownik ma zainstalowaną aplikację, może po prostu wyrazić swoje intencje za pomocą wyrażenia zawierającego nazwę aplikacji, np. „OK Google, zamów pizzę w przykładowej aplikacji”. Akcje w aplikacji obsługują BII, które modelują typowe sposoby wyrażania przez użytkowników zadań, które chcą wykonać, lub poszukiwanych informacji, takie jak:

  • Zamawianie jedzenia, rezerwowanie przejazdów i inne działania związane z kategoriami.
  • Uruchamianie funkcji aplikacji.
  • Wysyłanie zapytań o produkty lub treści za pomocą wyszukiwania w aplikacji.

Dzięki akcjom w aplikacji Asystent może proaktywnie proponować użytkownikom funkcje głosowe jako skróty na podstawie kontekstu użytkownika. Ta funkcja pozwala użytkownikom łatwo odkrywać i ponownie odtwarzać akcje w aplikacji. Możesz też zasugerować te skróty w aplikacji za pomocą pakietu SDK z promocjami w aplikacji.

Aby włączyć obsługę działań w aplikacji, zadeklaruj tagi <capability> w usłudze shortcuts.xml. Możliwości informują Google, jak można semantycznie uzyskiwać dostęp do funkcji w aplikacji za pomocą BII, i włączają obsługę głosową funkcji. Asystent realizuje intencje użytkownika, uruchamiając aplikację we wskazanej treści lub w konkretnym działaniu. W niektórych przypadkach możesz określić widżet Androida, który będzie wyświetlać się w Asystencie w celu spełnienia zapytania użytkownika.

Akcje w aplikacji są obsługiwane na Androidzie 5 (poziom interfejsu API 21) i nowszych. Użytkownicy mają dostęp tylko do akcji w aplikacji na telefonach z Androidem. Asystent na Androidzie Go nie obsługuje działań w aplikacji.

Jak działają akcje w aplikacji

Działania w aplikacji rozszerzają funkcje aplikacji o Asystenta, umożliwiając użytkownikom za pomocą głosu dostęp do funkcji aplikacji. Gdy użytkownik wywołuje akcję w aplikacji, Asystent dopasowuje zapytanie do BII zadeklarowanego w zasobie shortcuts.xml, uruchamiając aplikację na żądanym ekranie lub wyświetlając widżet Androida.

BII w aplikacji deklarujesz przy użyciu elementów funkcji na Androidzie. Gdy przesyłasz aplikację przy użyciu Konsoli Google Play, Google rejestruje uprawnienia zadeklarowane w aplikacji i udostępnia je użytkownikom za pomocą Asystenta.

Możesz na przykład udostępnić w aplikacji możliwość zamawiania jedzenia. Gdy użytkownik powie „OK Google, zamów pizzę z aplikacji Przykładowa aplikacja”, wyświetlą się te działania:

  • Asystent przeprowadza analizę języka naturalnego zapytania, dopasowując semantykę żądania do wstępnie zdefiniowanego wzorca BII. W tym przypadku do zapytania pasuje actions.intent.ORDER_MENU_ITEM BII.
  • Asystent sprawdza, czy wskaźnik BII został wcześniej zarejestrowany dla Twojej aplikacji, i na podstawie tej konfiguracji określa, jak ją uruchomić.
  • Korzystając z informacji podanych przez Ciebie w zasadzie <capability>, Asystent generuje intencję Androida do uruchomienia miejsca docelowego w aplikacji, której dotyczy żądanie. Asystent wyodrębnia parametry zapytania i przekazuje je jako dodatki w wygenerowanej intencji Androida.
  • Asystent realizuje prośbę użytkownika, uruchamiając wygenerowaną intencję na Androida. Możesz skonfigurować intent tak, aby uruchamiał ekran w aplikacji lub wyświetlał widżet w Asystencie.
Gdy użytkownik wysyła pytanie do Asystenta Google, Asystent otwiera dla niego miejsce docelowe aplikacji.
Rysunek 1. Przykładowy przepływ zapytań użytkowników w ramach akcji w aplikacji.

Po wykonaniu zadania przez użytkownika możesz użyć biblioteki integracji skrótów Google, aby przekazać Google dynamiczny skrót działania i jego parametrów. Dzięki temu Asystent może zaproponować mu skrót w odpowiednich momentach.

Korzystanie z tej biblioteki umożliwia znajdowanie i ponowne odtwarzanie skrótów w usługach Google takich jak Asystent. Możesz na przykład umieścić skrót do Google w przypadku każdego miejsca docelowego określonego przez użytkownika w aplikacji do udostępniania przejazdów, aby szybko odtworzyć go później jako sugestię skrótu.

Tworzenie działań w aplikacji

Akcje w aplikacji bazują na dotychczasowych funkcjach Twojej aplikacji na Androida. Proces jest podobny w przypadku każdego zaimplementowanego przez Ciebie działania w aplikacji. Działania w aplikacji kierują użytkowników bezpośrednio do określonych treści lub funkcji w aplikacji za pomocą elementów capability określonych w polu shortcuts.xml.

Tworząc akcję w aplikacji, najpierw musisz określić działanie, do którego użytkownicy mają mieć dostęp z poziomu Asystenta. Następnie na podstawie tych informacji znajdź najbliższy odpowiednik BII z dokumentu App Actions BII.

BII modelują niektóre typowe sposoby, w jakie użytkownicy wyrażają zadania, które chcą wykonać, korzystając z aplikacji lub poszukiwanych informacji. Te dane służą np. do zamawiania posiłku, rezerwowania przejazdów i sprawdzania salda konta. Najlepiej zacząć od akcji w aplikacji, ponieważ modelują typowe odmiany zapytań użytkowników w wielu językach, co ułatwia szybkie włączenie głosu do aplikacji.

Po wskazaniu funkcji w aplikacji i BII do zaimplementowania dodaj lub zaktualizuj plik zasobów shortcuts.xml w aplikacji na Androida, który mapuje BII na funkcje aplikacji. Działania w aplikacji zdefiniowane jako elementy capability w tabeli shortcuts.xml opisują, w jaki sposób każdy BII realizuje ich realizację oraz które parametry są wyodrębniane i przekazywane aplikacji.

Istotnym elementem tworzenia działań w aplikacji jest mapowanie parametrów BII na realizację zdefiniowaną przez użytkownika. Proces ten często przybiera formę mapowania oczekiwanych danych wejściowych funkcji w aplikacji na parametry semantyczne BII.

Testuj działania w aplikacji

Podczas programowania i testowania możesz użyć wtyczki Asystenta Google do Androida Studio, aby utworzyć podgląd akcji w aplikacji w Asystencie na swoim koncie Google. Dzięki tej wtyczce możesz sprawdzić, jak akcja w aplikacji obsługuje różne parametry przed przesłaniem jej do wdrożenia. Po wygenerowaniu podglądu akcji w aplikacji w narzędziu testowym możesz ją aktywować na urządzeniu testowym bezpośrednio z okna narzędzia testowego.

Aplikacje multimedialne

Asystent ma też wbudowane funkcje rozumienia poleceń aplikacji do multimediów, np. „OK Google, włącz coś od Beyonce”. Obsługuje też sterowanie multimediami, takie jak wstrzymaj, pomiń, przewiń do przodu i kciuk w górę.

Dalsze kroki

Skorzystaj ze ścieżki akcji w aplikacji, aby utworzyć akcję w aplikacji, korzystając z naszej przykładowej aplikacji na Androida. Następnie przejdź do naszego przewodnika, aby utworzyć akcje w aplikacji dla swojej aplikacji. Możesz też zapoznać się z tymi dodatkowymi zasobami dotyczącymi tworzenia takich akcji: