Instrukcje

Tworzenie inteligentnych aplikacji na Androida: integracja z systemem AI na Androidzie za pomocą AppFunctions

Czas czytania: 6 min
Wyświetl profil Bena Weissa
Ben Weiss Inżynier ds. relacji z deweloperami

Witamy ponownie w serii postów na blogu „Tworzenie inteligentnych aplikacji na Androida”, w której bierzemy podstawową aplikację na Androida i przekształcamy ją w spersonalizowane, inteligentne i agentowe środowisko. W poprzednim poście omówiliśmy, jak wykorzystać Firebase AI Logic do tworzenia funkcji AI hostowanych w chmurze i hybrydowych.

Tradycyjne interfejsy mobilne świetnie sprawdzają się w przypadku zadań wymagających skupienia i praktycznego działania, a system inteligentny Androida wprowadza dodatkowe funkcje, które jeszcze bardziej ułatwiają wykonywanie złożonych, wieloetapowych działań. Funkcje AppFunctions uzupełniają tradycyjne interfejsy użytkownika i zapewniają nowy, skuteczny punkt wejścia: uprzywilejowany agent na urządzeniu może uzyskiwać dostęp do funkcji aplikacji w tle. Może to być szczególnie przydatne, gdy użytkownicy prowadzą samochód, spacerują lub wykonują inne czynności.

Z tego artykułu dowiesz się, jak zaprojektowaliśmy i zintegrowaliśmy te funkcje w naszej aplikacji do planowania podróży JetPacker za pomocą funkcji aplikacji na Androida. Omówimy powody, dla których wybraliśmy te funkcje, specjalistyczne narzędzia, których użyliśmy do przyspieszenia rozwoju, oraz kod, dzięki któremu wszystko działa.

Projektowanie funkcji opartych na AI: dokonywanie wyborów, które mają znaczenie dla użytkowników

Aby wybrać funkcje, które mają być dostępne w systemie AI, szukaliśmy zadań, w przypadku których polecenie głosowe lub tekstowe jest obiektywnie szybsze niż klikanie na ekranie. Na tym nagraniu ekranu możesz zobaczyć ten kontrast: po lewej stronie użytkownik klika wiele ekranów, aby zarejestrować wydatek, a po prawej to samo zadanie jest wykonywane natychmiast w tle przez agenta z uprawnieniami.

Pierwszym wyborem było śledzenie wydatków. Zapisanie wydatku na kawę podczas podróży zwykle wymaga wielu kliknięć – odblokowania telefonu, otwarcia aplikacji, znalezienia aktywnej podróży, przejścia do karty wydatków, kliknięcia przycisku dodawania, zrobienia zdjęcia paragonu i sprawdzenia wyniku. Dzięki udostępnieniu funkcji addExpense i getExpenses jako AppFunctions agent systemowy zajmuje się najtrudniejszymi zadaniami. Gdy użytkownik powie „Dodaj wydatek na kawę za 5 USD do mojej podróży do Paryża”, agent automatycznie wyszuka w tle prawidłowy identyfikator podróży i doda wydatek, całkowicie pomijając ręczne działania w interfejsie.

Skupiliśmy się też na zarządzaniu planem podróży. Znalezienie kolejnej aktywności w planie podróży zwykle wymaga przewijania gęstego widoku osi czasu. Dzięki udostępnieniu systemowi informacji o getItinerary i addItineraryEvent użytkownik może po prostu zapytać: „Co mam dalej robić w Paryżu?” i natychmiast uzyskać odpowiedź.

Na koniec skupiliśmy się na tworzeniu notatek obsługiwanych bez użycia rąk. Pisanie przypomnień lub notatek podczas spaceru po ruchliwej ulicy jest trudne i niebezpieczne. Udostępnienie funkcji notatek głosowych pozwala użytkownikowi powiedzieć: „Lot był niesamowity, widziałem piękny zachód słońca i udało mi się dobrze wyspać”, a agent uprzywilejowany automatycznie transkrybuje i zapisuje tę wypowiedź bezpośrednio w bazie danych podróży za pomocą funkcji aplikacji addVoiceNote.

Android MCP oparty na AppFunctions

Cała ta funkcja jest oparta na platformie MCP na Androida. W tym projekcie aplikacja działa jako lokalny serwer MCP. Zamiast zdalnych interfejsów API udostępniasz funkcje aplikacji bezpośrednio systemowi AI na urządzeniu.

Android AppFunctions to interfejs API, który umożliwia realizację tej koncepcji. Odczytuje on funkcje Kotlin z adnotacjami i kompiluje je w bezpieczne pod względem typów, odizolowane definicje narzędzi, które uprzywilejowany agent może wykrywać i wywoływać lokalnie na urządzeniu.

Android MCP diagram.png
Diagram przedstawiający, jak nasze aplikacje, platforma Androida i agenci systemowi koordynują funkcje aplikacji.

W modelu MCP na Androidzie aplikacja działa jako lokalny serwer MCP, który udostępnia ustrukturyzowane narzędzia, a platforma Androida pełni funkcję centralnego rejestru narzędzi. Po stronie klienta MCP aplikacje agentów są rejestrowane w systemie AI po przyznaniu im uprawnień systemowych do dostępu do rejestru.

Gdy użytkownik wchodzi w interakcję z zarejestrowanym agentem, jego LLM określa, czy żądanie może zostać obsłużone przez funkcję AppFunction, wysyła zapytanie do metadanych platformy i wykonuje odpowiednie zarejestrowane funkcje w tle. Ta lokalna architektura klient-serwer MCP zapewnia pełną kontrolę: możesz wybrać, które funkcje mają być dostępne dla agenta, a pozostałe dane aplikacji pozostaną prywatne.

Jak przyspieszyliśmy rozwój dzięki umiejętnościom związanym z Androidem

Aby usprawnić proces integracji, wykorzystaliśmy umiejętność programowania AppFunctions. Umiejętność programowania AppFunctions to kompletny towarzysz programisty. Pomogło nam przejść przez cały cykl życia: mapowanie klas danych Kotlin na parametry serializacji, generowanie niezbędnych punktów wejścia Service, ulepszanie dokumentacji KDoc, aby LLM rozumiał granice parametrów, oraz konfigurowanie automatycznego testowania za pomocą ADB.

Udostępnianie funkcji aplikacji systemowi inteligencji

Dość teorii, przejdźmy do wdrożenia.

Konfiguracja i konfiguracja zależności

Zaczniemy od dodania zależności AppFunctions. Jedna dla interfejsu API, a druga dla kompilatora Kotlin Symbol Processing.

implementation("androidx.appfunctions:appfunctions:1.0.0-alpha10")
ksp("androidx.appfunctions:appfunctions-compiler:1.0.0-alpha10")

Modelowanie niestandardowych typów danych

Każdy obiekt niestandardowy wymieniany z agentem musi być oznaczony adnotacją @AppFunctionSerializable. W pliku TripSerializable.kt definiujemy model danych podróży:

@AppFunctionSerializable(isDescribedByKDoc = true)
data class TripSerializable(
    /** The trip's unique identifier. */
    val id: String,
    /** The trip's title. */
    val title: String,
    /** The trip's destination location. */
    val location: String,
    /** The trip's start date in milliseconds. */
    val startDate: Long,
    /** The trip's end date in milliseconds. */
    val endDate: Long,
    /** A list of participants. */
    val participants: List<String>,
)

Udostępnianie funkcji za pomocą adnotacji @AppFunction

Następnie umiejętność napisała funkcje Kotlin, które wykonują zapytania do bazy danych i dodają do nich adnotacje @AppFunction. Możemy to zobaczyć w obiekcie searchTrip:

/**
 * Looks for trips based on optional filters like id, title (name), location, and dates.
 *
 * @param id The unique identifier of the trip.
 * @param title The title or name of the trip.
 * @param location The destination location.
 * @param startDate The minimum start date in milliseconds.
 * @param endDate The maximum end date in milliseconds.
 * @return A list of trips matching the filters.
 */
@AppFunction(isDescribedByKDoc = true)
suspend fun searchTrip(
    id: String? = null,
    title: String? = null,
    location: String? = null,
    startDate: Long? = null,
    endDate: Long? = null
): List<TripSerializable> {
    return withContext(Dispatchers.IO) {
    // implementation
}

Funkcje AppFunctions domyślnie działają w wątku UI, dlatego używamy withContext(Dispatchers.IO), aby przełączyć się na dyspozytor działający w tle. Dodatkowo ulepszamy KDoc, aby używać jasnych, imperatywnych czasowników i określać ograniczenia parametrów. Ta dokumentacja jest kompilowana bezpośrednio do schematu narzędzia, którego agent uprzywilejowany używa do rozwiązywania parametrów i obsługi błędów środowiska wykonawczego.

Punkt wejścia usługi i integracja z Hilt

Aby zarejestrować te funkcje w systemie AI, tworzymy abstrakcyjną klasę bazową, która rozszerza AppFunctionService. Dodajemy do niego adnotację @AppFunctionServiceEntryPoint:

@RequiresApi(36)
@AndroidEntryPoint
@AppFunctionServiceEntryPoint(
    serviceName = "JetPackerAppFunctionService",
    appFunctionXmlFileName = "jetpacker_app_function_service"
)
abstract class BaseJetPackerAppFunctionService : AppFunctionService() {
    @Inject internal lateinit var tripDao: TripDao
    // DAOs and database references are injected here...
}

Podczas kompilacji KSP generuje ostateczną konkretną podklasę usługi JetPackerAppFunctionService, zgodnie z deklaracją w parametrze serviceName. W pliku manifestu aplikacji rejestrujemy też app_metadata.xml. Ten plik zawiera globalne reguły operacyjne dla zadeklarowanych funkcji AppFunctions JetPackera.

Testowanie i weryfikowanie funkcji AppFunctions

Po wdrożeniu funkcji aplikacji sprawdź, czy są one zarejestrowane i działają prawidłowo.

Na uruchomionych urządzeniach lub emulatorach z Androidem 17 lub nowszym możesz używać narzędzia adb z terminala, aby wyświetlać i wywoływać funkcje. Uruchomienie adb shell cmd app_function list-app-functions spowoduje wyświetlenie wszystkich zarejestrowanych funkcji pakietu. Następnie możesz wykonać konkretną funkcję i przetestować jej integrację z bazą danych, uruchamiając polecenie adb shell cmd app_function execute-app-function i przekazując nieprzetworzony ciąg parametrów JSON.

Zamiast tych poleceń ADB możesz też użyć agenta testowego AppFunctions, aby sprawdzić konfigurację, wyświetlić listę funkcji aplikacji i je wykonać, a nawet zobaczyć, jak zachowują się w rzeczywistym przepływie rozmowy.

Podsumowanie

Myśląc o funkcjach aplikacji, które można dodać do systemu AI za pomocą AppFunctions, musimy nieco zmienić sposób, w jaki myślimy o kodzie i dokumentacji. Funkcje AppFunctions umożliwiają korzystanie z tego nowego modelu interakcji w aplikacjach, który pozwala na używanie agenta do uzyskiwania dostępu do funkcji aplikacji.

Po pierwsze, umiejętność programowania funkcji AppFunctions to niezbędne narzędzie cyklu życia, które pomaga odkrywać funkcje, wdrażać je i ulepszać w aplikacjach. Po drugie, komentarze KDoc są skompilowanym zasobem interfejsu API. Jasne opisy parametrów mają bezpośredni wpływ na dokładność działania agenta systemowego. Wreszcie, Android MCP zapewnia wykonywanie lokalne, umożliwiając aplikacjom bezpieczną współpracę z agentami AI.

Udostępnianie funkcji aplikacji za pomocą AppFunctions sprawia, że aplikacja jest gotowa do działania w systemie inteligentnym. Daj nam znać, jak dostosowujesz swoje aplikacje do ery agentów.

Więcej informacji

Zapoznaj się z innymi częściami tej serii postów na blogu:
Część 1: wprowadzenie do aplikacji i ogólne omówienie.
Część 2: funkcje AI na urządzeniu. Szczegółowo omówimy interfejsy API GenAI w ML Kit i Gemini Nano, aby tworzyć funkcje skoncentrowane na ochronie prywatności, takie jak podsumowywanie planu podróży, analizowanie paragonów i lokalne przetwarzanie dźwięku.
Część 3. Wnioskowanie hybrydowe i w chmurze. Dowiedz się, jak używać Firebase AI Logic do groundingu odpowiedzi LLM z użyciem danych ze świata rzeczywistego, takich jak Mapy Google i kontekst internetowy.
Część 4 (ten post): Integracja systemów. Integracja z systemem AI na Androidzie za pomocą AppFunctions.
Część 5 (Już wkrótce): Agentic Workflows w aplikacji. Rozszerz aplikację o kompleksowego asystenta rezerwacji opartego na A2UI i ADK.

Chcesz dowiedzieć się więcej o tworzeniu aplikacji na Androida? Obserwuj stronę dla deweloperów aplikacji na Androida na YouTube lub LinkedIn.

Wszystkie fragmenty kodu w tym poście na blogu są objęte tym powiadomieniem o prawach autorskich:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
Autor:
Czytaj dalej