Die Media Enhancement API bietet eine datenschutzfreundliche On-Device-KI-Lösung mit niedriger Latenz, die Hardwarebeschleunigung nutzt, um hochwertige Medienverbesserungen ohne APK-Bloatware zu liefern. Weitere Informationen finden Sie unter Funktionen zur Medienoptimierung.
Das folgende Architekturdiagramm zeigt den Lebenszyklus der asynchronen Ausführung im Surface-Modus der Media Enhancement API. In diesem Modus werden Hardwarepuffer direkt verknüpft, um den Leistungsengpass zu beseitigen, der durch das Hin- und Herkopieren unkomprimierter Frames zwischen CPU- und GPU-Arbeitsspeicherpuffern entsteht.
Die Optimierungspipeline wird in den folgenden Schritten implementiert:
Phase 1: Sitzung zur Optimierung einrichten
1. Eingabefläche bereitstellen: Ihre App stellt dem Optimierungs-Framework ein Eingabeflächen-Handle zur Verfügung, um auf Frames für die Verarbeitung zuzugreifen.
2. Ausgabeoberfläche festlegen: Ihre App stellt Rendering-Ziele (z. B. SurfaceView oder TextureView) bereit und bindet sie direkt an das Framework.
Phase 2: Eingabeframe erstellen
3. Basismedien vorbereiten: Ihre App ruft die unkomprimierten Basismedien ab. Beispiel: durch Lesen einer Datei von einem lokalen Laufwerk.
4. Frame-Daten einfügen: Ihre App schreibt die Rohbild-Nutzlast direkt in die gebundene Eingabeoberflächen-Pipeline.
Phase 3: Verarbeiten und optimieren
5. KI-Verarbeitung ausführen: Das Framework verarbeitet den Frame auf der GPU oder NPU des Geräts und wendet ML-Optimierungen wie Tonemapping, Unschärfe entfernen oder Hochskalieren an.
6. Optimierten Frame bereitstellen: Die Engine gibt den optimierten Frame mit voller Auflösung direkt an die gebundene Ausgabeoberfläche aus.
Phase 4: Ergebnis anzeigen oder speichern
7. Ausgabe abschließen: Ihre App empfängt den verarbeiteten Hardware-Streampuffer, um ihn in der Benutzeroberfläche zu rendern oder im Speicher zu sichern.
Der EnhancementSession ist ein komplexes Kontextobjekt, das eine persistente GPU- oder NPU-Speicherpipeline verwaltet. Es weist dedizierten Video-RAM (VRAM) und native System-Handles zu. Um schwerwiegende Speicherlecks und potenzielle OutOfMemoryError-Abstürze zu vermeiden, sollten Sie die folgenden Lebenszyklusprinzipien beachten:
- Lazy Instantiation: Erstellen Sie eine Sitzung erst, wenn der Nutzer eine Optimierungsaktion initiiert.
- Strategische Wiederverwendung: Behalten Sie eine einzelne Sitzungsinstanz bei und verwenden Sie sie wieder, wenn Sie Streams oder Frames mit identischen Konfigurationen (Dimensionen und Umschaltoptionen) verarbeiten.
- Prompt-Teardown: Rufen Sie
session.release()sofort auf, wenn visuelle Aufgaben beendet werden, um freigegebene Hardwareressourcen freizugeben.
Optimierungs-Engine initialisieren
Diese Methode orchestriert eine zweistufige Prüfung. Es wird geprüft, ob die Hardware des Geräts die Beschleunigung unterstützt, und dann sichergestellt, dass die erforderlichen Module für maschinelles Lernen vorhanden sind.
Wenn Sie diesen Schritt als Voraussetzung ausführen, werden Fehler bei der Laufzeitinitialisierung vermieden, da die Funktionen validiert werden, bevor Ihre App versucht, Medien zu verarbeiten.
class MediaSetupViewModel(application: Application) : AndroidViewModel(application) { private val enhancementClient = Enhancement.getClient(application) fun initializeEnhancementEngine() { viewModelScope.launch { try { // 1. Verify hardware capability. val isSupported = enhancementClient.isDeviceSupportedAsync() if (!isSupported) { notifyUiDeviceIncompatible() return@launch } // 2. Verify and download the Google Play services ML modules. val isInstalled = enhancementClient.isModuleInstalledAsync() if (!isInstalled) { notifyUiDownloadingModels() enhancementClient.installModule(installStatusCallback).await() } notifyUiEngineReady() } catch (e: Exception) { // Handle potential errors during session creation or image // processing. handleInitializationError(e) } } } }
Implementierung: Oberflächenmodus (Oberfläche ein, Oberfläche aus)
Im Surface-Ausführungsmodus (EnhancementMode.SURFACE) wird der Leistungsaufwand für das Verschieben von Frames zwischen CPU- und GPU-Arbeitsspeicherpuffern vermieden. Stattdessen ordnet die Optimierungsbibliothek Rohhardwarepuffer direkt zu, liest Frames von einer Eingabe-Surface, verarbeitet sie nativ und leitet sie direkt an eine Ausgabe-Surface weiter.
Oberflächen-Snapshots mit einem Frame
Diese Methode wird verwendet, um Effekte effizient auf einen einzelnen hardwaredecodierten Bildframe anzuwenden.
// Provisions input Surface (for example, ImageReader) and output Surface (for
// example, SurfaceView)
val inputSurface: Surface = imageReader.surface
val outputSurface: Surface = surfaceView.holder.surface
// 1. Configure parameters for SURFACE mode
val surfaceOptions = EnhancementOptions(
imageReader.width,
imageReader.height,
EnhancementMode.SURFACE,
enableTonemap = true,
enableDeblurDenoise = true,
enableFaceDetection = false
).also {
// 2. Bind hardware surfaces
it.setInputSurface(inputSurface)
it.setOutputSurface(outputSurface)
}
// 3. Create the session to process the hardware frame
val singleFrameSession = enhancementClient.createSessionAsync(surfaceOptions, executor)
// The API processes the single frame. Upon completion, release the session.
singleFrameSession.release()