Surface 모드에서 미디어 개선 수명 주기 이해

미디어 보정 API는 하드웨어 가속을 활용하여 APK 비대화 없이 고품질 미디어 개선을 제공하는 지연 시간이 짧고 개인 정보를 보호하는 온디바이스 AI 솔루션을 제공합니다. 자세한 내용은 미디어 보정 기능 이해를 참고하세요.

다음 아키텍처 다이어그램은 Media Enhancement API의 비동기 표면 모드 실행 수명 주기를 보여줍니다. 이 모드는 하드웨어 버퍼를 직접 연결하여 CPU와 GPU 메모리 버퍼 간에 압축되지 않은 프레임을 앞뒤로 복사하는 성능 병목 현상을 제거합니다.

Media Enhancement API의 7단계 비동기 노출 영역 간 수명 주기를 보여주는 다이어그램
그림 1. 비동기 표면 모드 실행 수명 주기 및 보정 파이프라인의 실행 가능한 7단계

보정 파이프라인은 다음 단계를 통해 구현됩니다.

1단계. 개선 세션 설정

1. 입력 표면 제공: 앱은 처리를 위해 프레임에 액세스할 수 있는 입력 표면 핸들을 보정 프레임워크에 제공합니다.

2. 출력 표시 경로 설정: 앱이 렌더링 타겟(예: SurfaceView 또는 TextureView)을 프로비저닝하고 프레임워크에 직접 바인딩합니다.

2단계. 입력 프레임 생성

3. 기본 미디어 준비: 앱이 압축되지 않은 기본 미디어를 가져옵니다. 예를 들어 로컬 디스크에서 파일을 읽습니다.

4. 프레임 데이터 주입: 앱은 원시 이미지 페이로드를 바인딩된 입력 표면 파이프라인에 직접 씁니다.

3단계. 처리 및 보정

5. AI 처리 실행: 프레임워크가 기기의 GPU 또는 NPU에서 프레임을 처리하여 톤 매핑, 블러 제거, 업스케일링과 같은 머신러닝을 통해 향상된 기능을 적용합니다.

6. 향상된 프레임 전송: 엔진은 향상된 전체 해상도 프레임을 바인딩된 출력 표면으로 직접 출력합니다.

4단계. 결과 표시 또는 저장

7. 출력 완료: 앱이 처리된 하드웨어 스트림 버퍼를 수신하여 UI에서 렌더링하거나 저장소에 다시 저장합니다.

EnhancementSession는 영구 GPU 또는 NPU 메모리 파이프라인을 유지하는 무거운 컨텍스트 객체입니다. 전용 동영상 RAM(VRAM)과 네이티브 시스템 핸들을 할당합니다. 심각한 메모리 누수와 잠재적인 OutOfMemoryError 비정상 종료를 방지하려면 다음 수명 주기 원칙을 준수하세요.

  • 지연 인스턴스화: 사용자가 개선 작업을 시작할 때까지 세션을 만들지 않습니다.
  • 전략적 재사용: 동일한 구성(크기 및 전환 옵션)으로 스트림 또는 프레임을 처리할 때 단일 세션 인스턴스를 유지하고 재사용합니다.
  • 신속한 해체: 시각적 작업이 종료되면 즉시 session.release()를 호출하여 공유 하드웨어 리소스를 확보합니다.

개선 엔진 초기화

이 메서드는 2단계 검사를 조정합니다. 기기의 하드웨어가 가속을 지원하는지 확인한 다음 필요한 머신러닝 모듈이 있는지 확인합니다.

이 단계를 기본 요건으로 실행하면 앱에서 미디어를 처리하기 전에 기능을 검증하여 런타임 초기화 실패를 방지할 수 있습니다.

class MediaSetupViewModel(application: Application) : AndroidViewModel(application) {
    private val enhancementClient = Enhancement.getClient(application)
    fun initializeEnhancementEngine() {
        viewModelScope.launch {
            try {
                // 1. Verify hardware capability.
                val isSupported = enhancementClient.isDeviceSupportedAsync()
                if (!isSupported) {
                    notifyUiDeviceIncompatible()
                    return@launch
                }
                // 2. Verify and download the Google Play services ML modules.
                val isInstalled = enhancementClient.isModuleInstalledAsync()
                if (!isInstalled) {
                    notifyUiDownloadingModels()
                    enhancementClient.installModule(installStatusCallback).await()
                }
                notifyUiEngineReady()
            } catch (e: Exception) {
                // Handle potential errors during session creation or image
                // processing.
                handleInitializationError(e)
            }
        }
    }
}

구현: 표시 경로 모드(표시 경로 입력, 표시 경로 출력)

Surface 실행 모드(EnhancementMode.SURFACE)는 CPU와 GPU 메모리 버퍼 간에 프레임을 이동하는 성능 오버헤드를 방지합니다. 대신 보정 라이브러리는 원시 하드웨어 버퍼를 직접 매핑하여 입력 Surface에서 프레임을 읽고, 기본적으로 처리하고, 출력 Surface로 직접 파이프합니다.

단일 프레임 노출 영역 스냅샷

이 메서드는 단일 하드웨어 디코딩 이미지 프레임에 효과를 효율적으로 적용하는 데 사용됩니다.

// Provisions input Surface (for example, ImageReader) and output Surface (for
// example, SurfaceView)
val inputSurface: Surface = imageReader.surface
val outputSurface: Surface = surfaceView.holder.surface
// 1. Configure parameters for SURFACE mode
val surfaceOptions = EnhancementOptions(
    imageReader.width,
    imageReader.height,
    EnhancementMode.SURFACE,
    enableTonemap = true,
    enableDeblurDenoise = true,
    enableFaceDetection = false
).also {
    // 2. Bind hardware surfaces
    it.setInputSurface(inputSurface)
    it.setOutputSurface(outputSurface)
}

// 3. Create the session to process the hardware frame
val singleFrameSession = enhancementClient.createSessionAsync(surfaceOptions, executor)
// The API processes the single frame. Upon completion, release the session.
singleFrameSession.release()