ทําความเข้าใจวงจรการปรับปรุงสื่อในโหมด Surface

Media Enhancement API เป็นโซลูชัน AI ในอุปกรณ์ที่มีเวลาในการตอบสนองต่ำและรักษาความเป็นส่วนตัว ซึ่งใช้ประโยชน์จากการเร่งฮาร์ดแวร์เพื่อปรับปรุงสื่อให้มีคุณภาพสูงโดยไม่มี APK ที่ไม่จำเป็น ดูข้อมูลเพิ่มเติมได้ที่ทำความเข้าใจความสามารถในการเพิ่มประสิทธิภาพสื่อ

แผนภาพสถาปัตยกรรมต่อไปนี้แสดงวงจรการดำเนินการในโหมด Surface แบบอะซิงโครนัสของ Media Enhancement API โหมดนี้จะลิงก์บัฟเฟอร์ฮาร์ดแวร์โดยตรงเพื่อขจัดปัญหาคอขวดด้านประสิทธิภาพในการคัดลอกเฟรมที่ไม่มีการบีบอัดไปมาระหว่างบัฟเฟอร์หน่วยความจำ CPU และ GPU

แผนภาพแสดงวงจรการใช้งานแบบอะซิงโครนัสจากแพลตฟอร์มหนึ่งไปยังอีกแพลตฟอร์มหนึ่ง 7 ขั้นตอนของ Media Enhancement API
รูปที่ 1 วงจรการดำเนินการของโหมดแพลตฟอร์มแบบอะซิงโครนัสและขั้นตอนที่นำไปใช้ได้จริง 7 ขั้นตอนของไปป์ไลน์การเพิ่มประสิทธิภาพ

ไปป์ไลน์การเพิ่มประสิทธิภาพจะดำเนินการผ่านขั้นตอนต่อไปนี้

ช่วงที่ 1 ตั้งค่าเซสชันการเพิ่มประสิทธิภาพ

1. ระบุแพลตฟอร์มอินพุต: แอปของคุณจะระบุเฟรมเวิร์กการเพิ่มประสิทธิภาพด้วยแฮนเดิลแพลตฟอร์มอินพุตเพื่อเข้าถึงเฟรมสำหรับการประมวลผล

2. ตั้งค่าพื้นผิวเอาต์พุต: แอปของคุณจัดสรรและเชื่อมโยงเป้าหมายการแสดงผล (เช่น SurfaceView หรือ TextureView) กับเฟรมเวิร์กโดยตรง

ระยะที่ 2 สร้างเฟรมอินพุต

3. เตรียมสื่อฐาน: แอปจะดึงข้อมูลสื่อฐานที่ไม่มีการบีบอัด เช่น โดยการอ่านไฟล์จากดิสก์ในเครื่อง

4. แทรกข้อมูลเฟรม: แอปของคุณจะเขียนเพย์โหลดรูปภาพดิบลงในไปป์ไลน์พื้นผิวอินพุตที่เชื่อมโยงโดยตรง

ช่วงที่ 3 ประมวลผลและปรับปรุง

5. ดำเนินการประมวลผลด้วย AI: เฟรมเวิร์กจะประมวลผลเฟรมใน GPU หรือ NPU ของอุปกรณ์ โดยใช้การเพิ่มประสิทธิภาพโดยใช้แมชชีนเลิร์นนิง เช่น การแมปโทน การปรับให้คมชัด หรือการเพิ่มความละเอียดของรูปภาพ

6. แสดงเฟรมที่ปรับปรุงแล้ว: เครื่องมือจะแสดงผลเฟรมที่ปรับปรุงแล้วซึ่งมีความละเอียดเต็มไปยังพื้นผิวเอาต์พุตที่เชื่อมโยงโดยตรง

ช่วงที่ 4 แสดงหรือบันทึกผลลัพธ์

7. สรุปเอาต์พุต: แอปของคุณจะได้รับบัฟเฟอร์สตรีมฮาร์ดแวร์ที่ประมวลผลแล้วเพื่อแสดงผลใน UI หรือบันทึกกลับไปยังพื้นที่เก็บข้อมูล

EnhancementSession เป็นออบเจ็กต์บริบทที่มีน้ำหนักมากซึ่งรักษาไปป์ไลน์หน่วยความจำ GPU หรือ NPU แบบถาวร โดยจะจัดสรรหน่วยความจำวิดีโอ (VRAM) โดยเฉพาะและแฮนเดิลระบบแบบเนทีฟ เพื่อป้องกันไม่ให้เกิดหน่วยความจำรั่วไหลอย่างรุนแรงและอาจทำให้ OutOfMemoryError ขัดข้อง โปรดปฏิบัติตามหลักการวงจรต่อไปนี้

  • การสร้างอินสแตนซ์แบบ Lazy: อย่าสร้างเซสชันจนกว่าผู้ใช้จะเริ่มดำเนินการปรับปรุง
  • การนำกลับมาใช้ใหม่อย่างมีกลยุทธ์: คงไว้และนำอินสแตนซ์เซสชันเดียวกลับมาใช้ใหม่เมื่อประมวลผลสตรีมหรือเฟรมที่มีการกำหนดค่าเหมือนกัน (ขนาดและตัวเลือกเปิด/ปิด)
  • การปิดใช้งานพรอมต์: เรียกใช้ session.release() ทันทีเมื่อสิ้นสุดงานภาพเพื่อเพิ่มพื้นที่ว่างในทรัพยากรฮาร์ดแวร์ที่ใช้ร่วมกัน

เริ่มต้นเครื่องมือเพิ่มประสิทธิภาพ

วิธีนี้จะจัดระเบียบการตรวจสอบ 2 ขั้นตอน โดยจะตรวจสอบว่าฮาร์ดแวร์ของอุปกรณ์รองรับการเร่งความเร็วหรือไม่ จากนั้นจึงตรวจสอบว่ามีโมดูลแมชชีนเลิร์นนิงที่จำเป็นอยู่

การเรียกใช้ขั้นตอนนี้เป็นขั้นตอนที่ต้องดำเนินการก่อนจะช่วยป้องกันความล้มเหลวในการเริ่มต้นรันไทม์โดยการตรวจสอบความสามารถก่อนที่แอปจะพยายามประมวลผลสื่อ

class MediaSetupViewModel(application: Application) : AndroidViewModel(application) {
    private val enhancementClient = Enhancement.getClient(application)
    fun initializeEnhancementEngine() {
        viewModelScope.launch {
            try {
                // 1. Verify hardware capability
                val isSupported = enhancementClient.isDeviceSupportedAsync()
                if (!isSupported) {
                    notifyUiDeviceIncompatible()
                    return@launch
                }
                // 2. Verify and download the Google Play services ML modules
                val isInstalled = enhancementClient.isModuleInstalledAsync()
                if (!isInstalled) {
                    notifyUiDownloadingModels()
                    enhancementClient.installModule().await()
                }
                notifyUiEngineReady()
            } catch (e: Exception) {
                // Handle potential errors during session creation or image
                // processing.
                handleInitializationError(e)
            }
        }
    }
}

การติดตั้งใช้งาน: โหมดแพลตฟอร์ม (แพลตฟอร์มเข้า, แพลตฟอร์มออก)

โหมดการดำเนินการ Surface (EnhancementMode.SURFACE) จะหลีกเลี่ยงค่าใช้จ่ายในการดำเนินการด้านประสิทธิภาพของการย้ายเฟรมระหว่างบัฟเฟอร์หน่วยความจำ CPU และ GPU แต่ไลบรารีการเพิ่มประสิทธิภาพจะแมปบัฟเฟอร์ฮาร์ดแวร์ดิบโดยตรง โดยอ่านเฟรมจาก Surface อินพุต ประมวลผลเฟรมแบบเนทีฟ และส่งเฟรมไปยัง Surface เอาต์พุตโดยตรง

สแนปชอตของพื้นผิวแบบเฟรมเดียว

วิธีนี้ใช้เพื่อใช้เอฟเฟกต์กับเฟรมรูปภาพที่ถอดรหัสด้วยฮาร์ดแวร์เฟรมเดียวได้อย่างมีประสิทธิภาพ

// Provisions input Surface (for example, ImageReader) and output Surface (for
// example, SurfaceView)
val inputSurface: Surface = imageReader.surface
val outputSurface: Surface = surfaceView.holder.surface
// 1. Configure parameters for SURFACE mode
val surfaceOptions = EnhancementOptions(
    imageReader.width,
    imageReader.height,
    EnhancementMode.SURFACE,
    enableTonemap = true,
    enableDeblurDenoise = true,
    enableFaceDetection = false
).also {
    // 2. Bind hardware surfaces
    it.setInputSurface(inputSurface)
    it.setOutputSurface(outputSurface)
}

// 3. Create the session to process the hardware frame
val singleFrameSession = enhancementClient.createSessionAsync(surfaceOptions, executor)
// The API processes the single frame. Upon completion, release the session.
singleFrameSession.release()