Media Enhancement API เป็นโซลูชัน AI ในอุปกรณ์ที่มีเวลาในการตอบสนองต่ำและรักษาความเป็นส่วนตัว ซึ่งใช้ประโยชน์จากการเร่งฮาร์ดแวร์เพื่อปรับปรุงสื่อให้มีคุณภาพสูงโดยไม่มี APK ที่ไม่จำเป็น ดูข้อมูลเพิ่มเติมได้ที่ทำความเข้าใจความสามารถในการเพิ่มประสิทธิภาพสื่อ
แผนภาพสถาปัตยกรรมต่อไปนี้แสดงวงจรการดำเนินการในโหมด Surface แบบอะซิงโครนัสของ Media Enhancement API โหมดนี้จะลิงก์บัฟเฟอร์ฮาร์ดแวร์โดยตรงเพื่อขจัดปัญหาคอขวดด้านประสิทธิภาพในการคัดลอกเฟรมที่ไม่มีการบีบอัดไปมาระหว่างบัฟเฟอร์หน่วยความจำ CPU และ GPU
ไปป์ไลน์การเพิ่มประสิทธิภาพจะดำเนินการผ่านขั้นตอนต่อไปนี้
ช่วงที่ 1 ตั้งค่าเซสชันการเพิ่มประสิทธิภาพ
1. ระบุแพลตฟอร์มอินพุต: แอปของคุณจะระบุเฟรมเวิร์กการเพิ่มประสิทธิภาพด้วยแฮนเดิลแพลตฟอร์มอินพุตเพื่อเข้าถึงเฟรมสำหรับการประมวลผล
2. ตั้งค่าพื้นผิวเอาต์พุต: แอปของคุณจัดสรรและเชื่อมโยงเป้าหมายการแสดงผล (เช่น SurfaceView หรือ TextureView) กับเฟรมเวิร์กโดยตรง
ระยะที่ 2 สร้างเฟรมอินพุต
3. เตรียมสื่อฐาน: แอปจะดึงข้อมูลสื่อฐานที่ไม่มีการบีบอัด เช่น โดยการอ่านไฟล์จากดิสก์ในเครื่อง
4. แทรกข้อมูลเฟรม: แอปของคุณจะเขียนเพย์โหลดรูปภาพดิบลงในไปป์ไลน์พื้นผิวอินพุตที่เชื่อมโยงโดยตรง
ช่วงที่ 3 ประมวลผลและปรับปรุง
5. ดำเนินการประมวลผลด้วย AI: เฟรมเวิร์กจะประมวลผลเฟรมใน GPU หรือ NPU ของอุปกรณ์ โดยใช้การเพิ่มประสิทธิภาพโดยใช้แมชชีนเลิร์นนิง เช่น การแมปโทน การปรับให้คมชัด หรือการเพิ่มความละเอียดของรูปภาพ
6. แสดงเฟรมที่ปรับปรุงแล้ว: เครื่องมือจะแสดงผลเฟรมที่ปรับปรุงแล้วซึ่งมีความละเอียดเต็มไปยังพื้นผิวเอาต์พุตที่เชื่อมโยงโดยตรง
ช่วงที่ 4 แสดงหรือบันทึกผลลัพธ์
7. สรุปเอาต์พุต: แอปของคุณจะได้รับบัฟเฟอร์สตรีมฮาร์ดแวร์ที่ประมวลผลแล้วเพื่อแสดงผลใน UI หรือบันทึกกลับไปยังพื้นที่เก็บข้อมูล
EnhancementSession เป็นออบเจ็กต์บริบทที่มีน้ำหนักมากซึ่งรักษาไปป์ไลน์หน่วยความจำ GPU หรือ NPU แบบถาวร โดยจะจัดสรรหน่วยความจำวิดีโอ (VRAM) โดยเฉพาะและแฮนเดิลระบบแบบเนทีฟ เพื่อป้องกันไม่ให้เกิดหน่วยความจำรั่วไหลอย่างรุนแรงและอาจทำให้ OutOfMemoryError ขัดข้อง โปรดปฏิบัติตามหลักการวงจรต่อไปนี้
- การสร้างอินสแตนซ์แบบ Lazy: อย่าสร้างเซสชันจนกว่าผู้ใช้จะเริ่มดำเนินการปรับปรุง
- การนำกลับมาใช้ใหม่อย่างมีกลยุทธ์: คงไว้และนำอินสแตนซ์เซสชันเดียวกลับมาใช้ใหม่เมื่อประมวลผลสตรีมหรือเฟรมที่มีการกำหนดค่าเหมือนกัน (ขนาดและตัวเลือกเปิด/ปิด)
- การปิดใช้งานพรอมต์: เรียกใช้
session.release()ทันทีเมื่อสิ้นสุดงานภาพเพื่อเพิ่มพื้นที่ว่างในทรัพยากรฮาร์ดแวร์ที่ใช้ร่วมกัน
เริ่มต้นเครื่องมือเพิ่มประสิทธิภาพ
วิธีนี้จะจัดระเบียบการตรวจสอบ 2 ขั้นตอน โดยจะตรวจสอบว่าฮาร์ดแวร์ของอุปกรณ์รองรับการเร่งความเร็วหรือไม่ จากนั้นจึงตรวจสอบว่ามีโมดูลแมชชีนเลิร์นนิงที่จำเป็นอยู่
การเรียกใช้ขั้นตอนนี้เป็นขั้นตอนที่ต้องดำเนินการก่อนจะช่วยป้องกันความล้มเหลวในการเริ่มต้นรันไทม์โดยการตรวจสอบความสามารถก่อนที่แอปจะพยายามประมวลผลสื่อ
class MediaSetupViewModel(application: Application) : AndroidViewModel(application) {
private val enhancementClient = Enhancement.getClient(application)
fun initializeEnhancementEngine() {
viewModelScope.launch {
try {
// 1. Verify hardware capability
val isSupported = enhancementClient.isDeviceSupportedAsync()
if (!isSupported) {
notifyUiDeviceIncompatible()
return@launch
}
// 2. Verify and download the Google Play services ML modules
val isInstalled = enhancementClient.isModuleInstalledAsync()
if (!isInstalled) {
notifyUiDownloadingModels()
enhancementClient.installModule().await()
}
notifyUiEngineReady()
} catch (e: Exception) {
// Handle potential errors during session creation or image
// processing.
handleInitializationError(e)
}
}
}
}
การติดตั้งใช้งาน: โหมดแพลตฟอร์ม (แพลตฟอร์มเข้า, แพลตฟอร์มออก)
โหมดการดำเนินการ Surface (EnhancementMode.SURFACE) จะหลีกเลี่ยงค่าใช้จ่ายในการดำเนินการด้านประสิทธิภาพของการย้ายเฟรมระหว่างบัฟเฟอร์หน่วยความจำ CPU และ GPU แต่ไลบรารีการเพิ่มประสิทธิภาพจะแมปบัฟเฟอร์ฮาร์ดแวร์ดิบโดยตรง โดยอ่านเฟรมจาก Surface อินพุต ประมวลผลเฟรมแบบเนทีฟ และส่งเฟรมไปยัง Surface เอาต์พุตโดยตรง
สแนปชอตของพื้นผิวแบบเฟรมเดียว
วิธีนี้ใช้เพื่อใช้เอฟเฟกต์กับเฟรมรูปภาพที่ถอดรหัสด้วยฮาร์ดแวร์เฟรมเดียวได้อย่างมีประสิทธิภาพ
// Provisions input Surface (for example, ImageReader) and output Surface (for
// example, SurfaceView)
val inputSurface: Surface = imageReader.surface
val outputSurface: Surface = surfaceView.holder.surface
// 1. Configure parameters for SURFACE mode
val surfaceOptions = EnhancementOptions(
imageReader.width,
imageReader.height,
EnhancementMode.SURFACE,
enableTonemap = true,
enableDeblurDenoise = true,
enableFaceDetection = false
).also {
// 2. Bind hardware surfaces
it.setInputSurface(inputSurface)
it.setOutputSurface(outputSurface)
}
// 3. Create the session to process the hardware frame
val singleFrameSession = enhancementClient.createSessionAsync(surfaceOptions, executor)
// The API processes the single frame. Upon completion, release the session.
singleFrameSession.release()