了解媒体增强功能

现代移动应用严重依赖用户生成的媒体内容来提高互动度和留存率。由于设备功能、光照条件和用户体验千差万别,应用会观察到内容质量的自然变化。对于管理来自各种来源的大量照片和视频的应用,有机会提升这些用户生成的内容的基准质量。为了保持最佳质量,需要在编辑、上传和下载等操作所需的压缩与保留足够细节以实现高保真度之间保持谨慎的平衡。

媒体增强 API 概览

Google Play 服务中的 Media Enhancement API 提供了一个全面的设备端 AI 解决方案,可弥补这一差距。它使用设备端图形处理单元 (GPU) 加速功能,为图片和视频提供高画质、低延迟的改进。它通过自动色调映射、模糊修复、降噪和高清重塑等功能实现这些增强功能。

此 API 通过 Google Play 服务原生提供,可将计算密集型图片和视频修复任务直接分流到主机设备的原生 GPU 和神经处理单元 (NPU)。该 API 提供了一个低延迟、可保护隐私的流水线,不会导致 APK 膨胀,仅在需要时按需下载模型,以节省设备磁盘空间。

核心功能和应用场景

该框架通过三种核心机器学习功能来针对特定的媒体故障点,您可以单独配置这些功能,也可以将它们串联起来:

能力 算法功能 最佳应用场景
色调映射 SDR 到 SDR 的局部色调映射算法:可增强标准动态范围 (SDR) 图片,使其呈现出类似 HDR 的画质(例如提升局部对比度和提亮阴影),同时仍保持在可显示的 SDR 范围内。这种实时、节能的算法针对移动性能进行了优化。 拯救平淡、阴暗的风景照片或严重逆光的室内人像。
消除模糊 通过估算由拍摄对象移动或相机抖动引起的数学模糊核,重构清晰的边缘。应用空间滤波来平滑色度颗粒,并充当去块效应滤波器,以减轻锐利边缘附近的压缩伪影。 修复抖动或模糊的照片,增强颗粒感明显的低光图像,以及消除压缩 JPEG 图像和视频流中的块状伪影。
高档 使用超分辨率生成模型来增加像素数量并重构缺失的高频细节。 将小缩略图或标清视频文件放大以进行全屏显示。

硬件要求

使用机器学习或深度学习模型在设备端运行推理需要时间,并且性能在很大程度上取决于设备使用的硬件加速器。Media Enhancement API 针对配备专用张量核心和高带宽内存的高级层级设备(例如 Pixel 10 Pro 或 Samsung Galaxy S26 Ultra)进行了优化。

如果设备的硬件不符合最低性能阈值,初始化过程会停止并报告不受支持的状态,以防止丢帧或热限制。