屏幕闪烁

屏幕闪烁(也称为前置闪光灯或自拍闪光灯)是指在弱光条件下使用前置摄像头拍摄图像时,利用手机屏幕亮度照亮拍摄对象。许多原生相机应用和社交媒体应用都支持此功能。由于大多数人在自拍时都会将手机拿得足够近,因此这种方法很有效。

不过,开发者很难正确实现该功能,并在各种设备上始终保持良好的拍摄质量。本指南介绍了如何使用 Camera2(低级 Android 相机框架 API)正确实现此功能。

常规工作流程

为了正确实现该功能,有两个关键因素:使用预拍摄测光序列(自动曝光预拍摄)和操作时机。一般工作流程如图 1 所示。

流程图:展示如何在 Camera2 中使用屏幕闪烁界面。
图 1. 实现屏幕闪烁的一般工作流程。

当需要使用屏幕闪烁功能拍摄图片时,请执行以下步骤。

  1. 应用屏幕闪烁所需的界面更改,这可以为使用设备屏幕拍照提供充足的光线。对于一般用例,Google 建议进行以下界面更改(如我们的测试中所用):
    • 应用界面上覆盖着白色叠加层。
    • 屏幕亮度已调至最高。
  2. 将自动曝光 (AE) 模式设置为 CONTROL_AE_MODE_ON_EXTERNAL_FLASH(如果支持)。
  3. 使用 CONTROL_AE_PRECAPTURE_TRIGGER 触发预拍测光序列。
  4. 等待自动曝光 (AE) 和自动白平衡 (AWB) 收敛。

  5. 收敛后,系统会使用应用的常规照片拍摄流程。

  6. 向框架发送拍摄请求。

  7. 等待接收捕获结果。

  8. 如果设置了 CONTROL_AE_MODE_ON_EXTERNAL_FLASH,则重置 AE 模式。

  9. 清除屏幕闪烁的界面更改。

Camera2 示例代码

用白色叠加层覆盖应用界面

在应用的布局 XML 文件中添加一个 View。该视图具有足够的高度,可在屏幕闪烁拍摄期间位于所有其他界面元素的顶部。默认情况下,该视图处于不可见状态,只有在应用屏幕闪烁界面更改时才会显示。

在以下代码示例中,白色 (#FFFFFF) 用作视图的示例。应用可以根据其要求选择颜色,或为用户提供多种颜色。

<View
    android:id="@+id/white_color_overlay"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:background="#FFFFFF"
    android:visibility="invisible"
    android:elevation="8dp" />

将屏幕亮度调到最高

您可以通过多种方式在 Android 应用中更改屏幕亮度。一种直接的方法是更改 Activity 窗口参考文档中的 screenBrightness WindowManager 参数。

private var previousBrightness: Float = -1.0f

private fun maximizeScreenBrightness() {
    activity?.window?.let { window ->
        window.attributes?.apply {
            previousBrightness = screenBrightness
            screenBrightness = 1f
            window.attributes = this
        }
    }
}

private fun restoreScreenBrightness() {
    activity?.window?.let { window ->
        window.attributes?.apply {
            screenBrightness = previousBrightness
            window.attributes = this
        }
    }
}

将 AE 模式设为 CONTROL_AE_MODE_ON_EXTERNAL_FLASH

CONTROL_AE_MODE_ON_EXTERNAL_FLASH 适用于 API 级别 28 或更高级别。 不过,并非所有设备都支持此 AE 模式,因此请检查该 AE 模式是否可用,并相应地设置值。如需检查可用性,请使用 CameraCharacteristics#CONTROL_AE_AVAILABLE_MODES。

private val characteristics: CameraCharacteristics by lazy {
    cameraManager.getCameraCharacteristics(cameraId)
}

@RequiresApi(Build.VERSION_CODES.P)
private fun isExternalFlashAeModeAvailable() =
    characteristics.get(CameraCharacteristics.CONTROL_AE_AVAILABLE_MODES)
        ?.contains(CaptureRequest.CONTROL_AE_MODE_ON_EXTERNAL_FLASH) ?: false

如果应用设置了重复拍摄请求(预览需要),则需要为重复请求设置 AE 模式。否则,在下一次重复拍摄中,它可能会被默认或用户设置的其他 AE 模式覆盖。如果发生这种情况,相机可能没有足够的时间来执行其通常针对外接闪光灯 AE 模式执行的所有操作。

为确保相机完全处理 AE 模式更新请求,请在重复拍摄回调中检查拍摄结果,并等待结果中的 AE 模式更新。

可等待 AE 模式更新的拍摄回调

以下代码段展示了如何实现此目的。

private val repeatingCaptureCallback = object : CameraCaptureSession.CaptureCallback() {
    private var targetAeMode: Int? = null
    private var aeModeUpdateDeferred: CompletableDeferred<Unit>? = null

    suspend fun awaitAeModeUpdate(targetAeMode: Int) {
        this.targetAeMode = targetAeMode
        aeModeUpdateDeferred = CompletableDeferred()
        // Makes the current coroutine wait until aeModeUpdateDeferred is completed. It is
        // completed once targetAeMode is found in the following capture callbacks.
        aeModeUpdateDeferred?.await()
    }

    private fun process(result: CaptureResult) {
        // Checks if AE mode is updated and completes any awaiting Deferred.
        aeModeUpdateDeferred?.let {
            val aeMode = result[CaptureResult.CONTROL_AE_MODE]
            if (aeMode == targetAeMode) {
                it.complete(Unit)
            }
        }
    }

    override fun onCaptureCompleted(
        session: CameraCaptureSession,
        request: CaptureRequest,
        result: TotalCaptureResult
    ) {
        super.onCaptureCompleted(session, request, result)
        process(result)
    }
}

设置重复请求以启用或停用 AE 模式

设置好捕获回调后,以下代码示例展示了如何设置重复请求。

/** [HandlerThread] where all camera operations run */
private val cameraThread = HandlerThread("CameraThread").apply { start() }

/** [Handler] corresponding to [cameraThread] */
private val cameraHandler = Handler(cameraThread.looper)

private suspend fun enableExternalFlashAeMode() {
    if (Build.VERSION.SDK_INT >= 28 && isExternalFlashAeModeAvailable()) {
        session.setRepeatingRequest(
            camera.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW).apply {
                addTarget(previewSurface)
                set(
                    CaptureRequest.CONTROL_AE_MODE,
                    CaptureRequest.CONTROL_AE_MODE_ON_EXTERNAL_FLASH
                )
            }.build(),
            repeatingCaptureCallback, cameraHandler
        )

        // Wait for the request to be processed by camera.
        repeatingCaptureCallback.awaitAeModeUpdate(CaptureRequest.CONTROL_AE_MODE_ON_EXTERNAL_FLASH)
    }
}

private fun disableExternalFlashAeMode() {
    if (Build.VERSION.SDK_INT >= 28 && isExternalFlashAeModeAvailable()) {
        session.setRepeatingRequest(
            camera.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW).apply {
                addTarget(previewSurface)
            }.build(),
            repeatingCaptureCallback, cameraHandler
        )
    }
}

触发预拍摄序列

如需触发预捕获测光序列,您可以提交一个 CaptureRequest,并将 CONTROL_AE_PRECAPTURE_TRIGGER_START 值设置为请求。您需要等待请求处理完毕,然后等待 AE 和 AWB 收敛。

虽然预拍摄会通过单个拍摄请求触发,但等待 AE 和 AWB 收敛确实需要更复杂的处理。您可以使用设置为重复请求的拍摄回调来跟踪 AE 状态和 AWB 状态。

更新同一重复回调可让代码更简洁。 应用通常需要一个预览,以便在设置相机时设置重复请求。因此,您可以将重复捕获回调设置为该初始重复请求一次,然后将其重复用于结果检查和等待。

捕获回调代码更新,以等待收敛

如需更新重复拍摄回调,请使用以下代码段。

private val repeatingCaptureCallback = object : CameraCaptureSession.CaptureCallback() {
    private var targetAeMode: Int? = null
    private var aeModeUpdateDeferred: CompletableDeferred<Unit>? = null

    private var convergenceDeferred: CompletableDeferred<Unit>? = null

    suspend fun awaitAeModeUpdate(targetAeMode: Int) {
        this.targetAeMode = targetAeMode
        aeModeUpdateDeferred = CompletableDeferred()
        // Makes the current coroutine wait until aeModeUpdateDeferred is completed. It is
        // completed once targetAeMode is found in the following capture callbacks.
        aeModeUpdateDeferred?.await()
    }

    suspend fun awaitAeAwbConvergence() {
        convergenceDeferred = CompletableDeferred()
        // Makes the current coroutine wait until convergenceDeferred is completed, it will be
        // completed once both AE & AWB are reported as converged in the capture callbacks below.
        convergenceDeferred?.await()
    }

    private fun process(result: CaptureResult) {
        // Checks if AE mode is updated and completes any awaiting Deferred.
        aeModeUpdateDeferred?.let {
            val aeMode = result[CaptureResult.CONTROL_AE_MODE]
            if (aeMode == targetAeMode) {
                it.complete(Unit)
            }
        }

        // Checks for convergence and completes any awaiting Deferred.
        convergenceDeferred?.let {
            val aeState = result[CaptureResult.CONTROL_AE_STATE]
            val awbState = result[CaptureResult.CONTROL_AWB_STATE]

            val isAeReady = (
                aeState == null ||
                    // May be null in some devices (e.g. legacy camera HW level).
                    aeState == CaptureResult.CONTROL_AE_STATE_CONVERGED ||
                    aeState == CaptureResult.CONTROL_AE_STATE_FLASH_REQUIRED
                )

            val isAwbReady = (
                awbState == null ||
                    // May be null in some devices (e.g. legacy camera HW level).
                    awbState == CaptureResult.CONTROL_AWB_STATE_CONVERGED
                )

            if (isAeReady && isAwbReady) {
                // if any non-null convergenceDeferred is set, complete it.
                it.complete(Unit)
            }
        }
    }

    override fun onCaptureCompleted(
        session: CameraCaptureSession,
        request: CaptureRequest,
        result: TotalCaptureResult
    ) {
        super.onCaptureCompleted(session, request, result)
        process(result)
    }
}

在相机设置期间将回调设置为重复请求

通过以下代码示例,您可以在初始化期间将回调设置为重复请求。

// Open the selected camera.
camera = openCamera(cameraManager, cameraId, cameraHandler)

// Creates list of Surfaces where the camera will output frames.
val targets = listOf(previewSurface, imageReaderSurface)

// Start a capture session using our open camera and list of Surfaces where frames will go.
session = createCameraCaptureSession(camera, targets, cameraHandler)

val captureRequest = camera.createCaptureRequest(
    CameraDevice.TEMPLATE_PREVIEW
).apply { addTarget(previewSurface) }

// This will keep sending the capture request as frequently as possible until the
// session is torn down or session.stopRepeating() is called.
session.setRepeatingRequest(captureRequest.build(), repeatingCaptureCallback, cameraHandler)

预拍摄序列触发和等待

设置回调后,您可以使用以下代码示例触发和等待预拍摄序列。

private suspend fun runPrecaptureSequence() {
    // Creates a new capture request with CONTROL_AE_PRECAPTURE_TRIGGER_START.
    val captureRequest = session.device.createCaptureRequest(
        CameraDevice.TEMPLATE_PREVIEW
    ).apply {
        addTarget(previewSurface)
        set(
            CaptureRequest.CONTROL_AE_PRECAPTURE_TRIGGER,
            CaptureRequest.CONTROL_AE_PRECAPTURE_TRIGGER_START
        )
    }

    val precaptureDeferred = CompletableDeferred<Unit>()
    session.capture(
        captureRequest.build(),
        object : CameraCaptureSession.CaptureCallback() {
            override fun onCaptureCompleted(
                session: CameraCaptureSession,
                request: CaptureRequest,
                result: TotalCaptureResult
            ) {
                // Waiting for this callback ensures the precapture request has been processed.
                precaptureDeferred.complete(Unit)
            }
        },
        cameraHandler
    )

    precaptureDeferred.await()

    // Precapture trigger request has been processed, we can wait for AE & AWB convergence now.
    repeatingCaptureCallback.awaitAeAwbConvergence()
}

将所有内容拼接在一起

所有主要组件准备就绪后,每当需要拍摄照片时(例如用户点击拍摄按钮拍照时),所有步骤都可以按照前面的讨论和代码示例中提到的顺序执行。

// User clicks captureButton to take picture.
captureButton.setOnClickListener {
    // Apply the screen flash related UI changes.
    whiteColorOverlayView.visibility = View.VISIBLE
    maximizeScreenBrightness()

    // Launch on the main thread, then switch to IO for background operations.
    lifecycleScope.launch {
        // Perform I/O heavy operations in a different scope.
        withContext(Dispatchers.IO) {
            // Enable external flash AE mode and wait for it to be processed.
            enableExternalFlashAeMode()

            // Run precapture sequence and wait for it to complete.
            runPrecaptureSequence()

            // Start taking picture and wait for it to complete.
            takePhoto()

            disableExternalFlashAeMode()
        }

        // Back on the main thread automatically.
        // Clear the screen flash related UI changes.
        restoreScreenBrightness()
        whiteColorOverlayView.visibility = View.INVISIBLE
    }
}

示例图片

通过以下示例,您可以了解屏幕闪烁功能实现不正确和实现正确时的情况。

如果操作不当

如果屏幕闪烁功能未正确实现,您在多次拍摄、使用不同设备和在不同光照条件下拍摄时,会得到不一致的结果。拍摄的图片通常存在曝光不佳或色调问题。对于某些设备,这类 bug 在特定光照条件下会变得更加明显,例如在弱光环境(而非完全黑暗的环境)中。

下表显示了此类问题的示例。这些照片是在 CameraX 实验室基础架构中拍摄的,光源保持暖白色。通过这个暖白光源,您可以看到蓝色色调是一个实际问题,而不是光源的副作用。

环境 曝光不足 曝光过度 色调
昏暗环境(除手机外无其他光源) 几乎全黑的照片 照片过度提亮 带紫色色调的照片
弱光(额外 ~3 勒克斯光源) 照片有点暗 过度提亮的照片 照片偏蓝

如果操作得当

如果对相同的设备和条件使用标准实现,您可以在下表中看到结果。

环境 曝光不足(已修正) 过度曝光(已修正) 色调问题(已修正)
昏暗环境(除手机外无其他光源) 清除照片 清除照片 清晰且无任何色调的照片
弱光(额外 ~3 勒克斯光源) 清除照片 清除照片 清晰且无色调的照片

如您所见,采用标准实现后,图片质量显著提升。