HowTo

使用 CameraX 和 Jetpack Compose 打造聚光灯效果

阅读用时:8 分钟
查看 Jolanda Verhoef 的个人资料
Jolanda Verhoef 开发者关系工程师

您好!欢迎回到 CameraX 和 Jetpack Compose 系列。在之前的博文中,我们介绍了设置相机预览的基础知识,并添加了点按对焦功能。

🧱 第 1 部分:使用新的 camera-compose 工件构建基本相机预览。我们介绍了权限处理和基本集成。

👆 第 2 部分:使用 Compose 手势系统、图形和协程实现视觉点按对焦。

🔦 第 3 部分(本博文):探索如何在相机预览画面上叠加 Compose 界面元素,以提供更丰富的用户体验。

📂 第 4 部分:使用自适应 API 和 Compose 动画框架,在折叠屏手机上实现进入和退出桌上模式的流畅动画效果。

在这篇博文中,我们将深入探讨一些更具视觉吸引力的内容:在相机预览画面上实现聚光灯效果,并以人脸检测作为该效果的基础。您问为什么?我不确定。但它看起来确实很酷 🙂。更重要的是,它展示了我们如何轻松地将传感器坐标转换为界面坐标,从而在 Compose 中使用它们!

face-detection.gif

启用人脸检测

首先,我们修改 CameraPreviewViewModel 以启用人脸检测。我们将使用 Camera2Interop API,该 API 允许我们从 CameraX 与底层 Camera2 API 进行交互。这样,我们就有机会使用 CameraX 未直接提供的相机功能。我们需要进行以下更改:

  • 创建一个 StateFlow,其中包含作为 Rect 列表的面部边界。
  • 将 STATISTICS_FACE_DETECT_MODE 捕获请求选项设置为 FULL,以启用人脸检测。
  • 设置 CaptureCallback,以从拍摄结果中获取人脸信息。
class CameraPreviewViewModel : ViewModel() {
    ...
    private val _sensorFaceRects = MutableStateFlow(listOf<Rect>())
    val sensorFaceRects: StateFlow<List<Rect>> = _sensorFaceRects.asStateFlow()

    private val cameraPreviewUseCase = Preview.Builder()
        .apply {
            Camera2Interop.Extender(this)
                .setCaptureRequestOption(
                    CaptureRequest.STATISTICS_FACE_DETECT_MODE,
                    CaptureRequest.STATISTICS_FACE_DETECT_MODE_FULL
                )
                .setSessionCaptureCallback(object : CameraCaptureSession.CaptureCallback() {
                    override fun onCaptureCompleted(
                        session: CameraCaptureSession,
                        request: CaptureRequest,
                        result: TotalCaptureResult
                    ) {
                        super.onCaptureCompleted(session, request, result)
                        result.get(CaptureResult.STATISTICS_FACES)
                            ?.map { face -> face.bounds.toComposeRect() }
                            ?.toList()
                            ?.let { faces -> _sensorFaceRects.update { faces } }
                    }
                })
        }
        .build().apply {
    ...
}

完成这些更改后,我们的视图模型现在会发出一个 Rect 对象列表,这些对象表示传感器坐标中检测到的人脸的边界框。

将传感器坐标转换为界面坐标

我们在上一部分中存储的检测到的人脸的边界框使用传感器坐标系中的坐标。为了在界面中绘制边界框,我们需要转换这些坐标,使其在 Compose 坐标系中正确无误。我们需要:

  • 将传感器坐标转换为预览缓冲区坐标
  • 将预览缓冲区坐标转换为 Compose 界面坐标

这些转换是使用转换矩阵完成的。每种转换都有自己的矩阵:

我们可以创建一个辅助方法来为我们执行转换:

private fun List<Rect>.transformToUiCoords(
    transformationInfo: SurfaceRequest.TransformationInfo?,
    uiToBufferCoordinateTransformer: MutableCoordinateTransformer
): List<Rect> = this.map { sensorRect ->
    val bufferToUiTransformMatrix = Matrix().apply {
        setFrom(uiToBufferCoordinateTransformer.transformMatrix)
        invert()
    }

    val sensorToBufferTransformMatrix = Matrix().apply {
        transformationInfo?.let {
            setFrom(it.sensorToBufferTransform)
        }
    }

    val bufferRect = sensorToBufferTransformMatrix.map(sensorRect)
    val uiRect = bufferToUiTransformMatrix.map(bufferRect)

    uiRect
}
  • 我们遍历检测到的人脸列表,并对每个人脸执行转换。
  • 默认情况下,我们从 CameraXViewfinder 获取的 CoordinateTransformer.transformMatrix 会将坐标从界面坐标转换为缓冲区坐标。在本例中,我们希望矩阵以相反的方式工作,将缓冲区坐标转换为界面坐标。因此,我们使用 invert() 方法来对矩阵求逆。
  • 我们首先使用 sensorToBufferTransformMatrix 将人脸从传感器坐标转换为缓冲区坐标,然后使用 bufferToUiTransformMatrix 将这些缓冲区坐标转换为界面坐标。

实现聚光灯效果

现在,我们来更新 CameraPreviewContent 可组合项,以绘制聚光灯效果。我们将使用 Canvas 可组合项在预览画面上绘制渐变遮罩,使检测到的人脸清晰可见:

@Composable
fun CameraPreviewContent(
    viewModel: CameraPreviewViewModel,
    modifier: Modifier = Modifier,
    lifecycleOwner: LifecycleOwner = LocalLifecycleOwner.current
) {
    val surfaceRequest by viewModel.surfaceRequest.collectAsStateWithLifecycle()
    val sensorFaceRects by viewModel.sensorFaceRects.collectAsStateWithLifecycle()
    val transformationInfo by
        produceState<SurfaceRequest.TransformationInfo?>(null, surfaceRequest) {
            try {
                surfaceRequest?.setTransformationInfoListener(Runnable::run) { transformationInfo ->
                    value = transformationInfo
                }
                awaitCancellation()
            } finally {
                surfaceRequest?.clearTransformationInfoListener()
            }
        }
    val shouldSpotlightFaces by remember {
        derivedStateOf { sensorFaceRects.isNotEmpty() && transformationInfo != null} 
    }
    val spotlightColor = Color(0xDDE60991)
    ..

    surfaceRequest?.let { request ->
        val coordinateTransformer = remember { MutableCoordinateTransformer() }
        CameraXViewfinder(
            surfaceRequest = request,
            coordinateTransformer = coordinateTransformer,
            modifier = ..
        )

        AnimatedVisibility(shouldSpotlightFaces, enter = fadeIn(), exit = fadeOut()) {
            Canvas(Modifier.fillMaxSize()) {
                val uiFaceRects = sensorFaceRects.transformToUiCoords(
                    transformationInfo = transformationInfo,
                    uiToBufferCoordinateTransformer = coordinateTransformer
                )

                // Fill the whole space with the color
                drawRect(spotlightColor)
                // Then extract each face and make it transparent

                uiFaceRects.forEach { faceRect ->
                    drawRect(
                        Brush.radialGradient(
                            0.4f to Color.Black, 1f to Color.Transparent,
                            center = faceRect.center,
                            radius = faceRect.minDimension * 2f,
                        ),
                        blendMode = BlendMode.DstOut
                    )
                }
            }
        }
    }
}

其运作方式如下:

  • 我们从视图模型中收集人脸列表。
  • 为确保我们不会在每次检测到的人脸列表发生变化时都重组整个界面,我们使用 derivedStateOf 来跟踪是否检测到任何面孔。然后,您可以将其与 AnimatedVisibility 搭配使用,为彩色叠加层的淡入和淡出添加动画效果。
  • surfaceRequest 包含将传感器坐标转换为 SurfaceRequest.TransformationInfo 中的缓冲区坐标所需的信息。我们使用 produceState 函数在 Surface 请求中设置监听器,并在可组合项离开组合树时清除此监听器。
  • 我们使用 Canvas 绘制一个覆盖整个屏幕的半透明粉色矩形。
  • 我们将 sensorFaceRects 变量的读取操作推迟到 Canvas 绘制块内。然后,我们将这些坐标转换为界面坐标。
  • 我们遍历检测到的人脸,并为每个人脸绘制一个径向渐变,使人脸矩形内部透明。
  • 我们使用 BlendMode.DstOut 确保从粉色矩形中剪切出渐变效果,从而营造出聚光灯效果。

注意:将镜头切换到 DEFAULT_FRONT_CAMERA 后,您会发现聚光灯是镜像的!这是一个已知问题,已在 Google 问题跟踪器中进行跟踪。

结果

通过这段代码,我们实现了一个功能完善的聚光灯效果,可以突出显示检测到的人脸。您可以点击此处查看完整的代码段。

此效果只是一个开始,借助 Compose 的强大功能,您可以打造各种视觉效果惊艳的相机体验。能够将传感器和缓冲区坐标转换为 Compose 界面坐标,反之亦然,这意味着我们可以利用所有 Compose 界面功能,并将其与底层相机系统无缝集成。借助动画、高级界面图形、简单的界面状态管理和全面的手势控制,您可以尽情发挥想象力!

在本系列的最后一篇博文中,我们将深入探讨如何使用自适应 API 和 Compose 动画框架,在可折叠设备上实现不同相机界面之间的无缝切换。敬请期待!


本博文中的代码段遵循以下许可:

// Copyright 2024 Google LLC. SPDX-License-Identifier: Apache-2.0

非常感谢 Nick Butcher、Alex Vanyo、Trevor McGuire、Don Turner 和 Lauren Ward 审阅并提供反馈。这离不开 Yasith Vidanaarachch 的辛勤工作。

 

作者:
继续阅读