提取视频帧

FrameExtractor 类提供了一种从 MediaItem 中提取解码帧的高效方法。

常见用例包括：

  • 生成缩略图：为视频库或进度条创建优质缩略图。
  • 视频编辑预览：在编辑器时间轴中显示精确的帧预览，让用户能够浏览内容并准确直观地查看帧。
  • 在提取过程中直接应用缩放、剪裁或旋转等转换，避免单独的后处理步骤。
  • 内容分析：以一定间隔提取帧，然后将其发送到分析流水线，以执行场景检测、对象识别或质量控制等任务。

概览

使用 FrameExtractor 的过程分为两个步骤：

  1. 构建提取器：使用 FrameExtractor.Builder 创建实例。 将您要检查的 Context 和 MediaItem 传递给构建器。您还可以针对高级设置，在 Builder 上链接配置方法。
  2. 提取帧：调用 getFrame() 可提取特定时间戳处的帧，调用 getThumbnail() 可请求具有代表性的缩略图。这些方法是异步的，并返回 ListenableFuture。因此，复杂的解码工作不会阻塞主线程。

Kotlin

suspend fun extractFrame(context: Context, mediaItem: MediaItem) {
    try {
        // 1. Build the frame extractor.
        // `FrameExtractor` implements `AutoCloseable`, so wrap it in
        // a Kotlin `.use` block, which calls `close()` automatically.
        FrameExtractor.Builder(context, mediaItem).build().use { extractor ->
            // 2. Extract frames asynchronously.
            val frame = extractor.getFrame(5000L).await()
            val thumbnail = extractor.thumbnail.await()
            handleFrame(frame, thumbnail)
        }
    } catch (e: Exception) {
        Log.e(TAG, "Exception: $e")
    }
}

Java

public void extractFrame(Context context, MediaItem mediaItem) {
    // 1. Build the frame extractor.
    // `FrameExtractor` implements `AutoCloseable`, so use try-with-resources
    // so that the resources are automatically released.
    try (FrameExtractor frameExtractor = new FrameExtractor.Builder(context, mediaItem).build()) {
        // 2. Extract frames asynchronously.
        ListenableFuture<FrameExtractor.Frame> frameFuture = frameExtractor.getFrame(5000L);
        ListenableFuture<FrameExtractor.Frame> thumbnailFuture = frameExtractor.getThumbnail();

        ListenableFuture<List<Object>> allFutures = Futures.allAsList(frameFuture, thumbnailFuture);
        Futures.addCallback(allFutures, new FutureCallback<>() {
            @Override
            public void onSuccess(List<Object> result) {
                handleFrame(Futures.getUnchecked(frameFuture), Futures.getUnchecked(thumbnailFuture));
            }

            @Override
            public void onFailure(@NonNull Throwable t) {
                handleFailure(t);
            }
        }, MoreExecutors.directExecutor());
    }
}