สร้างแอปตัดต่อวิดีโอพื้นฐานโดยใช้ Media3 Transformer

Transformer API ใน Jetpack Media3 ออกแบบมาเพื่อแก้ไขสื่อ มีประสิทธิภาพและน่าเชื่อถือ Transformer รองรับการดำเนินงานหลายอย่าง ซึ่งรวมถึง

• การแก้ไขวิดีโอด้วยการตัด ปรับขนาด และหมุน
• การเพิ่มเอฟเฟกต์ เช่น การวางซ้อนและฟิลเตอร์
• การประมวลผลรูปแบบพิเศษ เช่น HDR และวิดีโอสโลว์โมชัน
• การส่งออกรายการสื่อหลังจากใช้การแก้ไข

หน้านี้จะอธิบายถึงกรณีการใช้งานที่สำคัญบางส่วนที่ครอบคลุมโดย Transformer ดูรายละเอียดเพิ่มเติมได้ในคู่มือฉบับเต็มใน Media3 Transformer

เริ่มต้นใช้งาน

ในการเริ่มต้นใช้งาน ให้เพิ่มการอ้างอิงโมดูล Transformer, Effect และ Common ของ Jetpack Media3:

implementation "androidx.media3:media3-transformer:1.4.1"
implementation "androidx.media3:media3-effect:1.4.1"
implementation "androidx.media3:media3-common:1.4.1"

โปรดแทนที่ 1.4.1 ด้วยเวอร์ชันที่คุณต้องการ ไลบรารี คุณสามารถดู บันทึกประจำรุ่น เพื่อดูเวอร์ชันล่าสุด

ชั้นเรียนที่สำคัญ

ชั้น	วัตถุประสงค์
Transformer	เริ่มและหยุดการเปลี่ยนรูปแบบ รวมถึงตรวจหาการอัปเดตความคืบหน้าในการเปลี่ยนรูปแบบที่ทํางานอยู่
EditedMediaItem	หมายถึงรายการสื่อที่จะประมวลผลและการแก้ไขที่จะใช้กับรายการ
Effects	คอลเล็กชันเอฟเฟกต์เสียงและวิดีโอ

กำหนดค่าเอาต์พุต

เมื่อใช้ Transformer.Builder คุณจะระบุ videoMimeType และ ไดเรกทอรี audioMimetype โดยการตั้งค่าฟังก์ชันโดยไม่ต้องสร้าง TransformationRequest ออบเจ็กต์

แปลงรูปแบบไฟล์

โค้ดต่อไปนี้แสดงวิธีกำหนดค่าออบเจ็กต์ Transformer เป็น เอาต์พุตวิดีโอ H.265/AVC และเสียง AAC:

Kotlin

val transformer = Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build()

Java

Transformer transformer = new Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build();

หากรูปแบบสื่ออินพุตตรงกับคำขอเปลี่ยนรูปแบบสำหรับเสียงอยู่แล้ว หรือวิดีโอ Transformer จะเปลี่ยนเป็นการแปลงสัญญาณโดยอัตโนมัติ ซึ่งก็คือการคัดลอก ตัวอย่างที่บีบอัดจากคอนเทนเนอร์อินพุตไปยังคอนเทนเนอร์เอาต์พุตโดยไม่มี การแก้ไข เพื่อหลีกเลี่ยงต้นทุนในการคํานวณและการสูญเสียคุณภาพที่อาจเกิดขึ้น การถอดรหัส และการเข้ารหัสอีกครั้งในรูปแบบเดิม

ตั้งค่าโหมด HDR

หากไฟล์สื่ออินพุตอยู่ในรูปแบบ HDR คุณสามารถเลือกได้จาก โหมดต่างๆ สำหรับ Transformer ในการประมวลผลข้อมูล HDR คุณอาจ ต้องการใช้ HDR_MODE_KEEP_HDR หรือ HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL

	HDR_MODE_KEEP_HDR	HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL
คำอธิบาย	เก็บรักษาข้อมูล HDR ซึ่งหมายความว่ารูปแบบเอาต์พุต HDR จะเหมือนกับรูปแบบอินพุต HDR	อินพุต HDR แบบ Tonemap ไปยัง SDR โดยใช้ Tonemapper ของ OpenGL ซึ่งหมายความว่ารูปแบบเอาต์พุตจะเป็น SDR
การสนับสนุน	รองรับใน API ระดับ 31 ขึ้นไปสำหรับอุปกรณ์ที่มีโปรแกรมเปลี่ยนไฟล์ที่มีความสามารถ FEATURE_HdrEditing	รองรับใน API ระดับ 29 ขึ้นไป
ข้อผิดพลาด	หากไม่รองรับ ให้พยายามใช้ HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL แทน	หากไม่รองรับ ให้ส่ง ExportException

ในอุปกรณ์ที่รองรับความสามารถในการเข้ารหัสที่จำเป็นและใช้ Android 13 (API ระดับ 33) ขึ้นไป ออบเจ็กต์ Transformer ให้คุณแก้ไขวิดีโอ HDR ได้ HDR_MODE_KEEP_HDR คือโหมดเริ่มต้นเมื่อสร้างออบเจ็กต์ Composition ดังที่แสดงในรหัสต่อไปนี้

Kotlin

val composition = Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(HDR_MODE_KEEP_HDR)
    .build()

Java

Composition composition = new Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(Composition.HDR_MODE_KEEP_HDR)
    .build();

เตรียมรายการสื่อ

MediaItem หมายถึงเสียง หรือรายการวิดีโอ ในแอปของคุณ EditedMediaItem เก็บรวบรวม MediaItem ตาม กับการเปลี่ยนรูปแบบมาใช้

ตัดวิดีโอ

หากต้องการนำส่วนที่ไม่ต้องการออกจากวิดีโอ คุณตั้งค่าจุดเริ่มต้นและสิ้นสุดที่กำหนดเองได้ โดยเพิ่ม ClippingConfiguration ลงใน MediaItem

Kotlin

val clippingConfiguration = MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build()
val mediaItem = MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build()

Java

ClippingConfiguration clippingConfiguration = new MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build();
MediaItem mediaItem = new MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build();

ใช้เอฟเฟกต์ในตัว

Media3 มีเอฟเฟกต์วิดีโอในตัวมากมาย สำหรับการเปลี่ยนรูปแบบทั่วไป เช่น

ชั้น	เอฟเฟ็กต์
Presentation	ปรับขนาดรายการสื่อตามความละเอียดหรือสัดส่วนภาพ
ScaleAndRotateTransformation	ปรับขนาดรายการสื่อตามตัวคูณและ/หรือหมุนรายการสื่อ
Crop	ครอบตัดรายการสื่อให้มีเฟรมเล็กลงหรือใหญ่ขึ้น
OverlayEffect	เพิ่มการวางซ้อนข้อความหรือรูปภาพที่ด้านบนของรายการสื่อ

สำหรับเอฟเฟกต์เสียง คุณสามารถเพิ่มลำดับ AudioProcessor อินสแตนซ์ที่จะแปลงข้อมูลเสียงดิบ (PCM) ตัวอย่างเช่น คุณสามารถใช้ ChannelMixingAudioProcessor เพื่อมิกซ์และปรับขนาดช่องเสียง

ในการใช้เอฟเฟกต์เหล่านี้ ให้สร้างอินสแตนซ์ของเอฟเฟกต์หรือตัวประมวลผลเสียง อินสแตนซ์ของ Effects ที่มีเอฟเฟกต์เสียงและวิดีโอที่คุณต้องการใช้ รายการสื่อ จากนั้นเพิ่มออบเจ็กต์ Effects ไปยัง EditedMediaItem

Kotlin

val channelMixingProcessor = ChannelMixingAudioProcessor()
val rotateEffect = ScaleAndRotateTransformation.Builder().setRotationDegrees(60f).build()
val cropEffect = Crop(-0.5f, 0.5f, -0.5f, 0.5f)

val effects = Effects(listOf(channelMixingProcessor), listOf(rotateEffect, cropEffect))

val editedMediaItem = EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build()

Java

ChannelMixingAudioProcessor channelMixingProcessor = new ChannelMixingAudioProcessor();
ScaleAndRotateTransformation rotateEffect = new ScaleAndRotateTransformation.Builder()
    .setRotationDegrees(60f)
    .build();
Crop cropEffect = new Crop(-0.5f, 0.5f, -0.5f, 0.5f);

Effects effects = new Effects(
    ImmutableList.of(channelMixingProcessor),
    ImmutableList.of(rotateEffect, cropEffect)
);

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build();

สร้างเอฟเฟกต์ที่กำหนดเอง

การขยายเอฟเฟกต์ที่รวมอยู่ใน Media3 จะทำให้คุณสร้างเอฟเฟกต์ที่กำหนดเองได้ ตามกรณีการใช้งานของคุณโดยเฉพาะ ในตัวอย่างต่อไปนี้ ใช้คลาสย่อย MatrixTransformation เพื่อซูมวิดีโอให้เต็มเฟรมภาพแรก วินาทีของการเล่น:

Kotlin

val zoomEffect = MatrixTransformation { presentationTimeUs ->
    val transformationMatrix = Matrix()
    // Set the scaling factor based on the playback position
    val scale = min(1f, presentationTimeUs / 1_000f)
    transformationMatrix.postScale(/* x */ scale, /* y */ scale)
    transformationMatrix
}

val editedMediaItem = EditedMediaItem.Builder(inputMediaItem)
    .setEffects(Effects(listOf(), listOf(zoomEffect))
    .build()

Java

MatrixTransformation zoomEffect = presentationTimeUs -> {
    Matrix transformationMatrix = new Matrix();
    // Set the scaling factor based on the playback position
    float scale = min(1f, presentationTimeUs / 1_000f);
    transformationMatrix.postScale(/* x */ scale, /* y */ scale);
    return transformationMatrix;
};

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(inputMediaItem)
    .setEffects(new Effects(ImmutableList.of(), ImmutableList.of(zoomEffect)))
    .build();

หากต้องการปรับแต่งลักษณะการทำงานของเอฟเฟกต์เพิ่มเติม ให้ใช้ GlShaderProgram เมธอด queueInputFrame() ใช้ในการประมวลผลเฟรมอินพุต ตัวอย่างเช่น หากต้องการ ใช้ประโยชน์จากความสามารถ ของแมชชีนเลิร์นนิง MediaPipe คุณสามารถใช้ MediaPipe FrameProcessor เพื่อส่งแต่ละเฟรมผ่านกราฟ MediaPipe ดูตัวอย่างได้ใน แอปเดโม Transformer

ดูตัวอย่างเอฟเฟกต์

คุณสามารถดูตัวอย่างเอฟเฟกต์ได้ด้วย ExoPlayer เพิ่มลงในรายการสื่อแล้วก่อนที่จะเริ่มกระบวนการส่งออก ใช้ Effects สำหรับ EditedMediaItem เรียกใช้ setVideoEffects() บน ExoPlayer

Kotlin

val player = ExoPlayer.builder(context)
    .build()
    .also { exoPlayer ->
        exoPlayer.setMediaItem(inputMediaItem)
        exoPlayer.setVideoEffects(effects)
        exoPlayer.prepare()
    }

Java

ExoPlayer player = new ExoPlayer.builder(context).build();
player.setMediaItem(inputMediaItem);
player.setVideoEffects(effects);
exoPlayer.prepare();

นอกจากนี้ คุณยังดูตัวอย่างเอฟเฟกต์เสียงด้วย ExoPlayer ได้ด้วย เมื่อคุณสร้าง ExoPlayer ผ่านใน RenderersFactory ที่กำหนดเองซึ่งกำหนดค่าพารามิเตอร์ ตัวแสดงผลเสียงของโปรแกรมเล่นเพื่อเอาต์พุตเสียงไปยัง AudioSink ที่ใช้ ลำดับ AudioProcessor ในตัวอย่างด้านล่าง เราดำเนินการนี้โดยการลบล้าง เมธอด buildAudioSink() ของ DefaultRenderersFactory

Kotlin

val player = ExoPlayer.Builder(context, object : DefaultRenderersFactory(context) {
    override fun buildAudioSink(
        context: Context,
        enableFloatOutput: Boolean,
        enableAudioTrackPlaybackParams: Boolean,
        enableOffload: Boolean
    ): AudioSink? {
        return DefaultAudioSink.Builder(context)
            .setEnableFloatOutput(enableFloatOutput)
            .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
            .setOffloadMode(if (enableOffload) {
                     DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                } else {
                    DefaultAudioSink.OFFLOAD_MODE_DISABLED
                })
            .setAudioProcessors(arrayOf(channelMixingProcessor))
            .build()
        }
    }).build()

Java

ExoPlayer player = new ExoPlayer.Builder(context, new DefaultRenderersFactory(context) {
        @Nullable
        @Override
        protected AudioSink buildAudioSink(
            Context context,
            boolean enableFloatOutput,
            boolean enableAudioTrackPlaybackParams,
            boolean enableOffload
        ) {
            return new DefaultAudioSink.Builder(context)
                .setEnableFloatOutput(enableFloatOutput)
                .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
                .setOffloadMode(
                    enableOffload
                        ? DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                        : DefaultAudioSink.OFFLOAD_MODE_DISABLED)
                .setAudioProcessors(new AudioProcessor[]{channelMixingProcessor})
                .build();
        }
    }).build();

เริ่มการเปลี่ยนรูปแบบ

สุดท้าย ให้สร้าง Transformer เพื่อใช้การแก้ไขของคุณและเริ่มส่งออก รายการสื่อที่เป็นผลลัพธ์

Kotlin

val transformer = Transformer.Builder(context)
    .addListener(listener)
    .build()
transformer.start(editedMediaItem, outputPath)

Java

Transformer transformer = new Transformer.Builder(context)
    .addListener(listener)
    .build();
transformer.start(editedMediaItem, outputPath);

ในทำนองเดียวกัน คุณก็สามารถยกเลิกกระบวนการส่งออกได้หากจำเป็น Transformer.cancel()

ตรวจหาการอัปเดตความคืบหน้า

Transformer.start จะแสดงผลทันทีและเรียกใช้แบบไม่พร้อมกัน ในการค้นหา ความคืบหน้าปัจจุบันของการเปลี่ยนรูปแบบ, การโทร Transformer.getProgress() วิธีนี้ต้องใช้ ProgressHolder และหากมีสถานะความคืบหน้า กล่าวคือ ถ้าเมธอดแสดง PROGRESS_STATE_AVAILABLE ค่าที่ระบุ ระบบจะอัปเดต ProgressHolder ตามเปอร์เซ็นต์ความคืบหน้าปัจจุบัน

นอกจากนี้ คุณยังแนบไฟล์ ผู้ฟัง ไปยัง Transformer ของคุณ เพื่อรับการแจ้งเตือนเกี่ยวกับเหตุการณ์ความสำเร็จหรือข้อผิดพลาด