空间音频

空间音频是一种沉浸式音频体验,能够以用户为中心,让您的内容听起来更加逼真。这种声音具有“空间化”的特点,可以打造出多扬声器效果,与环绕声设置类似,只不过是通过耳机实现的。

例如,在电影中,汽车的声音可能会在用户身后开始发出,然后前进,然后拖向远处。在视频聊天中,可以将语音分隔开来,并在用户周围放置,以便更轻松地识别讲话者。

如果您的内容使用受支持的音频格式,则从 Android 13(API 级别 33)开始,您可以向应用中添加空间音频。

查询功能

使用 Spatializer 类查询设备的空间化功能和行为。首先从 AudioManager 中检索 Spatializer 的实例:

Kotlin

val spatializer = audioManager.spatializer

Java

Spatializer spatializer = AudioManager.getSpatializer();

获取 Spatializer 后,检查必须满足以下四个条件,设备才能输出空间化音频:

条件 检查
设备是否支持空间化? getImmersiveAudioLevel() 不是 SPATIALIZER_IMMERSIVE_LEVEL_NONE
是否提供空间化功能?
的可用性取决于与当前音频输出路由的兼容性。
isAvailable()为“true
空间化是否已启用 isEnabled()为“true
具有给定参数的音轨是否可以空间化? canBeSpatialized()为“true

例如,如果当前音轨无法使用空间化功能,或者音频输出设备上完全停用了空间化功能,则可能不符合这些条件。

头部跟踪

使用受支持的耳机时,平台可以根据用户的头部位置调整音频的空间化。如需检查头部跟踪器是否适用于当前音频输出路由,请调用 isHeadTrackerAvailable()

兼容的内容

Spatializer.canBeSpatialized() 用于指示是否可以通过当前输出设备路由对具有给定属性的音频进行空间化。此方法接受 AudioAttributesAudioFormat,下文将更详细地介绍这两者。

AudioAttributes

AudioAttributes 对象描述了音频流(例如游戏音频标准媒体)的用法及其播放行为和内容类型

调用 canBeSpatialized() 时,请使用为 Player 设置的同一 AudioAttributes 实例。例如,如果您使用的是 Jetpack Media3 库,并且未自定义 AudioAttributes,请使用 AudioAttributes.DEFAULT

停用空间音频

如需表明您的内容已经过空间化,请调用 setIsContentSpatialized(true),以免对音频进行双重处理。或者,通过调用 setSpatializationBehavior(AudioAttributes.SPATIALIZATION_BEHAVIOR_NEVER) 调整空间化行为,以完全停用空间化。

AudioFormat

AudioFormat 对象描述了有关音轨的格式和声道配置的详细信息。

AudioFormat 实例化以传递到 canBeSpatialized() 时,请将编码设置为与解码器预期的输出格式相同。您还应设置与内容的频道配置匹配的频道掩码。如需了解有关要使用的特定值的指导,请参阅默认空间化行为部分。

监听 Spatializer 的更改

如需监听 Spatializer 状态的变化,您可以使用 Spatializer.addOnSpatializerStateChangedListener() 添加监听器。同样,如需监听头部跟踪器的可用性变化,请调用 Spatializer.addOnHeadTrackerAvailableListener()

如果您想在播放期间使用监听器的回调调整轨道选择,这会非常有用。例如,当用户将耳机与设备连接或断开连接时,onSpatializerAvailableChanged 回调会指示空间化程序效果是否适用于新的音频输出路由。此时,您可以考虑更新玩家的轨道选择逻辑,以匹配设备的新功能。如需详细了解 ExoPlayer 的轨道选择行为,请参阅 ExoPlayer 和空间音频部分。

ExoPlayer 和空间音频

近期发布的 ExoPlayer 让使用空间音频变得更加轻松。如果您使用独立的 ExoPlayer 库(软件包名称为 com.google.android.exoplayer2),版本 2.17 会将平台配置为输出空间化音频,版本 2.18 引入了音频声道数量限制。如果您使用 Media3 库中的 ExoPlayer 模块(软件包名称为 androidx.media3),版本 1.0.0-beta01 及更高版本会包含这些相同的更新。

将 ExoPlayer 依赖项更新到最新版本后,您的应用只需要包含可以空间化的内容。

声道数量限制

当满足空间音频的所有四个条件时,ExoPlayer 会选择一个多声道音轨。否则,ExoPlayer 会改为选择立体声音轨。如果 Spatializer 属性发生更改,ExoPlayer 会触发新的音轨选择,以选择与当前属性匹配的音轨。请注意,这一新轨道选择可能会导致短暂的重新缓冲期。

如需停用声道数量限制,请在播放器上设置轨道选择参数,如下所示:

Kotlin

exoPlayer.trackSelectionParameters = DefaultTrackSelector.Parameters.Builder(context)
  .setConstrainAudioChannelCountToDeviceCapabilities(false)
  .build()

Java

exoPlayer.setTrackSelectionParameters(
  new DefaultTrackSelector.Parameters.Builder(context)
    .setConstrainAudioChannelCountToDeviceCapabilities(false)
    .build()
);

同样,您也可以更新现有轨道选择器的参数以停用声道数量限制,如下所示:

Kotlin

val trackSelector = DefaultTrackSelector(context)
...
trackSelector.parameters = trackSelector.buildUponParameters()
  .setConstrainAudioChannelCountToDeviceCapabilities(false)
  .build()

Java

DefaultTrackSelector trackSelector = new DefaultTrackSelector(context);
...
trackSelector.setParameters(
  trackSelector
    .buildUponParameters()
    .setConstrainAudioChannelCountToDeviceCapabilities(false)
    .build()
);

停用声道数量限制后,如果内容具有多个音轨,ExoPlayer 最初会选择声道数量最多且可从设备播放的音轨。例如,如果内容包含多声道音轨和立体声音轨,并且设备支持播放这两种音轨,ExoPlayer 会选择多声道音轨。如需详细了解如何自定义此行为,请参阅音轨选择

音轨选择

停用 ExoPlayer 的音频声道计数限制行为后,ExoPlayer 不会自动选择与设备空间化程序的属性匹配的音轨。相反,您可以在播放之前或播放过程中设置轨道选择参数,以自定义 ExoPlayer 的轨道选择逻辑。默认情况下,在 MIME 类型(编码)、通道数和采样率方面,ExoPlayer 会选择与初始轨道相同的音轨。

更改轨道选择参数

如需更改 ExoPlayer 的轨道选择参数,请使用 Player.setTrackSelectionParameters()。同样,您也可以使用 Player.getTrackSelectionParameters() 获取 ExoPlayer 的当前参数。例如,如需在播放过程中选择立体声音轨,请执行以下操作:

Kotlin

exoPlayer.trackSelectionParameters = exoPlayer.trackSelectionParameters
  .buildUpon()
  .setMaxAudioChannelCount(2)
  .build()

Java

exoPlayer.setTrackSelectionParameters(
  exoPlayer.getTrackSelectionParameters()
    .buildUpon()
    .setMaxAudioChannelCount(2)
    .build()
);

请注意,在播放过程中更改轨道选择参数可能会导致播放中断。如需详细了解如何调整播放器的轨道选择参数,请参阅 ExoPlayer 文档的轨道选择部分。

默认空间化行为

Android 中的默认空间化行为包括以下可由 OEM 自定义的行为:

  • 只有多声道内容是空间化的内容,而非立体声内容。 如果您不使用 ExoPlayer,您可能需要配置音频解码器可以输出到大量声道的声道数量上限,具体取决于多声道音频内容的格式。这样可以确保音频解码器输出多声道 PCM,以便平台进行空间化。

    Kotlin

    val mediaFormat = MediaFormat()
    mediaFormat.setInteger(MediaFormat.KEY_MAX_OUTPUT_CHANNEL_COUNT, 99)
    

    Java

    MediaFormat mediaFormat = new MediaFormat();
    mediaFormat.setInteger(MediaFormat.KEY_MAX_OUTPUT_CHANNEL_COUNT, 99);
    

    如需查看实际操作示例,请参阅 ExoPlayer 的 MediaCodecAudioRenderer.java。如需自行关闭空间化功能(无论 OEM 自定义如何),请参阅停用空间音频

  • AudioAttributes:如果 usage 设置为 USAGE_MEDIAUSAGE_GAME,音频可以进行空间化。

  • AudioFormat:使用至少包含 AudioFormat.CHANNEL_OUT_QUAD 声道(前左、前右、后左和后右)的声道掩码,以使音频能够进行空间化。在以下示例中,我们对 5.1 音轨使用 AudioFormat.CHANNEL_OUT_5POINT1。如需立体声音轨,请使用 AudioFormat.CHANNEL_OUT_STEREO

    如果您使用的是 Media3,则可以使用 Util.getAudioTrackChannelConfig(int channelCount) 将通道数转换为通道掩码。

    此外,如果您已将解码器配置为输出多声道 PCM,请将编码设置为 AudioFormat.ENCODING_PCM_16BIT

    Kotlin

    val audioFormat = AudioFormat.Builder()
      .setEncoding(AudioFormat.ENCODING_PCM_16BIT)
      .setChannelMask(AudioFormat.CHANNEL_OUT_5POINT1)
      .build()
    

    Java

    AudioFormat audioFormat = new AudioFormat.Builder()
      .setEncoding(AudioFormat.ENCODING_PCM_16BIT)
      .setChannelMask(AudioFormat.CHANNEL_OUT_5POINT1)
      .build();
    

测试空间音频

确保在测试设备上启用空间音频:

  • 对于有线耳机,依次转到系统设置 > 声音和振动 > 空间音频
  • 对于无线耳机,请依次前往系统设置 > 已连接的设备 > 无线设备的齿轮图标 > 空间音频

如需检查当前路由是否有空间音频功能,请在您的设备上运行 adb shell dumpsys audio 命令。当播放处于活动状态时,您应该会在输出中看到以下参数:

Spatial audio:
mHasSpatializerEffect:true (effect present)
isSpatializerEnabled:true (routing dependent)