空间音频

空间音频是一种沉浸式音频体验,能够以用户为中心,让您的内容听起来更逼真。这种声音经过“空间化”处理,可以营造出多扬声器效果,与环绕声设置类似,只不过是通过头戴式耳机实现的。

例如,在电影中,汽车的声音可能会在用户身后开始播放,然后向前移动,最后跑到远处。在视频聊天中,可将各种语音分开并放置在用户周围,从而更轻松地识别说话者。

如果您的内容使用受支持的音频格式,从 Android 13(API 级别 33)开始,您可以向应用添加空间音频。

查询功能

使用 Spatializer 类查询设备的空间化功能和行为。首先,从 AudioManager 中检索 Spatializer 的实例:

Kotlin

val spatializer = audioManager.spatializer

Java

Spatializer spatializer = AudioManager.getSpatializer();

获取 Spatializer 后,检查设备要输出空间化音频必须满足的四个条件:

条件 核对项
设备是否支持空间化? getImmersiveAudioLevel() 不是 SPATIALIZER_IMMERSIVE_LEVEL_NONE
空间化是否可用?
的可用性取决于与当前音频输出路由的兼容性。
isAvailable()为“true
是否启用空间化? isEnabled()为“true
可以对具有指定参数的音轨进行空间化吗? canBeSpatialized()为“true

例如,如果当前音轨不支持空间化,或在音频输出设备上完全停用空间化功能,则可能无法满足这些条件。

头部跟踪

使用受支持的耳机时,平台可以根据用户的头部位置调整音频的空间化。如需检查头部跟踪器是否可用于当前音频输出路由,请调用 isHeadTrackerAvailable()

兼容内容

Spatializer.canBeSpatialized() 指示是否可以使用当前输出设备路由对具有给定属性的音频进行空间化。此方法可采用 AudioAttributesAudioFormat,下文更详细地介绍了这两者。

AudioAttributes

AudioAttributes 对象描述音频流(例如,游戏音频标准媒体)的用法及其播放行为和内容类型

调用 canBeSpatialized() 时,请使用为 Player 设置的同一 AudioAttributes 实例。例如,如果您使用的是 Jetpack Media3 库,并且未自定义 AudioAttributes,请使用 AudioAttributes.DEFAULT

停用空间音频

如需指明您的内容已经过空间化处理,请调用 setIsContentSpatialized(true),以免对音频进行双重处理。或者,通过调用 setSpatializationBehavior(AudioAttributes.SPATIALIZATION_BEHAVIOR_NEVER) 调整空间化行为,以完全停用空间化。

AudioFormat

AudioFormat 对象描述了有关音轨格式和声道配置的详细信息。

实例化 AudioFormat 以传入 canBeSpatialized() 时,请将编码设置为与解码器预期的输出格式相同。您还应设置与内容的频道配置匹配的频道掩码。如需了解有关要使用的特定值的指导,请参阅默认空间化行为部分。

监听 Spatializer 的更改

如需监听 Spatializer 状态的变化,您可以使用 Spatializer.addOnSpatializerStateChangedListener() 添加监听器。同样,如需监听头部跟踪器可用性的变化,请调用 Spatializer.addOnHeadTrackerAvailableListener()

如果您想在播放期间使用监听器的回调调整曲目选择,上述做法会很有用。例如,当用户连接或断开耳机与设备时,onSpatializerAvailableChanged 回调会指示空间化程序效果是否可用于新的音频输出路由。此时,您可以考虑更新播放器的轨道选择逻辑,以与设备的新功能匹配。如需详细了解 ExoPlayer 的轨道选择行为,请参阅 ExoPlayer 和空间音频部分。

ExoPlayer 和空间音频

ExoPlayer 的最新版本让用户可以更轻松地采用空间音频。如果您使用独立的 ExoPlayer 库(软件包名称为 com.google.android.exoplayer2),则版本 2.17 会将平台配置为输出空间化音频,而版本 2.18 则引入了音频通道计数限制。如果您使用 Media3 库(软件包名称为 androidx.media3)中的 ExoPlayer 模块,则 1.0.0-beta01 及更高版本会包含这些更新。

将 ExoPlayer 依赖项更新到最新版本后,您的应用只需要包含可空间化的内容。

声道数量限制

满足空间音频的全部四个条件后,ExoPlayer 会选择一个多声道音轨。否则,ExoPlayer 会改为选择立体声音轨。 如果 Spatializer 属性发生更改,ExoPlayer 将触发新的音轨选择,以选择与当前属性匹配的音轨。请注意,这一新的轨道选择可能会导致重新缓冲期较短。

如需停用声道数量限制,请在播放器上设置音轨选择参数,如下所示:

Kotlin

exoPlayer.trackSelectionParameters = DefaultTrackSelector.Parameters.Builder(context)
  .setConstrainAudioChannelCountToDeviceCapabilities(false)
  .build()

Java

exoPlayer.setTrackSelectionParameters(
  new DefaultTrackSelector.Parameters.Builder(context)
    .setConstrainAudioChannelCountToDeviceCapabilities(false)
    .build()
);

同样,您也可以更新现有轨道选择器的参数,以停用声道数量限制,如下所示:

Kotlin

val trackSelector = DefaultTrackSelector(context)
...
trackSelector.parameters = trackSelector.buildUponParameters()
  .setConstrainAudioChannelCountToDeviceCapabilities(false)
  .build()

Java

DefaultTrackSelector trackSelector = new DefaultTrackSelector(context);
...
trackSelector.setParameters(
  trackSelector
    .buildUponParameters()
    .setConstrainAudioChannelCountToDeviceCapabilities(false)
    .build()
);

停用声道数量限制后,如果内容包含多个音轨,ExoPlayer 最初会选择声道数量最多且可从设备播放的音轨。例如,如果内容包含多声道音轨和立体声音轨,并且设备支持同时播放这两者,则 ExoPlayer 会选择多声道音轨。如需详细了解如何自定义此行为,请参阅音轨选择

音轨选择

停用 ExoPlayer 的音频声道数量限制行为后,ExoPlayer 不会自动选择与设备空间化程序的属性匹配的音轨。相反,您可以通过在播放之前或播放期间设置轨道选择参数,自定义 ExoPlayer 的轨道选择逻辑。默认情况下,ExoPlayer 会在 MIME 类型(编码)、通道数和采样率方面选择与初始轨道相同的音轨。

更改轨道选择参数

如需更改 ExoPlayer 的轨道选择参数,请使用 Player.setTrackSelectionParameters()。同样,您可以使用 Player.getTrackSelectionParameters() 获取 ExoPlayer 的当前参数。例如,如需在播放过程中选择立体声音轨,请使用以下代码:

Kotlin

exoPlayer.trackSelectionParameters = exoPlayer.trackSelectionParameters
  .buildUpon()
  .setMaxAudioChannelCount(2)
  .build()

Java

exoPlayer.setTrackSelectionParameters(
  exoPlayer.getTrackSelectionParameters()
    .buildUpon()
    .setMaxAudioChannelCount(2)
    .build()
);

请注意,在播放过程中更改音轨选择参数可能会导致播放中断。如需详细了解如何调整播放器的轨道选择参数,请参阅 ExoPlayer 文档的轨道选择部分。

默认空间化行为

Android 中的默认空间化行为包括以下可由 OEM 自定义的行为:

  • 只有多频道内容是空间化内容,没有立体声内容。 如果您不使用 ExoPlayer,则可能需要将音频解码器可以输出的声道数量上限配置为一个较大的数字,具体取决于多声道音频内容的格式。这样可确保音频解码器输出多声道 PCM 以供平台空间化。

    Kotlin

    val mediaFormat = MediaFormat()
    mediaFormat.setInteger(MediaFormat.KEY_MAX_OUTPUT_CHANNEL_COUNT, 99)
    

    Java

    MediaFormat mediaFormat = new MediaFormat();
    mediaFormat.setInteger(MediaFormat.KEY_MAX_OUTPUT_CHANNEL_COUNT, 99);
    

    如需查看实际操作示例,请参阅 ExoPlayer 的 MediaCodecAudioRenderer.java。如需自行关闭空间化(不考虑 OEM 自定义),请参阅停用空间音频

  • AudioAttributes:如果 usage 设置为 USAGE_MEDIAUSAGE_GAME,则音频符合空间化条件。

  • AudioFormat:使用声道掩码,且至少包含 AudioFormat.CHANNEL_OUT_QUAD 声道(前左、前右、后左和后右),使音频符合空间化条件。在以下示例中,我们对 5.1 音轨使用 AudioFormat.CHANNEL_OUT_5POINT1。对于立体声音轨,请使用 AudioFormat.CHANNEL_OUT_STEREO

    如果您使用的是 Media3,则可以使用 Util.getAudioTrackChannelConfig(int channelCount) 将通道数转换为通道掩码。

    此外,如果您已将解码器配置为输出多声道 PCM,请将编码设置为 AudioFormat.ENCODING_PCM_16BIT

    Kotlin

    val audioFormat = AudioFormat.Builder()
      .setEncoding(AudioFormat.ENCODING_PCM_16BIT)
      .setChannelMask(AudioFormat.CHANNEL_OUT_5POINT1)
      .build()
    

    Java

    AudioFormat audioFormat = new AudioFormat.Builder()
      .setEncoding(AudioFormat.ENCODING_PCM_16BIT)
      .setChannelMask(AudioFormat.CHANNEL_OUT_5POINT1)
      .build();
    

测试空间音频

确保在测试设备上启用空间音频:

  • 如果您使用的是有线耳机,请依次前往系统设置 > 提示音和振动 > 空间音频
  • 对于无线耳机,请依次前往系统设置 > 已连接的设备 > 无线设备的齿轮图标 > 空间音频

如需检查当前路由是否提供空间音频功能,请在设备上运行 adb shell dumpsys audio 命令。当播放处于活动状态时,您应该会在输出中看到以下参数:

Spatial audio:
mHasSpatializerEffect:true (effect present)
isSpatializerEnabled:true (routing dependent)