프레임 속도

프레임 속도 API를 사용하면 앱이 Android 플랫폼에 의도한 프레임 속도를 알릴 수 있으며, Android 11 (API 수준 30) 이상을 타겟팅하는 앱에서 사용할 수 있습니다. 일반적으로 대부분의 기기는 단일 디스플레이 화면 재생 빈도(일반적으로 60Hz)만 지원했지만 상황이 바뀌고 있습니다. 이제 많은 기기가 90Hz 또는 120Hz와 같은 추가 화면 재생 빈도를 지원합니다. 일부 기기는 원활한 새로고침 빈도 전환을 지원하지만, 보통 1초 동안 지속되는 검은색 화면이 잠시 표시되는 기기도 있습니다.

API의 주요 목적은 앱이 지원되는 모든 디스플레이 화면 재생 빈도를 더 잘 활용할 수 있도록 하는 것입니다. 예를 들어 setFrameRate()를 호출하는 24Hz 동영상을 재생하는 앱으로 인해 기기에서 디스플레이 새로고침 빈도가 60Hz에서 120Hz로 변경될 수 있습니다. 이 새로운 새로고침 빈도를 사용하면 60Hz 디스플레이에서 동일한 동영상을 재생할 때 필요한 3:2 풀다운 없이 24Hz 동영상을 끊김 없이 원활하게 재생할 수 있습니다. 따라서 사용자 환경이 개선됩니다.

중요: 스케줄러는 디스플레이 화면 재생 빈도를 결정할 때 여러 요소를 고려하므로 앱이 setFrameRate()로 요청한 프레임 속도를 얻게 된다는 보장은 없습니다.

기본 사용법

Android는 노출 영역에 액세스하고 노출 영역을 제어하는 여러 방법을 제공합니다. 따라서 setFrameRate() API에는 여러 버전이 있습니다. API의 각 버전은 동일한 매개변수를 사용하며 다른 버전과 동일하게 작동합니다.

• Surface.setFrameRate()
• SurfaceControl.Transaction.setFrameRate()
• ANativeWindow_setFrameRate()
• ASurfaceTransaction_setFrameRate()

앱은 setFrameRate()를 안전하게 호출하기 위해 Display.getSupportedModes()를 호출하여 가져올 수 있는 실제 지원되는 디스플레이 화면 재생 빈도를 고려할 필요가 없습니다. 예를 들어 기기가 60Hz만 지원하더라도 앱에서 선호하는 프레임 속도로 setFrameRate()를 호출하세요. 앱의 프레임 속도와 더 일치하지 않는 기기는 현재 디스플레이 화면 재생 빈도를 유지합니다.

setFrameRate() 호출로 인해 디스플레이 새로고침 빈도가 변경되는지 확인하려면 DisplayManager.registerDisplayListener() 또는 AChoreographer_registerRefreshRateCallback()를 호출하여 디스플레이 변경 알림을 등록하세요.

setFrameRate()를 호출할 때는 정수로 반올림하기보다는 정확한 프레임 속도를 전달하는 것이 가장 좋습니다. 예를 들어 29.97Hz로 녹화된 동영상을 렌더링할 때는 30으로 반올림하지 말고 29.97을 전달합니다.

동영상 앱의 경우 setFrameRate()에 전달된 호환성 매개변수를 Surface.FRAME_RATE_COMPATIBILITY_FIXED_SOURCE로 설정하여 앱이 풀다운을 사용하여 일치하지 않는 디스플레이 화면 재생 빈도 (떨림이 발생함)에 적응한다는 추가 힌트를 Android 플랫폼에 제공해야 합니다.

일부 시나리오에서는 동영상 노출 영역이 프레임 제출을 중지하지만 한동안 화면에 계속 표시됩니다. 일반적인 시나리오로는 재생이 동영상 끝에 도달했을 때 또는 사용자가 재생을 일시중지했을 때가 있습니다. 이 경우 프레임 속도 매개변수를 0으로 설정하여 setFrameRate()를 호출하여 노출 영역의 프레임 속도 설정을 기본값으로 다시 지웁니다. 노출 영역을 제거할 때 또는 사용자가 다른 앱으로 전환하여 노출 영역이 숨겨져 있는 경우에는 이와 같은 프레임 속도 설정을 지울 필요가 없습니다. 노출 영역이 사용되지 않고 계속 표시되는 경우에만 프레임 속도 설정을 지웁니다.

매끄럽지 않은 프레임 속도 스위치

일부 기기에서는 새로고침 빈도 전환 시 1~2초 동안 검은색 화면이 표시되는 것과 같은 시각적 방해가 발생할 수 있습니다. 이는 일반적으로 셋톱 박스, TV 패널 및 유사 기기에서 발생합니다. 기본적으로 Android 프레임워크는 이러한 시각적 중단을 방지하기 위해 Surface.setFrameRate() API가 호출될 때 모드를 전환하지 않습니다.

긴 동영상의 시작과 끝부분에 시각적인 방해 요소를 선호하기도 합니다. 이렇게 하면 디스플레이의 화면 재생 빈도가 동영상 프레임 속도와 일치하고 영화 재생 시 3:2 풀다운 흔들림과 같은 프레임 속도 변환 아티팩트를 방지할 수 있습니다.

따라서 사용자와 앱이 모두 선택한 경우 매끄러운 화면 재생 빈도 스위치를 사용 설정할 수 있습니다.

• 사용자: 사용자가 콘텐츠 프레임 속도 일치 사용자 설정을 사용 설정하여 이 기능을 선택할 수 있습니다.
• 앱: 선택하려면 앱에서 CHANGE_FRAME_RATE_ALWAYS를 setFrameRate()에 전달하면 됩니다.

영화와 같이 길게 재생되는 동영상에는 항상 CHANGE_FRAME_RATE_ALWAYS을 사용하는 것이 좋습니다. 이는 동영상 프레임 속도를 일치시킬 경우의 이점이 새로고침 빈도를 변경할 때 발생하는 중단보다 크기 때문입니다.

추가 권장사항

일반적인 시나리오에 대한 다음 권장사항을 따르세요.

여러 표면

Android 플랫폼은 프레임 속도 설정이 서로 다른 노출 영역이 여러 개 있는 시나리오를 올바르게 처리하도록 설계되었습니다. 앱에 프레임 속도가 서로 다른 노출 영역이 여러 개 있는 경우 각 노출 영역의 올바른 프레임 속도를 사용하여 setFrameRate()를 호출합니다. 기기에서 화면 분할 또는 PIP 모드를 사용하여 한 번에 여러 앱을 실행하더라도 각 앱은 자체 노출 영역에 관해 setFrameRate()를 안전하게 호출할 수 있습니다.

플랫폼이 앱의 프레임 속도로 변경되지 않음

기기가 setFrameRate() 호출에서 앱이 지정하는 프레임 속도를 지원하더라도 기기가 디스플레이를 해당 화면 재생 빈도로 전환하지 않는 경우가 있습니다. 예를 들어 우선순위가 더 높은 노출 영역의 프레임 속도 설정이 다를 수 있거나 기기가 배터리 절약 모드(배터리를 절약하기 위해 디스플레이 새로고침 빈도에 제한을 설정)일 수 있습니다. 기기가 정상적인 상황에서 전환되더라도 기기가 디스플레이 화면 재생 빈도를 앱의 프레임 속도 설정으로 전환하지 않으면 앱은 여전히 올바르게 작동해야 합니다.

디스플레이 새로고침 빈도가 앱 프레임 속도와 일치하지 않을 때 어떻게 반응할지는 앱에서 결정합니다. 동영상의 경우 프레임 속도가 소스 동영상의 프레임 속도로 고정되며 동영상 콘텐츠를 표시하려면 풀다운이 필요합니다. 대신 게임은 원하는 프레임 속도를 유지하는 대신 디스플레이 화면 재생 빈도에서 실행되도록 선택할 수 있습니다. 앱은 플랫폼의 기능에 따라 setFrameRate()에 전달하는 값을 변경해서는 안 됩니다. 앱이 플랫폼이 앱의 요청에 맞게 조정되지 않는 경우를 처리하는 방식과 관계없이 앱의 기본 프레임 속도로 설정된 상태로 유지되어야 합니다. 이렇게 하면 디스플레이 재생 빈도를 추가로 사용할 수 있도록 기기 상태가 변경되면 플랫폼에 앱의 기본 프레임 속도로 전환할 수 있는 올바른 정보가 있습니다.

앱이 화면 새로고침 빈도에서 실행되지 않거나 실행되지 않는 경우 앱은 프레젠테이션 타임스탬프를 설정하는 플랫폼의 메커니즘 중 하나를 사용하여 각 프레임의 프레젠테이션 타임스탬프를 지정해야 합니다.

• ASurfaceTransaction_setDesiredPresentTime()
• EGL_ANDROID_presentation_time
• VK_GOOGLE_display_timing

이러한 타임스탬프를 사용하면 플랫폼에서 앱 프레임을 너무 일찍 표시하지 않으므로 불필요한 흔들림이 발생합니다. 프레임 프레젠테이션 타임스탬프를 올바르게 사용하는 것은 약간 까다롭습니다. 게임의 경우 흔들림 방지에 관한 자세한 내용은 프레임 속도 가이드를 참고하고 Android Frame Pacing 라이브러리를 사용해 보세요.

경우에 따라 플랫폼은 앱이 setFrameRate()에 지정된 프레임 속도의 배수로 전환할 수 있습니다. 예를 들어 앱은 60Hz에서 setFrameRate()를 호출할 수 있고 기기는 디스플레이를 120Hz로 전환할 수 있습니다. 이러한 현상이 발생하는 한 가지 이유는 다른 앱에 프레임 속도가 24Hz로 설정된 노출 영역이 있는 경우입니다. 이 경우 디스플레이를 120Hz로 실행하면 풀다운이 필요 없이 60Hz 노출 영역과 24Hz 노출 영역을 모두 실행할 수 있습니다.

디스플레이가 앱 프레임 속도의 배수로 실행되는 경우 앱은 불필요한 흔들림을 방지하기 위해 각 프레임의 프레젠테이션 타임스탬프를 지정해야 합니다. 게임의 경우 Android Frame Pacing 라이브러리가 프레임 프레젠테이션 타임스탬프를 올바르게 설정하는 데 유용합니다.

setFrameRate()와 preferredDisplayModeId 비교

WindowManager.LayoutParams.preferredDisplayModeId는 앱이 플랫폼에 프레임 속도를 나타낼 수 있는 또 다른 방법입니다. 일부 앱은 디스플레이 해상도와 같은 다른 디스플레이 모드 설정을 변경하는 대신 디스플레이 화면 재생 빈도만 변경하려고 합니다. 일반적으로 preferredDisplayModeId 대신 setFrameRate()를 사용합니다. setFrameRate() 함수는 앱이 디스플레이 모드 목록을 검색하여 특정 프레임 속도의 모드를 찾을 필요가 없으므로 더 쉽게 사용할 수 있습니다.

setFrameRate()를 사용하면 플랫폼이 서로 다른 프레임 속도로 실행되는 여러 노출 영역이 있는 시나리오에서 호환되는 프레임 속도를 더 많이 선택할 수 있습니다. 예를 들어 Pixel 4에서 두 앱이 화면 분할 모드로 실행되고 한 앱은 24Hz 동영상을 재생하고 다른 앱은 사용자에게 스크롤 가능한 목록을 표시하는 시나리오를 생각해 보세요. Pixel 4는 60Hz와 90Hz의 두 가지 디스플레이 새로고침 빈도를 지원합니다. preferredDisplayModeId API를 사용하면 동영상 노출 영역이 60Hz 또는 90Hz를 강제로 선택해야 합니다. 24Hz로 setFrameRate()를 호출하면 동영상 노출 영역이 소스 동영상의 프레임 속도에 관한 추가 정보를 플랫폼에 제공하므로 플랫폼이 디스플레이 화면 재생 빈도로 90Hz를 선택할 수 있습니다. 이 시나리오에서는 60Hz보다 낫습니다.

그러나 다음과 같이 setFrameRate() 대신 preferredDisplayModeId를 사용해야 하는 시나리오가 있습니다.

• 앱이 해상도 또는 다른 디스플레이 모드 설정을 변경하려는 경우 preferredDisplayModeId를 사용합니다.
• 플랫폼은 모드 전환이 가볍고 사용자가 눈에 띄지 않을 때만 setFrameRate() 호출에 대한 응답으로 디스플레이 모드를 전환합니다. 앱이 과도한 모드 전환이 필요하더라도 디스플레이 새로고침 레이트를 전환하는 것을 선호하는 경우(예: Android TV 기기) preferredDisplayModeId를 사용합니다.
• 각 프레임에 프레젠테이션 타임스탬프를 설정해야 하는 앱의 프레임 속도의 배수로 실행되는 디스플레이를 처리할 수 없는 앱은 preferredDisplayModeId를 사용해야 합니다.

setFrameRate()와 preferredRefreshRate

WindowManager.LayoutParams#preferredRefreshRate는 앱 창에 기본 프레임 속도를 설정하며 이 속도는 창 내의 모든 노출 영역에 적용됩니다. 앱은 기기에서 지원되는 화면 재생 빈도와 상관없이 setFrameRate()와 같이 기본 프레임 속도를 지정하여 스케줄러에 앱의 의도된 프레임 속도에 관한 더 나은 힌트를 제공해야 합니다.

setFrameRate()를 사용하는 노출 영역에서는 preferredRefreshRate가 무시됩니다. 일반적으로 가능하면 setFrameRate()를 사용하세요.

preferredRefreshRate와 preferredDisplayModeId 비교

앱에서 선호하는 새로고침 빈도만 변경하려는 경우 preferredDisplayModeId 대신 preferredRefreshRate를 사용하는 것이 좋습니다.

setFrameRate()를 너무 자주 호출하지 않음

setFrameRate() 호출은 성능 측면에서 많은 비용이 들지 않지만 앱은 프레임마다 또는 초당 여러 번 setFrameRate()를 호출하지 않아야 합니다. setFrameRate()를 호출하면 디스플레이 새로고침 빈도가 변경되어 전환 중에 프레임 드롭이 발생할 수 있습니다. 올바른 프레임 속도를 미리 파악하고 setFrameRate()를 한 번 호출해야 합니다.

게임 또는 기타 동영상 이외의 앱에서 사용

동영상이 setFrameRate() API의 기본 사용 사례이지만 다른 앱에도 사용할 수 있습니다. 예를 들어 전원 사용량을 줄이고 플레이 세션을 더 길게 유지하기 위해 60Hz보다 높게 실행하지 않으려는 게임은 Surface.setFrameRate(60, Surface.FRAME_RATE_COMPATIBILITY_DEFAULT)를 호출할 수 있습니다. 이렇게 하면 기본적으로 90Hz에서 실행되는 기기는 게임이 활성 상태인 동안 60Hz에서 실행되므로 게임이 60Hz에서 실행되고 디스플레이가 90Hz에서 실행되었을 때 발생하는 떨림을 방지할 수 있습니다.

FRAME_RATE_COMPATIBILITY_FIXED_SOURCE 사용

FRAME_RATE_COMPATIBILITY_FIXED_SOURCE는 동영상 앱에만 사용됩니다. 동영상이 아닌 경우에는 FRAME_RATE_COMPATIBILITY_DEFAULT를 사용합니다.

프레임 속도 변경 전략 선택

• 앱에서 영화와 같이 장기 실행 동영상을 표시할 때는 setFrameRate(fps, FRAME_RATE_COMPATIBILITY_FIXED_SOURCE, CHANGE_FRAME_RATE_ALWAYS)를 호출하는 것이 좋습니다. 여기서 fps는 동영상의 프레임 속도입니다.
• 동영상 재생 시간이 몇 분 이하일 것으로 예상되는 경우 앱에서 CHANGE_FRAME_RATE_ALWAYS를 사용하여 setFrameRate()를 호출하지 않는 것이 좋습니다.

동영상 재생 앱 통합의 예

동영상 재생 앱에 새로고침 빈도 스위치를 통합하려면 다음 단계를 따르는 것이 좋습니다.

1. changeFrameRateStrategy를 결정합니다.
   1. 영화와 같이 오래 실행되는 동영상을 재생하는 경우 MATCH_CONTENT_FRAMERATE_ALWAYS를 사용합니다.
   2. 무브 트레일러와 같은 짧은 동영상을 재생하는 경우 CHANGE_FRAME_RATE_ONLY_IF_SEAMLESS를 사용합니다.
2. changeFrameRateStrategy이 CHANGE_FRAME_RATE_ONLY_IF_SEAMLESS이면 4단계로 이동합니다.
3. 다음 두 가지 사실이 모두 true인지 확인하여 비연속적인 새로고침 빈도 전환이 발생하려고 하는지 감지합니다.
   1. 현재 새로고침 빈도(C라고 함)에서 동영상의 프레임 속도(V라고 함)로 원활하게 전환할 수 없습니다. 이는 C와 V가 다르고 Display.getMode().getAlternativeRefreshRates에 V의 배수가 포함되지 않은 경우에 해당합니다.
   2. 사용자가 끊김 없는 새로고침 빈도 변경을 선택했습니다. DisplayManager.getMatchContentFrameRateUserPreference가 MATCH_CONTENT_FRAMERATE_ALWAYS를 반환하는지 확인하여 이를 감지할 수 있습니다.
4. 전환이 원활하게 이루어지려면 다음 단계를 따르세요.
   1. setFrameRate를 호출하여 fps, FRAME_RATE_COMPATIBILITY_FIXED_SOURCE, changeFrameRateStrategy를 전달합니다. 여기서 fps는 동영상의 프레임 속도입니다.
   2. 동영상 재생 시작
5. 원활하지 않은 모드 변경이 발생하려는 경우 다음을 실행합니다.
   1. 사용자에게 알리는 UX를 표시합니다. 사용자가 이 UX를 닫고 5.d 단계에서 추가 지연을 건너뛸 수 있는 방법을 구현하는 것이 좋습니다. 이는 전환 시간이 더 빠른 디스플레이에서 권장 지연 시간이 필요 이상으로 길기 때문입니다.
   2. setFrameRate를 호출하고 fps, FRAME_RATE_COMPATIBILITY_FIXED_SOURCE, CHANGE_FRAME_RATE_ALWAYS을 전달합니다. 여기서 fps은 동영상의 프레임 속도입니다.
   3. onDisplayChanged 콜백을 기다립니다.
   4. 모드 전환이 완료될 때까지 2초간 기다립니다.
   5. 동영상 재생 시작

원활한 전환을 만 지원하는 의사코드는 다음과 같습니다.

SurfaceControl.Transaction transaction = new SurfaceControl.Transaction();
transaction.setFrameRate(surfaceControl,
    contentFrameRate,
    FRAME_RATE_COMPATIBILITY_FIXED_SOURCE,
    CHANGE_FRAME_RATE_ONLY_IF_SEAMLESS);
transaction.apply();
beginPlayback();

위에 설명된 대로 원활한 전환과 원활하지 않은 전환을 지원하는 의사 코드는 다음과 같습니다.

SurfaceControl.Transaction transaction = new SurfaceControl.Transaction();
if (isSeamlessSwitch(contentFrameRate)) {
  transaction.setFrameRate(surfaceControl,
      contentFrameRate,
      FRAME_RATE_COMPATIBILITY_FIXED_SOURCE,
      CHANGE_FRAME_RATE_ONLY_IF_SEAMLESS);
  transaction.apply();
  beginPlayback();
} else if (displayManager.getMatchContentFrameRateUserPreference()
      == MATCH_CONTENT_FRAMERATE_ALWAYS) {
  showRefreshRateSwitchUI();
  sleep(shortDelaySoUserSeesUi);
  displayManager.registerDisplayListener(…);
  transaction.setFrameRate(surfaceControl,
      contentFrameRate,
      FRAME_RATE_COMPATIBILITY_FIXED_SOURCE,
      CHANGE_FRAME_RATE_ALWAYS);
  transaction.apply();
  waitForOnDisplayChanged();
  sleep(twoSeconds);
  hideRefreshRateSwitchUI();
  beginPlayback();
}