벤치마크

벤치마크

사용자 가이드  코드 샘플  Codelab

API 참조
androidx.benchmark
androidx.benchmark.junit4
androidx.benchmark.macro
androidx.benchmark.macro.junit4

Android 스튜디오 내에서 코드 성능을 정확하게 측정합니다.

최근 업데이트	안정화 버전	출시 후보 버전	베타 버전	알파 버전
2024년 4월 17일	1.2.4	-	-	1.3.0-alpha03

종속 항목 선언

Benchmark의 종속 항목을 추가하려면 프로젝트에 Google Maven 저장소를 추가해야 합니다. 자세한 내용은 Google Maven 저장소를 읽어보세요.

Macrobenchmark

프로젝트에서 Macrobenchmark를 사용하려면 macrobenchmark 모듈의 build.gradle 파일에 다음 종속 항목을 추가하세요.

Groovy

dependencies {
  androidTestImplementation "androidx.benchmark:benchmark-macro-junit4:1.2.4"
}

Kotlin

dependencies {
  androidTestImplementation("androidx.benchmark:benchmark-macro-junit4:1.2.4")
}

Microbenchmark

프로젝트에서 Microbenchmark를 사용하려면 microbenchmark 모듈의 build.gradle 파일에 다음 종속 항목을 추가합니다.

Groovy

dependencies {
    androidTestImplementation "androidx.benchmark:benchmark-junit4:1.2.4"
}

android {
    ...
    defaultConfig {
        ...
        testInstrumentationRunner "androidx.benchmark.junit4.AndroidBenchmarkRunner"
    }
}

Kotlin

dependencies {
    androidTestImplementation("androidx.benchmark:benchmark-junit4:1.2.4")
}

android {
    ...
    defaultConfig {
        ...
        testInstrumentationRunner = "androidx.benchmark.junit4.AndroidBenchmarkRunner"
    }
}

Microbenchmark 라이브러리는 microbenchmark 모듈에 사용할 Gradle 플러그인도 제공합니다. 이 플러그인은 모듈의 빌드 구성 기본값을 설정하고, 벤치마크 출력 사본을 호스트로 설정하며, ./gradlew lockClocks 작업을 제공합니다.

플러그인을 사용하려면 최상위 build.gradle 파일의 `plugins` 블록에 다음 행을 포함하세요.

Groovy

plugins {
  id 'androidx.benchmark' version '1.2.4' apply false
}

Kotlin

plugins {
  id("androidx.benchmark") version "1.2.4" apply false
}

그런 다음 플러그인을 벤치마크 모듈의 build.gradle 파일에 적용합니다.

Groovy

plugins {
  id 'androidx.benchmark'
}

Kotlin

plugins {
    id("androidx.benchmark")
}

의견

제출하신 의견은 Jetpack을 개선하는 데 도움이 됩니다. 새로운 문제를 발견하거나 라이브러리 개선을 위한 아이디어가 있다면 Google에 알려 주세요. 새 문제를 제출하기 전에 이 라이브러리의 기존 문제를 살펴보시기 바랍니다. 별표 버튼을 클릭하여 기존 문제에 투표할 수 있습니다.

새로운 문제 제출하기

자세한 내용은 Issue Tracker 문서를 참고하세요.

버전 1.3

버전 1.3.0-alpha03

2024년 4월 17일

androidx.benchmark:benchmark-*:1.3.0-alpha03가 출시되었습니다. 버전 1.3.0-alpha03에 포함된 커밋을 확인하세요.

새로운 기능

• JSON, textproto, proto 바이너리 (디코딩되지 않음) 변형이 있는 공개 API PerfettoTraceProcessor.Session.queryMetrics API가 추가되었습니다. 이를 통해 TraceProcessor에 내장된 측정항목을 쿼리할 수 있습니다. (I54d7f, b/304038382)
• 프로파일링 트레이스 (예: perfetto, 메서드 트레이스)와 관련된 도구를 더 쉽게 사용할 수 있도록 JSON 출력에 profilerOutput가 추가되었습니다. 추가했습니다. (I05ddd, b/332604449)
• Perfetto 구성을 벤치마크에 전력 태그를 추가했습니다. 예를 들어 wakelock tracepoint가 캡처됩니다. 추가했습니다. (Icfe44, b/286551983)
• 추가된 inst 인수 androidx.benchmark.profiling.skipWhenDurationRisksAnr를 false로 설정하여 예상 기간으로 인해 ANR이 발생할 수 있는 메서드 트레이스를 건너뛰지 않도록 할 수 있습니다. CI 실행 시에는 피하는 것이 좋습니다.
• 실험용 inst 인수 androidx.benchmark.profiling.perfCompare.enable를 추가했습니다. 측정과 프로파일링 단계 간의 비교 타이밍을 실행하려면 true로 설정합니다. 메서드 추적의 오버헤드를 평가하는 등의 경우에 유용합니다. 추가했습니다. (I61fb4, b/329146942)

API 변경사항

• when 문을 손상시키지 않고 향후 확장을 사용할 수 있도록 TraceSectionMetric.Mode를 봉인 클래스로 변경했습니다. (I71f7b)
• TraceSectionMetric.Mode.Average 및 .Count를 추가하고 인수 순서를 변경하여 더 일반적인 인수 (모드)가 인수 목록의 앞부분에 위치하도록 하여 매개변수 이름을 지정할 필요가 줄었습니다. 추가했습니다. (Ibf0b0, b/315830077, b/322167531)
• 반환 유형과 일치하도록 Metric.getResult의 이름을 getMeasurements로 바꿨습니다. (I42595)

버그 수정

• automaticGenerationDuringBuild가 사용 중지되어 있을 때 벤치마크에서 생성된 기준 프로필을 사용하도록 수정합니다. (Ic144f, b/333024280)
• nonMinified 또는 벤치마크 빌드 유형을 맞춤설정할 때 기준 프로필 생성 및 벤치마킹을 사용 설정하도록 BaselineProfile Gradle 플러그인 속성 재정의를 수정합니다. 추가했습니다. (Ib8f05, b/324837887)
• 더 느린 기기에서도 메서드 트레이스가 완전히 캡처되고 유효하도록 Macrobenchmark에서 메서드 트레이스가 플러시되는 문제를 수정했습니다. 추가했습니다. (I6349a, b/329904950)
• Perfetto 트레이스 레코드에서 차단 시작을 사용 설정하여 트레이스 시작 시 데이터가 누락될 위험을 줄이세요. API 33 이상에서만 지원됩니다. (Ie6e41, b/310760059)
• Android Test Orchestrator가 벤치마크 모듈에서 사용될 때 모듈별 출력 JSON 파일을 반복적으로 덮어쓰게 되는 경고가 추가되었습니다. 추가했습니다. (Ia1af6, b/286899049)
• 스튜디오 출력의 일관성을 위해 기기 언어를 무시하고 ',' (쉼표) 천 단위 구분 기호를 강제 적용합니다. (I3e921, b/313496656)
• 이제 TraceSectionMetric가 Trace.{begin|end}AsyncSection를 사용하여 만든 슬라이스를 지원합니다. 추가했습니다. (I91b32, b/300434906)
• 모든 시작 감지 실패에 log.w / 예외 라벨이 추가되었습니다. 이로 인해 현재 동작이 변경되지는 않으므로 (일부 오류는 발생하며 다른 오류는 시작을 자동으로 감지하지 못함) 더 이해하기 쉽게 만들 수 있습니다. 일반적으로 Log.w() 및 시작 측정항목을 보고하지 못하는 것은 프레임이 아닌 이벤트가 누락된 경우이며, UI/RT 슬라이스의 프레임 타이밍 정보를 제외하고 시작이 감지되면 예외가 발생합니다. 추가했습니다. (Id240f, b/329145809)
• Macrobenchmark를 실행하기 전에 백그라운드 dexopt 작업을 취소하여 간섭을 줄입니다. 추가했습니다. (I989ed)
• 생성된 프레임 수가 변경되어 측정값이 변경되는 시나리오를 쉽게 찾을 수 있도록 FrameTimingMetric에 frameCount 측정이 추가되었습니다 (새 애니메이션 추가, 무효화 문제 수정). 추가했습니다. (I1e5aa)
• 문서에서 추적용으로 frameOverrunMs가 선호된다는 점과 그 이유를 명확하게 설명했습니다. 추가했습니다. (I18749, b/329478323)

버전 1.3.0-alpha02

2024년 3월 20일

androidx.benchmark:benchmark-*:1.3.0-alpha02가 출시되었습니다. 버전 1.3.0-alpha02에 포함된 커밋을 확인하세요.

새로운 기능

• 삽입된 proguard 규칙을 통해 마이크로벤치에서 실험용 R8을 지원합니다. 이 지원은 실험적이며 라이브러리 모듈 테스트의 축소를 위해 AGP 8.3이 필요합니다. 다음을 사용하여 벤치마크 모듈의 build.gradle에서 R8 압축/최적화를 사용 설정하세요. 이렇게 하면 워크로드에 따라 성능이 크게 향상됩니다. 추가했습니다. (I738a3, b/184378053)

  android {
      buildTypes.release.androidTest.enableMinification = true
  }
  

버그 수정

• 메서드 추적 경고가 마이크로벤치 출력과 별도의 줄에 있도록 수정되었습니다. 추가했습니다. (I0455c, b/328308833)

버전 1.3.0-alpha01

2024년 2월 21일

androidx.benchmark:benchmark-*:1.3.0-alpha01가 출시되었습니다. 버전 1.3.0-alpha01에 포함된 커밋을 확인하세요.

API 변경사항

• 불필요한 단어 'should'를 방지하기 위해 MicrobenchmarkConfig 부울 매개변수의 이름을 바꿨습니다. (Ia8f00, b/303387299)
• 특히 CI의 대규모 도구 모음에서 기본 스레드 벤치마크 (예: 뷰 또는 Compose UI를 터치하는 벤치마크)에서 ANR이 트리거되는 것을 방지할 수 있도록 BenchmarkRule.measureRepeatedOnMainThread를 추가했습니다. 추가했습니다. (I5c86d)
• Perfetto 트레이스에서 추출되지 않고 플랫폼에서 직접 오는 측정값을 사용하는 FrameTimingMetric의 실험용 대체 구현인 FrameTimingGfxInfoMetric를 추가했습니다. 추가했습니다. (I457cb, b/322232828)
• 개별 warmUp 반복 중에 ART 프로필을 덤프하는 기능을 추가합니다. 추가했습니다. (I17923)
• TraceSectionMetric API의 몇 가지 변경사항:
  • Mode.Min, Mode.Max 추가
  • 섹션 이름을 측정항목 라벨로 재정의하는 라벨 인수 추가
  • 측정항목의 의미를 명확히 하기 위해 출력에 모드 이름을 추가했습니다.
  • 이 측정항목의 대부분이 반복되는 이벤트에 사용되므로 기본값을 합계로 변경했습니다. 이러한 CI 사용의 변경사항에 유의하세요. 중단이 발생하거나 파싱이 중단될 수 있습니다. 추가했습니다. (Ic1e82, b/301892382, b/301955938)

버그 수정

• 지정된 관리 기기가 존재하지 않을 때 기준 프로필 Gradle 플러그인의 오류 메시지가 개선되었습니다. (Idea2b, b/313803289)
• AGP 8.3.0-alpha15 이전에 AAR에 라이브러리 기준 프로필을 포함하는 문제를 수정했습니다. (I1d2af, b/313992099)
• 생성 작업이 끝날 때 기준 및 시작 프로필 출력 URL을 수정했습니다. (I802e5, b/313976958)
• java.lang.IllegalStateException: Failed to stop [ProcessPid(processName=perfetto, pid=...)] 문제를 해결하기 위해 데이터 소스 시간 제한을 조정했습니다. (I8dc7d, b/323601788)
• ProfileInstaller 1.3 없이 앱을 벤치마킹할 때 발생하는 비정상 종료 문제를 해결하기 위해 셰이더 드롭 동작을 재정의하기 위한 계측 인수 두 개를 추가합니다.
  • androidx.benchmark.dropShaders.enable=true/false : 특히 아직 Profileinstaller 1.3을 사용하지 않는 앱을 벤치마킹할 때 모든 셰이더 드롭 (StartupMode.Cold 실행에서 실행된 셰이더 드롭 포함)을 건너뛰는 데 사용할 수 있습니다.
  • androidx.benchmark.dropShaders.throwOnFailure=true/false: 셰이더를 드롭하려고 할 때(예: profileinstaller 1.3 없이 앱을 벤치마킹할 때) 실패를 허용하는 데 사용할 수 있습니다. (I4f573)
• 몇 초 이상 걸릴 것으로 예상되면 UI 스레드에서 메서드 추적을 건너뛰고 발생 시 정리 메서드 트레이스를 건너뜁니다. 추가했습니다. (I6e768)
• 파일 쓰기 또는 후처리 시 불명확한 비정상 종료를 방지하기 위해 파일 이름이 200자(영문 기준)보다 길면 발생합니다. 추가했습니다. (I4a5ab)
• 트레이스의 시작과 끝에서 종료되지 않은 프레임이 함께 페어링되어 매우 긴 단일 프레임으로 잘못 보고되는 문제가 수정되었습니다. 추가했습니다. (I39353, b/322232828)
• API 30~33에서 패키지를 재설치할 때 API 30 이상에서 --skip verification를 사용하여 사용자 빌드에서 ART 프로필을 삭제합니다. 이렇게 하면 일부 기기에서 오류를 일으키는 Play 프로텍트 경고를 우회할 수 있습니다. 추가했습니다. (Ic9e36)
• 시스템 UI나 런처와 같은 시스템 앱이 아닌 경우 am force-stop를 사용하여 앱을 종료합니다. 추가했습니다. (I5e028)
• 이제 Macrobenchmark는 타겟 애플리케이션이 ART 프로필을 플러시할 때까지 1 second를 기다립니다 (이전에는 500 ms을 기다림). (I85a50, b/316082056)
• 프레임이 생성되지 않는 경우 FrameTimingMetric 오류를 개선하고 측정항목 파싱에 실패할 경우 문제 진단에 도움이 되도록 항상 추적할 링크를 출력합니다. 추가했습니다. (I956b9)
• 특히 특정 OEM 기기에서 프레임 ID를 파싱하지 못하는 FrameTimingMetric의 비정상 종료 문제가 수정되었습니다. 추가했습니다. (Ia24bc, b/303823815, b/306235276)
• FrameMetrics에서 검사의 엄격한 기준을 완화하고 오류 메시지에 세부정보를 추가했습니다. (Iadede)

버전 1.2

버전 1.2.4

2024년 4월 17일

androidx.benchmark:benchmark-*:1.2.4가 출시되었습니다. 버전 1.2.4에 포함된 커밋을 확인하세요.

버그 수정

• 기준 프로필 srcset가 벤치마크 변형에서 설정되지 않는 문제를 수정했습니다. 또한 순환 종속 항목을 유발하는 라이브러리의 automaticGenerationDuringBuild이 수정되었습니다. 추가했습니다. (I28ab7, b/333024280)
• 시스템 UI나 런처와 같은 시스템 앱이 아닌 경우 am force-stop를 사용하여 앱을 종료합니다. 프로세스 종료가 완전히 실패하여 '패키지 $package가 콜드 스타트 전에 실행되고 있지 않아야 합니다!'에서 비정상 종료되는 StartupMode.COLD 벤치마크가 수정되었습니다. 추가했습니다. (I5e028)

버전 1.2.3

2024년 1월 24일

androidx.benchmark:benchmark-*:1.2.3가 출시되었습니다. 버전 1.2.3에 포함된 커밋을 확인하세요.

버그 수정

• AGP 버전이 8.3.0 이상일 때 기준 프로필 Gradle 플러그인에서 예외가 삭제되었습니다.
• AGP 8.3.0-alpha15 이전의 AAR에 라이브러리 기준 프로필을 포함하는 문제를 수정했습니다.

버전 1.2.2

2023년 12월 1일

androidx.benchmark:benchmark-*:1.2.2가 출시되었습니다. 버전 1.2.2에 포함된 커밋을 확인하세요.

기준 프로필

• 실행 로그에 기준 프로필 출력 파일 경로가 로컬 파일 URI로 표시됩니다. (aosp/2843918, aosp/2853665, b/313976958)

버전 1.2.1

2023년 11월 15일

androidx.benchmark:benchmark-*:1.2.1가 출시되었습니다. 버전 1.2.1에 포함된 커밋을 확인하세요.

새로운 기능

• 사용자가 테스트 변형을 사용 중지할 때 발생하는 오류 메시지가 개선되었습니다. (b/307478189)
• AS 테스트 실행 통합을 지원하는 속성을 추가했습니다. (b/309805233) (b/309116324)

버전 1.2.0

2023년 10월 18일

androidx.benchmark:benchmark-*:1.2.0가 출시되었습니다. 버전 1.2.0에 포함된 커밋을 확인하세요.

1.1.0 이후 중요 변경사항

기준 프로필

• 새로운 기준 프로필 Gradle 플러그인은 테스트 및 빌드 워크플로에서 기준 프로필을 자동으로 캡처하고 포함합니다.
• 이제 BaselineProfileRule.collect가 안정화되었습니다. 이전 실험용 BaselineProfileRule.collectBaselineProfile API의 간소화되고 간소화된 버전입니다.
  • packageName을 지정하고 앱을 구동하기만 하면 됩니다.
• 기준 프로필을 생성하는 라이브러리의 경우 이제 코드 (BaselineProfileRule.collect 인수)에서 또는 훨씬 더 간단하게 Gradle 플러그인에서 생성된 규칙을 필터링할 수 있습니다.
• 수정사항
  • Android U+에서 기준 프로필 수집을 수정했습니다. (Id1392, b/277645214)

Macrobenchmark

• 컴파일
  • 이제 Macrobenchmark가 각 컴파일의 컴파일 상태를 올바르게 재설정합니다. 이렇게 하려면 Android 14 이전에 APK를 재설치해야 하므로 측정 대상에서 상태 (예: 사용자 로그인)를 유지하려면 Android 14 이상에서 벤치마킹하는 것이 좋습니다.
  • 앱 컴파일을 별도로 제어하고 CompilationMode.Ignore() 또는 계측 인수를 사용한 컴파일을 건너뛰어 이 문제를 해결할 수도 있습니다.

• 계측 인수

  • 더 빠른 유효성 검사 실행(예: 벤치마크 생성 시 또는 사전 제출 시)을 위해 androidx.benchmark.dryRunMode.enable 계측 인수 (Microbenchmark에서 이미 사용 가능)를 지원합니다.
  • androidx.benchmark.profiling.mode=StackSampling 및 MethodTracing를 지원합니다.
  • Macrobenchmark 규칙 테스트와 런타임 필터링 기준 프로필을 허용하도록 androidx.benchmark.enabledRules가 추가되었습니다.
  • trace-perfetto를 사용한 트레이싱을 사용 설정하기 위해 androidx.benchmark.perfettoSdkTracing.enable 인수를 추가했습니다(예: Compose 리컴포지션 추적). StartupMode.COLD와 함께 사용할 경우 앱 시작 중에 추적 라이브러리가 로드되고 사용 설정되므로 타이밍이 크게 영향을 받습니다.

• 요구사항

  • 이제 Macrobenchmark에 프로필 캡처 / 재설정 및 셰이더 캐시 삭제를 사용 설정하려면 타겟 앱에 ProfileInstaller 1.3.0 이상이 필요합니다.

• 새로운 실험용 Metric API

  • 앱의 trace("") {} 블록에서 간단한 타이밍을 추출할 수 있는 실험용 TraceSectionMetric 또는 Perfetto TraceProcessor의 전체 쿼리 기능을 활용하기 위해 TraceMetric을 추가했습니다.
  • 전력 사용량 정보를 캡처하는 실험용 PowerMetric을 추가했습니다.
  • 페이지 오류 수를 계산하는 실험용 MemoryCountersMetric를 추가했습니다.
  • 시스템 트레이스 (일명 Perfetto 트레이스)에서 측정항목을 추출하기 위해 내부적으로 사용되는 실험용 PerfettoTraceProcessor API를 추가했습니다.

• 수정사항

  • 여러 APK (예: App Bundle)에서 설치된 앱에서 프로필을 설치하거나 추출할 때 발생하는 비정상 종료 문제가 해결되었습니다.
  • FrameTimingMetric에서 일관되지 않은 프레임 ID가 있는 프레임을 무시하는 문제를 수정했습니다 (일반적으로 API 31 이상에서 물결 효과 중에 발생하는 프레임). (I747d2, b/279088460)
  • 64MB를 초과하는 트레이스에서 발생하는 파싱 오류를 수정했습니다. (Ief831, b/269949822)
  • 기기 (특히 에뮬레이터) OS 이미지가 추적 또는 컴파일을 위해 올바르게 구성되지 않는 경우 발생하는 오류를 명확히 했습니다.
  • 배터리가 없는 기기의 배터리 수준 확인 건너뛰기 (마이크로 및 매크로)
  • 잘못된 출력 디렉터리에 대한 오류가 더 명확해지고 기본값이 보다 안전해지도록 파일 출력이 개선되었습니다.
  • 셰이더 캐시를 일관되게 삭제하여 StartupMode.COLD의 안정성을 개선했습니다 (MacrobenchmarkScope.dropShaderCache를 통해서도 노출됨).
  • startActivityAndWait의 leanback 대체를 수정했습니다.

Microbenchmark

• 기능
  • 프로파일링은 다른 측정항목 다음에 별도의 단계로 이동했으므로 한 번의 테스트 실행에 정확한 타이밍 및 프로파일링 결과가 모두 표시될 수 있습니다.
• 실험용 API
  • 맞춤 측정항목을 정의하고 추적 및 프로파일링을 구성하기 위한 실험용 MicrobenchmarkConfig API를 추가했습니다. 메서드 트레이스 또는 tracepoint를 캡처하는 데 사용할 수 있습니다 (추적 오버헤드에 유의).
  • JUnit 없이 BenchmarkRule와 별도로 BenchmarkState를 제어하기 위한 실험용 API를 추가했습니다.
  • 벤치마크 API와는 별도로 맞춤 구성을 사용하여 Perfetto 트레이스를 캡처할 수 있도록 실험용 PerfettoTrace 레코드를 추가했습니다.
• 수정사항
  • Android 스튜디오 벤치마크 출력에서 선행 공백이 누락되는 문제를 해결했습니다.
  • Android 스튜디오 벤치마크 출력에서 경고가 인쇄되지 않는 문제가 수정되었습니다.
  • Android 13 (API 33) 이상에서 SampledProfiling 비정상 종료가 수정되었습니다.
  • IsolationActivity 및 Perfetto 추적을 건너뛰어 dryRunMode의 성능을 크게 향상했습니다 (이전 OS 버전에서 최대 10배 더 빠른 테스트 실행 모드).

버전 1.2.0-rc02

2023년 10월 6일

androidx.benchmark:benchmark-*:1.2.0-rc02가 출시되었습니다. 버전 1.2.0-rc02에 포함된 커밋을 확인하세요.

버그 수정

• BaselineProfile 플러그인 파일 복사가 더 이상 중단되지 않도록 벤치마크 파일 출력을 수정합니다. 파일이 기기에서 생성되고 복사되었지만 Gradle 플러그인에서 인식되지 않도록 이름이 변경되었습니다. 추가했습니다. (I8dbcc, b/303034735, b/296453339)
• Macrobenchmark 모듈에서 타겟 애플리케이션으로 삽입할 때 발생하는 tracing-perfetto 로드 오류 메시지를 명확히 했습니다.

버전 1.2.0-rc01

2023년 9월 20일

androidx.benchmark:benchmark-*:1.2.0-rc01가 출시되었습니다. 버전 1.2.0-rc01에 포함된 커밋을 확인하세요.

버그 수정

• 이제 Perfetto SDK 추적이 벤치마크에서 초기화되지 않으면 예외 (해결 방법 안내 포함)가 발생합니다. 추가했습니다. (I6c878, b/286228781)
• ART 메서드 트레이스 -> perfetto 형식을 변환할 때 OOM 비정상 종료를 수정합니다. 추가했습니다. (I106bd, b/296905344)
• (Macrobenchmark) Studio 테스트 출력에 연결될 때 메서드 추적 라벨을 명확히 하고, 벤치마크가 두 개 이상 실행될 때 덮어쓰지 않도록 메서드 추적 파일 이름이 기기/호스트에서 고유하도록 수정되었습니다. 추가했습니다. (I08e65, b/285912360)
• 기준 프로필을 캡처할 때 기기가 켜진 상태인지 확인합니다. 추가했습니다. (I503fc)

버전 1.2.0-beta05

2023년 8월 30일

androidx.benchmark:benchmark-*:1.2.0-beta05가 출시되었습니다. 버전 1.2.0-beta05에 포함된 커밋을 확인하세요.

새로운 기능

• 이제 기준 프로필 Gradle 플러그인이 Android Gradle 플러그인 8.3을 지원합니다. (aosp/2715214 참고)

버전 1.2.0-beta04

2023년 8월 23일

androidx.benchmark:benchmark-*:1.2.0-beta04가 출시되었습니다. 버전 1.2.0-beta04에 포함된 커밋을 확인하세요.

새로운 기능

• 이제 기준 프로필 Gradle 플러그인이 Android Gradle 플러그인 8.3을 지원합니다. (aosp/2715214 참고)

버그 수정

• 출력 파일 이름에 '=' 및 ':'를 사용하지 않고 출력 파일 이름을 추가로 정리하여 파일 (특히 매개변수화된 테스트의 파일) 작성 / 이동 및 가져오기 실패를 수정합니다. 추가했습니다. (I759d8)

버전 1.2.0-beta03

2023년 8월 9일

androidx.benchmark:benchmark-*:1.2.0-beta03가 출시되었습니다. 버전 1.2.0-beta03에 포함된 커밋을 확인하세요.

API 변경사항

• 기본적으로 타겟 패키지에만 TraceSectionMetric를 필터링하는 인수를 추가했습니다. (Ia219b, b/292208786)

버그 수정

• 아티팩트 이름 및 기타 참조와의 일관성을 위해 fullTracing.enable 계측 인수의 이름을 perfettoSdkTracing.enable로 변경했습니다. fullTracing.enable는 대체로 계속 작동합니다. 추가했습니다. (I7cc00)
• 이제 벤치마크 라이브러리 내부 tracepoint (Microbenchmark 루프/단계 추적 포함)가 스튜디오 시스템 트레이스 뷰어에 표시되고 Perfetto의 올바른 프로세스 아래에 중첩됩니다. 추가했습니다. (I6b2e7, b/293510459)
• API 31 이상에서 Macrobenchmark NOT-PROFILEABLE 오류를 삭제하고 eng/userdebug 루팅된 기기에서 프로파일링 가능한 검사를 건너뜁니다. 추가했습니다. (I2abac, b/291722507)
• Dex 레이아웃 최적화를 사용할 때 이제 시작 프로필 규칙이 기준 프로필 규칙으로 간주됩니다. (aosp/2684246 및 b/293889189 참고)

버전 1.2.0-beta02

2023년 7월 26일

androidx.benchmark:benchmark-*:1.2.0-beta02가 출시되었습니다. 버전 1.2.0-beta02에 포함된 커밋을 확인하세요.

API 변경사항

• 마이크로벤치 커스텀 측정항목 및 구성 (예: 프로파일러, 추적)을 위한 실험용 API를 추가했습니다. 추가했습니다. (I86101, b/291820856)

버그 수정

• API 26/28 ARM64 에뮬레이터에서 최근 수정된 것처럼 추적을 위해 OS가 잘못 구성된 경우 Macrobench에서 오류를 보고합니다. 추가했습니다. (I0a328, b/282191686)
• 일부 에뮬레이터에서 최근에 이 문제가 해결되었으므로 에뮬레이터 업데이트를 제안하도록 컴파일 재설정 실패에 관한 세부정보가 추가되었습니다. 추가했습니다. (I8c815, b/282191686)
• androidx.test.uiautomator:uiautomator:2.2.0를 implementation 종속 항목 대신 api로 만듭니다. 추가했습니다. (I1981e)

버전 1.2.0-beta01

2023년 7월 18일

androidx.benchmark:benchmark-*:1.2.0-beta01가 출시되었습니다. 버전 1.2.0-beta01에 포함된 커밋을 확인하세요.

버그 수정

• 스튜디오의 벤치마크 출력에서 가끔 경고가 표시되지 않는 문제 및 스튜디오에서 벤치마크 출력의 선행 공백이 표시되지 않는 문제를 수정했습니다. (Ia61d0, b/227205461, b/286306579, b/285912360)
• FrameTimingMetric의 주석을 수정했습니다. 하위 측정항목의 이름은 frameDurationCpuMs입니다. 추가했습니다. (Ib097f, b/288830934)

버전 1.2.0-alpha16

2023년 6월 21일

androidx.benchmark:benchmark-*:1.2.0-alpha16가 출시되었습니다. 버전 1.2.0-alpha16에 포함된 커밋을 확인하세요.

API 변경사항

• BaselineProfileRule.collectBaselineProfile() API의 이름이 BaselineProfileRule.collect()로 변경되었습니다. 추가했습니다. (I4b665)

버그 수정

• androidx.benchmark.profiling.mode = MethodTracing의 Macrobenchmark 지원 추가했습니다. (I7ad37, b/285912360)
• Microbenchmark 프로파일링이 별도의 단계로 이동했으므로 이를 대체하지 않고 측정 이후에서 순서대로 발생합니다. 이제 MethodTracing 트레이스 섹션이 캡처된 Perfetto 트레이스(있는 경우)에도 포함됩니다. 추가했습니다. (I9f657, b/285014599)
• Mode.Sum를 사용하여 TraceSectionMetric에 개수 측정을 추가합니다. 추가했습니다. (Ic121a, b/264398606)

버전 1.2.0-alpha15

2023년 6월 7일

androidx.benchmark:benchmark-*:1.2.0-alpha15가 출시되었습니다. 버전 1.2.0-alpha15에 포함된 커밋을 확인하세요.

새로운 기능

• 타겟 애플리케이션의 메모리 사용량을 추적하기 위한 실험용 MemoryUsageMetric을 추가했습니다. 추가했습니다. (I56453, b/133147125, b/281749311)
• PerfettoTrace.record를 사용하여 완전 맞춤 Perfetto 구성 지원을 추가합니다. (If9d75, b/280460183)
• 기준 프로필 생성을 건너뛰는 속성이 추가되었습니다. 사용: ./gradlew assemble -Pandroidx.baselineprofile.skipgeneration. 추가했습니다. (I37fda, b/283447020)

API 변경사항

• collectBaselineProfile API는 항상 안정적인 기준 프로필을 생성합니다. collectStableBaselineProfile API가 삭제되었으므로 대신 collectBaselineProfile를 사용해야 합니다. 추가했습니다. (I17262, b/281078707)
• 기본 필터 동작이 문서에서 더 명확하도록 BaselineProfileRule의 filterPredicate 인수를 동등한 기본값이 있는 null이 아닌 값으로 변경했습니다. 추가했습니다. (I3816e)

버그 수정

• dryRunMode에서 IsolationActivity 및 Perfetto 추적을 사용 중지하여 성능을 크게 개선합니다. 대부분의 런타임이었기 때문입니다. 추가했습니다. (Ie4f7d)
• 계측 테스트 인수 androidx.benchmark.profiling.mode=StackSampling 및 androidx.benchmark.profiling.sampleFrequency를 사용하여 Macrobenchmark에서 호출 스택 샘플링을 지원합니다. 추가했습니다. (I1d13b, b/282188489)
• Android U (API 34)와 에뮬레이터에서 셰이더를 삭제할 때 발생하는 비정상 종료 문제를 수정합니다. 추가했습니다. (I031ca, b/274314544)

버전 1.2.0-alpha14

2023년 5월 3일

androidx.benchmark:benchmark-*:1.2.0-alpha14가 출시되었습니다. 버전 1.2.0-alpha14에 포함된 커밋을 확인하세요.

버그 수정

• 일관되지 않은 프레임 ID가 있는 프레임을 무시하는 FrameTimingMetric를 수정합니다. 이로 인해 최신 플랫폼 버전 (API 31 이상)의 일부 애니메이션이 RenderThread에 애니메이션을 적용하는 동안 (예: 물결 효과 중에) 많은 프레임을 무시하게 됩니다. 추가했습니다. (I747d2, b/279088460)
• 64Mb보다 큰 트레이스의 트레이스 프로세서 파싱이 수정되었습니다. 추가했습니다. (Ief831, b/269949822)
• pm dump-profiles 명령어의 다른 출력으로 인해 Android U에서 기준 프로필 생성이 실패하는 문제를 수정했습니다. 추가했습니다. (Id1392, b/277645214)
• GPU 클록 잠금 스크립트를 수정하여 문자열을 올바르게 비교합니다. (I53e54, b/213935715)

버전 1.2.0-alpha13

2023년 4월 5일

androidx.benchmark:benchmark-*:1.2.0-alpha13가 출시되었습니다. 버전 1.2.0-alpha13에 포함된 커밋을 확인하세요.

API 변경사항

• 예정된 시작 프로필 기능을 지원하기 위해 기준 프로필을 생성할 때 프로필 유형 매개변수를 추가했습니다. (Ie20d7, b/275093123)
• Perfetto 트레이스의 콘텐츠를 기반으로 완전한 맞춤 측정항목을 정의하기 위한 새로운 실험용 TraceMetric API를 추가했습니다. 추가했습니다. (I4ce31, b/219851406)
• 벤치마크 중에 페이지 오류 수를 결정하는 실험용 측정항목을 추가합니다. 추가했습니다. (I48db0)

버전 1.2.0-alpha12

2023년 3월 22일

androidx.benchmark:benchmark-*:1.2.0-alpha12가 출시되었습니다. 버전 1.2.0-alpha12에 포함된 커밋을 확인하세요.

새로운 기능

• 새로운 기준 프로필 Gradle 플러그인이 알파 버전으로 출시되었습니다. 이 플러그인을 사용하면 기준 프로필을 더 쉽게 생성하고 개발자 워크플로를 간소화할 수 있습니다.

API 변경사항

• Microbenchmark와 실험용 PerfettoTrace API를 모두 포함하는 API 21 및 22에서 Perfetto 추적 지원을 삭제했습니다. 이 버전 이전에는 일부 기기에서 UiAutomation 연결이 불안정했습니다. 추가했습니다. (I78e8c)
• 트레이스 콘텐츠 파싱을 사용 설정하기 위해 PerfettoTraceProcessor용 공개 실험용 API를 추가했습니다. 이는 Perfetto 트레이스 데이터를 기반으로 한 완전한 커스텀 측정항목을 위한 한 걸음입니다. 추가했습니다. (I2659e, b/219851406)

버전 1.2.0-alpha11

2023년 3월 8일

androidx.benchmark:benchmark-*:1.2.0-alpha11가 출시되었습니다. 버전 1.2.0-alpha11에 포함된 커밋을 확인하세요.

버그 수정

• 여러 APK가 포함된 App Bundle에서 프로필을 재설치하거나 추출할 때 MacrobenchmarkRule 및 BaselineProfileRule에서 발생하는 비정상 종료 문제가 해결되었습니다. 추가했습니다. (I0d8c8, b/270587281)

버전 1.2.0-alpha10

2023년 2월 22일

androidx.benchmark:benchmark-*:1.2.0-alpha10가 출시되었습니다. 버전 1.2.0-alpha10에 포함된 커밋을 확인하세요.

새로운 기능

• Android 14 이상에서 Macrobenchmark는 컴파일 상태를 재설정하기 위해 타겟 애플리케이션을 더 이상 재설치하지 않습니다. 이는 새로운 플랫폼 기능 덕분입니다. 이전에는 루팅된 기기가 있어야 하거나 각 벤치마크가 실행되기 전에 삭제되는 모든 애플리케이션 상태(예: 사용자 로그인)를 처리해야 했습니다. (I9b08c, b/249143766)

버그 수정

• 컴파일 건너뛰기로 인해 더 이상 빈 프로필로 비정상 종료되지 않도록 DryRunMode를 수정했습니다. 대신 단일 반복을 실행하고 프로필을 추출하여 무언가가 캡처되도록 합니다. (I2f05d, b/266403227)
• 이전 API 수준에서 powerstats가 있는지 확인할 때 발생하는 PowerMetric 비정상 종료 문제를 수정했습니다. (5faaf9, b/268253898)

버전 1.2.0-alpha09

2023년 1월 11일

androidx.benchmark:benchmark-*:1.2.0-alpha09가 출시되었습니다. 버전 1.2.0-alpha09에 포함된 커밋을 확인하세요.

버그 수정

• 모든 벤치마크 및 기준 프로필 생성을 사용 중지하기 위해 None을 androidx.benchmark.enabledRules 계측 인수에 전달하는 기능이 사용 설정되었습니다. (I3d7fd, b/258671856)
• 앱 모듈의 PerfettoTrace 캡처(예: 비 자체 계측 테스트 APK)를 수정했습니다. (I12cfc)
• 스튜디오에서 기준 프로필 adb pull 인수가 출력되는 순서를 수정했습니다. (I958d1, b/261781624)
• 이제 ARM 에뮬레이터 API 33이 Macrobenchmark를 실행하려고 할 때 올바르게 인식되고 경고를 올바르게 출력합니다. (69133b,b/262209591)
• Macrobenchmark에서 배터리가 없는 기기에서 배터리 수준 확인을 건너뜁니다. (fe4114, b/232448937)

버전 1.2.0-alpha08

2022년 12월 7일

androidx.benchmark:benchmark-*:1.2.0-alpha08가 출시되었습니다. 버전 1.2.0-alpha08에 포함된 커밋을 확인하세요.

API 변경사항

• 테스트 동작 및 성능을 검사하기 위해 테스트의 일환으로 Perfetto 트레이스(시스템 트레이스라고도 함)를 캡처하는 실험용 새 API PerfettoTrace.record {} 및 PerfettoTraceRule을 추가했습니다. (I3ba16)
• 이제 BaselineProfileRule은 패키지 접두사 목록 대신 필터 조건자를 허용합니다. 이렇게 하면 테스트가 필터링에 대한 완전한 제어 권한을 갖게 됩니다. (I93240)
• N회 반복에서 기준 프로필이 안정될 때까지 기다리는 실험용 API BaselineProfileRule.collectStableBaselineProfile을 추가합니다. (I923f3)
• BaselineProfileRule을 사용하여 기준 프로필을 생성할 때 출력 파일 이름 접두사를 지정하는 기능을 추가합니다. (I7b59f, b/260318655)

버그 수정

• 특히 API 21/22에서 출력 파일이 아무 오류 없이 작성/추가되지 않는 문제를 방지하는 파일 출력 쓰기의 안전성을 개선합니다. (If8c44, b/227510293)
• simpleperf 트레이스 출력을 수정하여 파일을 올바르게 만들고 배치합니다. 이 방식은 gradle에서 파일을 가져오지 못하는 문제를 더 일반적인 방식으로 수정해야 합니다. (I12a1c, b/259424099)
• profileinstaller가 너무 오래되었을 때 표시되는 profileinstaller 오류 메시지를 개선합니다. 이제 이 메시지를 통해 기준 프로필 측정을 지원하지 않는다고 하는 대신 API 31~33에서 기준 프로필을 측정하기 위해 profileinstaller 버전을 1.2.1로 업데이트하라고 알립니다. (Ia517f, b/253519888)
• 실패한 perfetto 캡처 바이너리 설정 및 트레이스 캡처 실패를 포함하여 API 23 이하에서 여러 셸 명령어 실패를 나타내는 오류 메시지 출력을 수정했습니다. (Ib6b87, b/258863685)
• 생성된 프로필 규칙을 자동으로 정렬하여 시간 경과에 따라 변경되는 변경 횟수를 최소화합니다(프로필 규칙을 소스 제어에 체크인할 때). (Ie2509)
• Android 13(API 33) 미만의 루팅되지 않은 빌드에서 Expected no stderr from echo 3 > /proc/sys/vm/drop_caches 메시지와 함께 비정상 종료되는 문제가 수정되었습니다. (I6c245, b/259508183)

알려진 문제 - 아직 출시되지 않은 profileinstaller 매니페스트에 브로드캐스트 레지스트리가 누락되어 MacrobenchmarkScope.dropShaderCache()가 비정상 종료될 수 있습니다. (I5c728, b/258619948) profileinstaller:1.3.0-alpha02의 문제를 해결하려면 애플리케이션 AndroidManifest.xml에 다음을 추가하세요(벤치마크 아님).

  <!-- workaround bug in profileinstaller 1.3.0-alpha02, remove when updating to alpha03+ -->
  <receiver
    android:name="androidx.profileinstaller.ProfileInstallReceiver"
    android:permission="android.permission.DUMP"
    android:exported="true">
    <intent-filter>
        <action android:name="androidx.profileinstaller.action.BENCHMARK_OPERATION" />
    </intent-filter>
  </receiver>

버전 1.2.0-alpha07

2022년 11월 9일

androidx.benchmark:benchmark-*:1.2.0-alpha07가 출시되었습니다. 버전 1.2.0-alpha07에 포함된 커밋을 확인하세요.

API 변경사항

• Macrobenchmarks에서 에너지와 전력을 측정하기 위한 PowerMetric API를 추가했습니다. (Ife601, b/220183779)
• 셰이더 캐시를 실제로 드롭하도록 MacrobenchmarkScope.dropShaderCache()를 수정했습니다. 이렇게 하면 StartupMode.COLD 벤치마크에서 약 20ms의 노이즈가 삭제됩니다. 이제 셰이더가 각 반복에서 일관되게 삭제되기 때문입니다. 이전에는 준비 반복을 사용하는 Partial 컴파일 시 빠르게 숫자가 잘못 보고되었습니다. 준비 중에 셰이더 캐싱이 발생할 가능성이 높았기 때문입니다. 이 수정사항을 적용하려면 루팅된 기기 또는 타겟 앱에서 profileinstaller:1.3.0-alpha02를 사용해야 합니다. ProfileInstaller 라이브러리의 API 변경사항은 ProfileInstaller 1.30-alpha02 페이지를 참고하세요. (Ia5171, b/231455742)
• TraceSectionMode("label", Mode.Sum)을 추가하여 동일한 라벨이 있는 여러 트레이스 섹션에서 소요된 총시간을 측정할 수 있습니다. 예를 들어 TraceSectionMetric("inflate", Mode.Sum)은 확장에 사용된 macrobenchmark의 총시간에 관해 inflateMs 측정항목을 보고합니다. 또한 API 29 요구사항을 삭제했습니다. TraceSectionMetric이 androidx.tracing.Trace와 함께 더 낮은 API 수준으로 다시 작동하기 때문입니다. 이때 타겟 앱 내에서는 forceEnableAppTracing을 사용합니다. (Id7b68, b/231455742)

버그 수정

• 모든 출력/오류의 유효성을 검사하여 모든 내부 셸 명령어의 안전성을 개선했습니다. (I5984d, b/255402908, b/253094958)
• 기준 프로필 adb pull 명령어에 기기를 지정하므로 여러 기기가 연결된 경우(최대 하나의 에뮬레이터) pull 명령어를 간단히 복사할 수 있습니다. (I6ac6c, b/223359380)
• macrobenchmark 테스트 APK가 자체 계측으로 설정되지 않은 경우 오류가 추가됩니다. 이 오류는 타겟 앱의 프로세스 내에서 매크로벤치마킹이 발생하지 않도록 합니다. 프로세스에서 매크로벤치는 앱을 컴파일/종료/콜드 스타트하거나 자체 권한을 제어할 수 없습니다. (I4279b)
• measureRepeated()에서 StartupMode.COLD가 setupBlock 후에 타겟 프로세스를 종료하지 않는 문제를 수정했습니다. 이제 앱과 상호작용하는 setupBlock이 앱 프로세스가 실행되거나 잘못된 콜드 스타트가 측정되도록 하지 않습니다. (I8ebb7)

버전 1.2.0-alpha06

2022년 10월 24일

androidx.benchmark:benchmark-*:1.2.0-alpha06가 출시되었습니다. 버전 1.2.0-alpha06에 포함된 커밋을 확인하세요.

API 변경사항

• BaselineProfileRule이 더 이상 Android 13(API 33)에서 루트가 필요하지 않으며 더 이상 실험용이 아닙니다. (Ie0a7d, b/250083467, b/253094958)
  • 이 변경으로 인해 앱의 프로필이 루팅되지 않은 기기의 디스크로 플러시되는 방식이 수정되지만 타겟 앱의 profileinstaller 종속 항목 업데이트가 필요합니다.
  • 루팅되지 않은 기기에서 BaselineProfileRule 또는 CompilationMode.Partial(warmupIterations)을 사용하려면 androidx.profileinstaller.profileinstaller:1.3.0-alpha01을 사용하도록 타겟 앱도 업데이트해야 합니다. 이렇게 하면 프로필을 디스크에 올바르게 플러시하여 컴파일/추출할 수 있습니다.

버그 수정

• API 33 이상에서 발생하는 SampledProfiling 비정상 종료 문제를 수정했습니다. (I40743, b/236109374)

버전 1.2.0-alpha05

2022년 10월 5일

androidx.benchmark:benchmark-*:1.2.0-alpha05가 출시되었습니다. 버전 1.2.0-alpha05에 포함된 커밋을 확인하세요.

버그 수정

• 스튜디오 시스템 트레이스 뷰어에서 트레이스를 캡처한 벤치마크의 프레임 분석을 수정했습니다. (I3f3ae, b/239677443)
• FrameTimingMetric을 수정하여 FrameOverrun이 API 29 대신 31이 필요한 것으로 표시됩니다. (I716dd, b/220702554)
• BaselineProfileRule에서 반복을 설정하고 타겟 패키지가 설치되지 않은 경우 확실히 오류가 발생합니다(MacrobenchmarkRule에 맞게 이미 실행됨). (Ic09a3, b/227991471)

버전 1.2.0-alpha04

2022년 9월 21일

androidx.benchmark:benchmark-*:1.2.0-alpha04가 출시되었습니다. 버전 1.2.0-alpha04에 포함된 커밋을 확인하세요.

새로운 기능

• 로컬 개발 속도를 높이고 앱 자동화의 유효성을 검사(예: 사전 제출)하기 위해 macrobenchmark에 dryRunMode.enable 계측 인수 지원을 추가합니다(이미 microbenchmark에서 사용 가능). 그러면 반복이 1로 재정의되고, 컴파일을 건너뜁니다. 또한, 모든 구성 오류가 표시되지 않고, 측정과 관련된 .json 파일 출력이 사용 중지됩니다. (Ib51b4, b/175149857)

  Gradle 명령줄에서 다음을 실행합니다.

  ./gradlew macrobenchmark:cC -P android.testInstrumentationRunnerArguments.androidx.benchmark.dryRunMode.enable=true
  

  build.gradle에 다음을 추가합니다.

  android {
      defaultConfig {
          testInstrumentationRunnerArgument 'androidx.benchmark.dryRunMode.enable', 'true'
      }
  }
  

버그 수정

• StartupTimingMetric에서 더 이상 MacrobenchmarkScope.startActivityAndWait()을 통해 실행되는 측정된 활동이 필요하지 않도록 수정했습니다. 즉, 측정항목이 알림, Context.startActivity(), 탐색 기반의 인앱 활동 또는 셸 명령어 등에서 실행을 선택할 수 있습니다. (Ia2de6, b/245414235)
• 프레임 감지의 엄격한 정도를 낮춰 startActivityAndWait이 에뮬레이터에서 실행 완료를 기다리는 동안 시간 초과가 발생하는 버그를 수정했습니다. (Ibe2c6, b/244594339, b/228946895)

버전 1.2.0-alpha03

2022년 9월 7일

androidx.benchmark:benchmark-*:1.2.0-alpha03가 출시되었습니다. 버전 1.2.0-alpha03에 포함된 커밋을 확인하세요.

새로운 기능

• BenchmarkRule / JUnit4과 별개로 BenchmarkState를 독립적으로 사용하기 위한 실험용 API를 추가했습니다. (Id478f, b/228489614)

버그 수정

• startActivityAndWait의 Leanback 대체를 추가했습니다. (01ed77, b/242899915)

버전 1.2.0-alpha02

2022년 8월 24일

androidx.benchmark:benchmark-*:1.2.0-alpha02가 출시되었습니다. 버전 1.2.0-alpha02에 포함된 커밋을 확인하세요.

API 변경사항

• 루팅된 경우에도 MacrobenchmarkScope.killProcess()의 기본값을 am force stop으로 설정합니다(기준 프로필 생성 중에는 제외). 이는 불리언 인수(선택사항)를 사용하여 재정의할 수 있습니다. (02cce9, b/241214097)

버그 수정

• 시스템 앱의 기준 프로필 생성을 지원합니다. (I900b8, b/241214097)
• 루팅되지 않은 기기에서 ODPM 전원 측정항목 확인을 지원합니다. (a38c78, b/229623230)

버전 1.2.0-alpha01

2022년 7월 27일

androidx.benchmark:benchmark-*:1.2.0-alpha01가 출시되었습니다. 버전 1.2.0-alpha01에 포함된 커밋을 확인하세요.

새로운 기능

• 새로운 tracing-perfetto-common 구성요소를 사용하면 도구를 사용하여 이를 노출하는 앱에서 Perfetto SDK 추적을 사용 설정할 수 있습니다(I2cc7f).

• 벤치마크 또는 기본 프로필 생성으로 macrobenchmark 실행을 필터링할 수 있도록 androidx.benchmark.enabledRules 계측 인수를 추가했습니다. 'Macrobenchmark' 또는 'BaselineProfile'을 전달하여 한 가지 테스트 유형만 실행합니다(예: 에뮬레이터에서 BaselineProfiles를 생성할 때). 쉼표로 구분된 목록도 지원됩니다(I756b7, b/230371561).

  매크로벤치마크의 build.gradle에서 예를 들면 다음과 같습니다.

  android {
      defaultConfig {
          testInstrumentationRunnerArgument 'androidx.benchmark.enabledRules', 'BaselineProfile'
      }
  }
  

  또는 Gradle 명령줄에서 예를 들면 다음과 같습니다.

  ./gradlew macrobenchmark:cC -P android.testInstrumentationRunnerArguments.androidx.benchmark.enabledRules=BaselineProfile
  

API 변경사항

• 벤치마크에서 에너지 및 전력 작업을 측정하는 새로운 PowerMetric을 추가했습니다(I9f39b, b/220183779).
• 프로필 재설정 및 컴파일을 건너뛰는 새로운 컴파일 모드 CompilationMode.Ignore를 추가했습니다(Ibbcf8, b/230453509).
• 패키지 이름에 따라 출력 파일을 필터링하도록 BaselineProfileRule#collectBaselineProfile에 새 매개변수를 추가했습니다(If7338, b/220146561).
• 개발자가 기기를 방전하여 전력 소모를 측정할 수 있습니다(I6a6cb).
• MacrobenchmarkScope에서 셰이더 캐시를 지우는 기능을 추가했습니다(I32122).
• 개발자가 하위 시스템 카테고리에 필요한 측정항목 유형 및 세부정보의 표시를 구성할 수 있습니다(I810c9).
• 이전에는 지원되지 않는 기기에서 실행되는 경우 벤치마크에서 UnsupportedOperationException이 발생했습니다. 이제는 측정항목이 지원되지 않는 기기에서 사용(PowerMetric.configure)되는 경우에만 UOE가 발생합니다(I5cf20, b/227229375).
• macrobenchmark의 각 시스템 카테고리에서 총 전력과 에너지를 측정하는 TotalPowerMetric과 TotalEnergyMetric을 추가했습니다(I3b26b, b/224557371).

버그 수정

• 컴파일된 메서드가 루팅되지 않은 빌드의 각 벤치마크 간에 올바르게 재설정되지 않는 문제를 수정했습니다. 이를 위해서는 반복할 때마다 APK를 다시 설치해야 하고 그러면 각 macrobenchmark의 애플리케이션 데이터가 삭제됩니다(I31c74, b/230665435).
• API 21/22에서 트레이스 기록 비정상 종료 문제를 해결했습니다(If7fd6, b/227509388, b/227510293, b/227512788).
• 활동 실행 완료 감지를 점검하여 시작 macrobenchmark에서 '측정항목을 읽을 수 없음' 예외 문제를 해결했습니다. (Ia517c)

버전 1.1.1

버전 1.1.1

2022년 11월 9일

androidx.benchmark:benchmark-*:1.1.1가 출시되었습니다. 버전 1.1.1에 포함된 커밋을 확인하세요.

버그 수정

• 일부 Android11(API 30) 이상 기기에서 발생하는 android.system.ErrnoException: open failed: EACCES를 수정했습니다. 이는 1.2.0-alpha01에서 선별된 수정사항입니다. (aosp/2072249)

버전 1.1.0

버전 1.1.0

2022년 6월 15일

androidx.benchmark:benchmark-*:1.1.0가 출시되었습니다. 버전 1.1.0에 포함된 커밋을 확인하세요.

• 이 버전은 androidx.benchmark:benchmark-*:1.1.0-rc03과 동일합니다.

1.0.0 이후 중요 변경사항

• 시작 및 스크롤과 같은 전체 앱 상호작용을 측정할 수 있는 Jetpack Macrobenchmark 지원을 통해 트레이스 캡처 기능과 트레이스 섹션 측정 기능을 제공합니다.

• 기준 프로필을 지원합니다.

  • CompilationMode.Partial: 기준 프로필의 효과를 측정합니다.
  • @BaselineProfileRule: 지정된 중요한 사용자 여정을 위한 기준 프로필을 자동으로 생성합니다.

• Microbenchmark 실행 시 할당 측정항목 및 프로파일링을 지원합니다.

버전 1.1.0-rc03

2022년 6월 1일

androidx.benchmark:benchmark-*:1.1.0-rc03가 출시되었습니다. 버전 1.1.0-rc03에 포함된 커밋을 확인하세요.

버그 수정

• 벤치마크를 반복할 때마다 타겟 패키지를 재설치하지 않아야 합니다. ( aosp/​​2093027, b/231976084)

• pressHome()에서 300ms 지연을 삭제합니다. (aosp/2086030, b/231322975)

• 내부적으로 사용되는 Shell 명령어를 최적화하여 Macrobenchmark 반복 속도를 개선합니다. (aosp/2086023, b/231323582)

• Macrobenchmark를 사용하여 기준 프로필을 생성할 때 관리 Gradle 기기를 지원합니다. (aosp/2062228, b/228926421)

버전 1.1.0-rc02

2022년 5월 11일

androidx.benchmark:benchmark-*:1.1.0-rc02가 출시되었습니다. 버전 1.1.0-rc02에 포함된 커밋을 확인하세요.

• 이 버전에는 동작 변경사항이 포함되어 있습니다. 이제 정확한 측정을 보장하기 위해 각 벤치마크 간에 앱이 완전히 재설치되기 때문입니다.

버그 수정/동작 변경사항

• 앱 컴파일이 매크로벤치마크 간에 올바르게 재설정되지 않고 루팅되지 않은 빌드에서 전혀 재설정되지 않는 문제를 수정했습니다. 이렇게 하면 여러 테스트를 실행할 때 CompilationMode가 측정에 거의 또는 전혀 영향을 미치지 않는 여러 사례가 수정됩니다. 이 문제를 해결하기 위해 이제 타겟 앱이 각 테스트 메서드를 완전히 재설치하여 각 매크로벤치마크 간의 애플리케이션 데이터를 지웁니다. (I31c74, b/230665435)

• 이렇게 하면 앱이 테스트 전에 상태를 설정할 수 없으므로 이제 이 문제를 해결하기 위해 컴파일/재설치를 건너뛸 수 있습니다. 예를 들어 셸 명령어 cmd package compile -f -m speed <package>를 사용하여 타겟을 완전히 컴파일하고 매크로벤치마크의 컴파일 단계를 우회할 수 있습니다.

  매크로벤치마크의 build.gradle에서 예를 들면 다음과 같습니다.

  android {
      defaultConfig {
          testInstrumentationRunnerArgument 'androidx.benchmark.compilation.enabled, 'false'
      }
  }
  

  또는 Gradle 명령줄에서 예를 들면 다음과 같습니다.

  ./gradlew macrobenchmark:cC -P android.testInstrumentationRunnerArguments.androidx.benchmark.compilation.enabled=false
  

• androidx.benchmark.enabledRules 계측 인수를 추가하여 매크로벤치마크 및 테스트를 생성하는 기준 프로필 간에 모듈을 공유할 수 있게 되었습니다. 'Macrobenchmark' 또는 'BaselineProfile'을 전달하여 한 가지 테스트 유형만 실행합니다(예: 에뮬레이터에서 BaselineProfiles를 생성할 때). (I756b7, b/230371561)

  매크로벤치마크의 build.gradle에서 예를 들면 다음과 같습니다.

  android {
      defaultConfig {
          testInstrumentationRunnerArgument 'androidx.benchmark.enabledRules', 'BaselineProfile'
      }
  }
  

  또는 Gradle 명령줄에서 예를 들면 다음과 같습니다.

  ./gradlew macrobenchmark:cC -P android.testInstrumentationRunnerArguments.androidx.benchmark.enabledRules=BaselineProfile
  

버전 1.1.0-rc01

2022년 4월 20일

androidx.benchmark:benchmark-*:1.1.0-rc01가 출시되었습니다. 버전 1.1.0-rc01에 포함된 커밋을 확인하세요.

버그 수정

• 이제 Android 스튜디오의 기준 프로필 출력 링크에 고유 파일 이름이 사용됩니다. 이렇게 하면 항상 BaselineProfileRule 사용의 최신 결과가 출력에 반영됩니다. (aosp/2057008, b/228203086)

버전 1.1.0-beta06

2022년 4월 6일

androidx.benchmark:benchmark-*:1.1.0-beta06가 출시되었습니다. 버전 1.1.0-beta06에 포함된 커밋을 확인하세요.

버그 수정

• API 21/22에서 트레이스 기록 비정상 종료 문제를 해결했습니다. (If7fd6, b/227509388)
• 활동 실행 완료 감지를 점검하여 시작 macrobenchmark에서 '측정항목을 읽을 수 없음' 예외 문제를 해결했습니다. (Ia517c)
• CompilationMode.None()이 사용되는 경우 Macrobenchmarks의 시작 측정항목을 수정합니다. 이 변경 전에는 CompilationMode.Partial()이 Compilation.None()보다 더 느린 것으로 보였습니다. (611ac9).

버전 1.1.0-beta05

2022년 3월 23일

androidx.benchmark:benchmark-*:1.1.0-beta05가 출시되었습니다. 버전 1.1.0-beta05에 포함된 커밋을 확인하세요.

버그 수정

• CompilationMode.None 사용 시 프로필 설치를 건너뛴 다음 패키지를 종료합니다. (aosp/1991373)
• StartupMode.COLD 사용 시 매크로 밴치마크에서 시작 측정항목을 수집할 수 없는 문제를 해결했습니다. (aosp/2012227 b/218668335)

버전 1.1.0-beta04

2022년 2월 23일

androidx.benchmark:benchmark-*:1.1.0-beta04가 출시되었습니다. 버전 1.1.0-beta04에 포함된 커밋을 확인하세요.

버그 수정

• Android 10에서 누락된 측정항목과 트레이스에서 올바르게 캡처되지 않은 프로세스 이름으로 발생한 NoSuchElementException 문제를 수정합니다. (Ib4c17, b/218668335)

• Q(API 29) 이상에서 열 제한 감지에 PowerManager를 사용합니다. 이렇게 하면 열 제한 감지의 거짓양성 빈도가 크게 줄어들고(90초 쿨다운 후 벤치마크 재시도) 사용자 빌드에서 벤치마크 속도가 크게 향상됩니다. 또한 시계가 잠겨 있는 경우에도(기기의 실제 환경에 비해 너무 높은 상태로 잠긴 경우) 제한 감지 기능을 제공합니다. (I9c027, b/217497678, b/131755853)

• simpleperf 샘플링된 프로파일링을 measureRepeated 스레드로만 필터링하여 검사를 간소화합니다. (Ic3e12, b/217501939)

• 다중 프로세스 앱에서 명명된 UI 하위 프로세스의 측정항목을 지원합니다. (Ice6c0, b/215988434)

• Android 9(SDK 28)를 타겟팅하도록 기준 프로필 규칙을 필터링합니다. aosp/1980331 b/216508418

• Compilation.None() 사용 시 프로필 설치를 건너뜁니다. 또한 앱에서 이전 버전의 androidx.profileinstaller 및 Android Gradle 플러그인을 사용하는 경우 경고를 보고합니다. aosp/1977029

버전 1.1.0-beta03

2022년 2월 9일

androidx.benchmark:benchmark-*:1.1.0-beta03가 출시되었습니다. 버전 1.1.0-beta03에 포함된 커밋을 확인하세요.

API 변경사항

• 오디오 언더런을 감지할 수 있도록 실험용 플래그 아래에 있는 macrobenchmark 라이브러리에 AudioUnderrunMetric을 추가했습니다. (Ib5972)

• BaselineProfileRule은 더 이상 setup 블록을 허용하지 않습니다. 이 블럭이 profileBlock과 동일하게 기능하기 때문입니다. (Ic7dfe, b/215536447)

  예:

  @Test
  fun collectBaselineProfile() {
      baselineRule.collectBaselineProfile(
          packageName = PACKAGE_NAME,
          setupBlock = {
              startActivityAndWait()
          },
          profileBlock = {
              // ...
          }
      )
  }
  

  @Test
  fun collectBaselineProfile() {
      baselineRule.collectBaselineProfile(
          packageName = PACKAGE_NAME,
          profileBlock = {
              startActivityAndWait()
              // ...
          }
      )
  }
  

버그 수정

• 스튜디오 출력에 연결되면 이후 실행에서 마이크로벤치 프로파일러 트레이스가 업데이트되지 않는 문제가 수정되었습니다. (I5ae4d, b/214917025)
• API 23에서 컴파일 셸 명령어를 방지합니다. (Ice380)
• FrameCpuTime -> FrameDurationCpu, FrameUiTime -> FrameDurationUi로 이름을 변경했습니다. 이들 항목이 타임스탬프가 아닌 지속 시간임을 명확히 하고 접두사와 일치시키기 위함입니다. (I0eba3, b/216337830)

버전 1.1.0-beta02

2022년 1월 26일

androidx.benchmark:benchmark-*:1.1.0-beta02가 출시되었습니다. 버전 1.1.0-beta02에 포함된 커밋을 확인하세요.

버그 수정

• 이제 Microbenchmark 스택 샘플링/메서드 추적 프로필 결과가 다른 프로파일링 출력과 유사하게 스튜디오 출력에서 연결되며 할당 측정항목을 차단하지 않습니다. (Idcb65, b/214440748, b/214253245)
• 이제 BaselineProfileRule이 생성된 BaselineProfile 텍스트 파일을 가져오려고 logcat 및 스튜디오 출력에 adb pull 명령어를 인쇄합니다. (f08811)

버전 1.1.0-beta01

2022년 1월 12일

androidx.benchmark:benchmark-*:1.1.0-beta01가 출시되었습니다. 버전 1.1.0-beta01에 포함된 커밋을 확인하세요.

버그 수정

• 그동안 무시되던 프로파일러 인수 사용을 수정합니다. (I37373, b/210619998)
• 지원 중단된 CompliationModes를 삭제했습니다. (I98186, b/213467659)
• 명확성을 위해 CompilationMode.Partial의 기준 프로필 인수를 enum으로 전환했습니다. (Id67ea)

버전 1.1.0-alpha13

2021년 12월 15일

androidx.benchmark:benchmark-*:1.1.0-alpha13가 출시되었습니다. 버전 1.1.0-alpha13에 포함된 커밋을 확인하세요.

API 변경사항

• Android Q(API 29 이상)의 마이크로벤치 출력에 오버헤드가 낮은 시스템 추적을 추가했습니다. 현재 이 도구는 결과에 영향을 주지 않기 위해 android.os.Trace 또는 androidx.tracing Jetpack API를 통해 맞춤 추적을 캡처하지 않습니다. 이 추적은 벤치마크 외의 소스에서 불안정성을 진단하는 데 특히 유용합니다. (I298be, b/205636583, b/145598917)
• CompilationModes를 세 가지 클래스(Full, None, Partial)로 명확하게 구분했습니다. 이전에는 각 이름이 컴파일 인수(현재는 구현 세부정보로 처리됨)와 기능의 이름을 따라 일관되지 않았습니다. 이 변화를 통해 절충점, 가능한 조합, 플랫폼 버전에서의 동작이 좀 더 명확하게 알 수 있습니다. (I3d7bf, b/207132597)
• 이제 설정과 측정이 항상 쌍으로 순서대로 표시됩니다. 그리고 이제 특정 준비 시나리오에서 반복이 null일 수 있더라도 패키지 이름과 반복을 쿼리할 수 있습니다. (Id3b68, b/208357448, b/208369635)

버그 수정

• CompilationMode.Speed가 None으로 잘못 처리되는 문제를 해결했습니다. (I01137)

버전 1.1.0-alpha12

2021년 11월 17일

androidx.benchmark:benchmark-*:1.1.0-alpha12가 출시되었습니다. 버전 1.1.0-alpha12에 포함된 커밋을 확인하세요.

새로운 기능

• 트레이스 기반의 타이밍을 맞춤 측정하기 위해 실험용 TraceSectionMetric을 추가했습니다. (I99db1, b/204572664)

버그 수정

• UI를 테스트할 수 있도록 반복할 때마다 기기의 절전 모드를 해제합니다. 잠금 화면이 사용 중지되어 있어야 합니다. (Ibfa28, b/180963442)
• 에뮬레이터와 루팅되지 않은 기기의 StackSampling 프로파일링 모드에서 발생하는 여러 비정상 종료 문제를 수정했습니다. (Icdbda, b/202719335)
• 각 반복의 끝에 있던 0.5초의 절전 모드를 삭제했습니다. 이 변경사항이 측정항목에서 누락되어 있다면 버그를 신고하세요. (Iff6aa)
• 데이터 삭제 가능성을 줄이고 트레이스에서 발생하는 메모리 오버헤드를 낮추었습니다. (Id2544, b/199324831, b/204448861)
• 컴팩트 sched 저장소 형식으로 전환하여 트레이스 크기를 최대 40% 줄이세요. (Id5fb6, b/199324831)
• 항상 RenderThread의 끝에서 종료되도록 시작 측정항목의 구현을 업데이트했습니다. 이는 플랫폼 버전 전반에서 더 일관성 있고 인앱 측정에 더 밀접하게 매핑됩니다. (Ic6b55)

버전 1.1.0-alpha11

2021년 11월 3일

androidx.benchmark:benchmark-*:1.1.0-alpha11가 출시되었습니다. 버전 1.1.0-alpha11에 포함된 커밋을 확인하세요.

API 변경사항

• 이제 Macrobenchmark의 minSdkVersion이 23입니다. (If2655)
• 앱의 중요한 사용자 여정을 위한 기준 프로필을 생성할 수 있는 새로운 실험용 BaselineProfileRule을 추가했습니다. 자세한 내용이 설명된 문서를 제공할 예정입니다. (Ibbefa, b/203692160)
• 자바 호출자를 위해 추가된 measureRepeated 인터페이스 변형을 삭제했습니다. 메서드를 완료/확인할 때 모호성을 유발하기 때문입니다. 자바 호출자는 다시 measureRepeated에서 Unit.Instance를 반환해야 합니다. 이렇게 하는 것이 불편하다면 버그를 신고해 주세요. 향후 버전에서 다시 논의할 수 있습니다. (Ifb23e, b/204331495)

버전 1.1.0-alpha10

2021년 10월 27일

androidx.benchmark:benchmark-*:1.1.0-alpha10가 출시되었습니다. 버전 1.1.0-alpha10에 포함된 커밋을 확인하세요.

API 변경사항

• StartupTimingMetric이 작동하도록 다시 API 23으로 백포팅합니다. 또한 이 새로운 구현은 reportFullyDrawn()을 더 잘 처리하여 상응하는 콘텐츠가 렌더링될 때까지 기다리도록 합니다. (If3ac9, b/183129298)
• 자바 호출자를 위한 여러 MacrobenchmarkScope 메서드에 JvmOverloads를 추가했습니다. (I644fe, b/184546459)
• 자바 언어에서 관용적 사용을 위해 Consumer<MacrobenchmarkScope>를 사용하는 대체 MacrobenchmarkRule.measureRepeated 함수를 제공합니다. (If74ab, b/184546459)

버그 수정

• 트레이스가 충분히 일찍 시작되지 않아 측정항목 데이터가 누락되는 문제를 수정했습니다. 이로 인해 라이브러리에서 자체적으로 발생하던 '벤치마크 중에 측정항목을 읽을 수 없음' 예외가 수정될 것으로 예상합니다. (I6dfcb, b/193827052, b/200302931)
• FrameNegativeSlack을 FrameOverrun으로 이름을 바꿔 의미를 명확히 했습니다. 이는 프레임이 시간 예산을 초과한 정도를 나타냅니다. (I6c2aa, b/203008701)

버전 1.1.0-alpha09

2021년 10월 13일

androidx.benchmark:benchmark-*:1.1.0-alpha09가 출시되었습니다. 버전 1.1.0-alpha09에 포함된 커밋을 확인하세요.

버그 수정

• API 31/S+에서 루트 없이 커널 페이지 캐시를 삭제할 수 있습니다. 이로써 StartupMode.COLD 실행의 정확성이 향상됩니다. (Iecfdb, b/200160030)

버전 1.1.0-alpha08

2021년 9월 29일

androidx.benchmark:benchmark-*:1.1.0-alpha08가 출시되었습니다. 버전 1.1.0-alpha08에 포함된 커밋을 확인하세요.

API 변경사항

• 스크롤 Macrobenchmark를 사용 설정하여 API 23으로 다시 실행합니다. (If39c2, b/183129298)
• 반복당 여러 샘플의 백분위수에 중점을 둔 새로운 유형의 샘플링된 측정항목을 UI 및 JSON 출력에 추가합니다. (I56247, b/199940612)
• Benchmark 라이브러리 전체에서 부동 소수점 측정항목으로 전환합니다(스튜디오 UI에서 잘림). (I69249, b/197008210)

버전 1.1.0-alpha07

2021년 9월 1일

androidx.benchmark:benchmark-*:1.1.0-alpha07가 출시되었습니다. 버전 1.1.0-alpha07에 포함된 커밋을 확인하세요.

API 변경사항

• 향후 지원될 가장 낮은 API 수준을 반영하기 위해 최소 API를 21로 높였습니다. 지원되는 현재 최소 API는 계속해서 RequiredApi()를 통해 전달되고 현재는 29입니다. (I440d6, b/183129298)

버그 수정

• 기준 프로필을 사용하는 앱이 CompilationMode.BaselineProfile로 MacroBenchmarks를 더 쉽게 실행하도록 ProfileInstaller를 수정했습니다. (I42657, b/196074999) 참고: androidx.profileinstaller:profileinstaller:1.1.0-alpha04 이상으로 업데이트도 해야 합니다.
• StartupMode.COLD + CompilationMode.None 벤치마크가 더 안정화되었습니다. (I770cd, b/196074999)

버전 1.1.0-alpha06

2021년 8월 18일

androidx.benchmark:benchmark-*:1.1.0-alpha06가 출시되었습니다. 버전 1.1.0-alpha06에 포함된 커밋을 확인하세요.

API 변경사항

• 로컬에서 테스트/프로파일링할 때 반복 횟수를 수동으로 재정의할 수 있도록 androidx.benchmark.iterations 계측 인수를 추가했습니다. (6188be, b/194137879)

버그 수정

• API 29 이상에서 Simpleperf를 기본 샘플링 프로파일러로 전환했습니다. (Ic4b34, b/158303822)

알려진 문제

• CompilationMode.BaselineProfile은 진행 중인 작업입니다. 프로필의 현재 상태를 확인하는 데 사용하지 마세요.

버전 1.1.0-alpha05

2021년 8월 4일

androidx.benchmark:benchmark-*:1.1.0-alpha05가 출시되었습니다. 버전 1.1.0-alpha05에 포함된 커밋을 확인하세요.

산발적인 비정상 종료로 인해 출시 전에 1.1.0-alpha04가 취소되었습니다. (b/193827052)

API 변경사항

• am start를 통해 실행을 호출하도록 startActivityAndWait를 전환했습니다. 이로 인해 각 측정 반복 시간이 5초 정도 단축되지만 그로 인해 더 이상 인텐트 parcelable이 지원되지 않습니다. (I5a6f5, b/192009149

버그 수정

• 열 제한 감지의 강도를 줄이고, 제한이 자주 감지되는 경우 기준을 다시 계산합니다. (I7327b)
• Android S 베타에서 작동하도록 FrameTimingMetric을 수정했습니다. (Ib60cc, b/193260119)
• CompilationMode.BaselineProfile 지원을 높이기 위해, EmptyActivity를 사용하여 타겟 앱을 강제 종료 상태에서 벗어나게 합니다. (Id7cac, b/192084204)
• 플랫폼 표준과 일치하도록 트레이스 파일 확장을 .perfetto-trace로 변경했습니다. (I4c236, b/174663039)
• 이제 StartupTimingMetric은 애플리케이션의 렌더링이 완료될 때까지 'fullyDrawnMs' 측정항목을 출력하여 시간을 측정합니다. 앱에 이 측정항목을 정의하려면 초기 목록 항목이 DB 또는 네트워크에서 로드될 때 등 초기 콘텐츠가 준비될 때 Activity.reportFullyDrawn을 호출합니다. reportFullyDrawn 메서드는 ComponentActivity에서 빌드 버전 확인 없이도 사용 가능합니다. 참고로, 측정항목을 캡처할 만큼 테스트를 충분히 오래 실행해야 합니다(startActivityAndWait는 reportFullyDrawn을 대기하지 않음). (If1141, b/179176560)
• 트레이스에 UI 메타데이터를 추가하는 데 소요되는 시간을 50ms 이상 줄였습니다. (Ic8390, b/193923003)
• 추적을 중지할 때의 폴링 빈도를 대폭 높였습니다. 이를 통해 시작 벤치마크 런타임 등을 30% 이상 줄일 수 있습니다. (Idfbc1, b/193723768)

버전 1.1.0-alpha03

2021년 6월 16일

androidx.benchmark:benchmark-*:1.1.0-alpha03가 출시되었습니다. 버전 1.1.0-alpha03에 포함된 커밋을 확인하세요.

새로운 기능

• Jetpack ProfileInstaller 라이브러리를 사용하여 설치된 프로필을 지원하는 새로운 CompilationMode.BaselineProfile을 추가했습니다. (aosp/1720930)

버그 수정

• 벤치마크 오류를 억제하는 샘플 Gradle 코드가 .gradle.kts 사용자도 지원하는 문법과 함께 지원 중단되지 않은 API를 사용하도록 업데이트되었습니다.

  예:

  testInstrumentationRunnerArguments["androidx.benchmark.suppressErrors"] = "EMULATOR,LOW-BATTERY"
  

버전 1.1.0-alpha02

2021년 5월 18일

Benchmark 버전 1.1.0-alpha02에는 벤치마킹을 위한 중요 구성요소인 MacroBenchmark가 포함되었습니다. CPU 루프를 측정할 수 있는 benchmark 외에도 macrobenchmark를 사용하여 시작 및 스크롤과 같은 전체 앱 상호작용을 측정하고 트레이스를 캡처할 수 있습니다. 자세한 내용은 라이브러리 문서를 참고하세요.

androidx.benchmark:benchmark-*:1.1.0-alpha02가 출시되었습니다. 버전 1.1.0-alpha02에 포함된 커밋을 확인하세요.

새로운 기능

Macrobenchmark 아티팩트(androidx.benchmark:benchmark-macro-junit4 및 androidx.benchmark:benchmark-macro)가 추가되었습니다.

• 로컬로 또는 CI에서 앱의 시작, 스크롤/애니메이션 성능 측정항목 캡처
• Android 스튜디오 내에서 트레이스 캡처 및 검사

버그 수정

• Android 12에서 출력 디렉터리의 셸 권한 문제 해결(참고 - 대상 기기에서 출력 파일을 계속 확보하려면 Android Gradle 플러그인을 7.0.0 카나리아로, Android 스튜디오를 Arctic Fox(2020.3.1)로 업데이트해야 할 수 있음) (Icb039)
• BenchmarkPlugin에서 구성 캐싱이 지원됩니다. (6be1c1, b/159804788)
• 간소화된 파일 출력 - requestLegacyExternalStorage=true가 필요 없는 디렉터리에서 기본적으로 사용됩니다. (8b5a4d, b/172376362)
• JIT 스레드가 존재하지 않는 플랫폼 버전에서 JIT 스레드를 찾지 못하는 것과 관련해 logcat 경고를 출력하는 라이브러리 문제가 해결되었습니다. (I9cc63, b/161847393)
• 기기의 최대 실행 빈도 읽기 문제가 해결되었습니다. (I55c7a)

버전 1.1.0-alpha01

2020년 6월 10일

androidx.benchmark:benchmark-common:1.1.0-alpha01, androidx.benchmark:benchmark-gradle-plugin:1.1.0-alpha01, androidx.benchmark:benchmark-junit4:1.1.0-alpha01이 출시되었습니다. 버전 1.1.0-alpha01에 포함된 커밋을 확인하세요.

1.1의 새로운 기능

• 할당 측정항목 - 이제 벤치마크는 준비 및 시기 선택 후 추가 단계를 실행하여 할당 수를 캡처합니다. 할당은 이전 버전의 플랫폼에서 성능 문제를 일으킬 수 있습니다(O에서 140ns가 M에서는 8ns가 됨, 시계가 잠긴 Nexus 5X에서 측정함). 이 측정항목은 Android 스튜디오 콘솔 출력에 표시됩니다.
• 프로파일링 지원 - 이제 벤치마크 실행을 위한 프로파일링 데이터를 캡처하여 코드가 느리게 실행되는 이유를 검사할 수 있습니다. Benchmark는 메서드 트레이스 또는 ART의 메서드 샘플링 캡처를 지원합니다. 이러한 파일은 File > Open을 사용하여 Android 스튜디오에서 Profiler로 검사할 수 있습니다.
• 이제 벤치마크 Gradle 플러그인이 기본값을 제공하여 설정이 더 간단합니다.
  • 코드 적용 범위가 내장된 종속 항목의 사용을 방지하기 위해 testBuildType이 기본적으로 출시되도록 설정됩니다. 출시 buildType은 기본 buildType으로도 구성됩니다. 따라서 프로젝트를 처음 열 때 Android 스튜디오에서 올바른 빌드 변형을 자동으로 선택할 수 있습니다. (b/138808399)
  • signingConfig.debug는 기본 서명 구성으로 사용됩니다. (b/153583269)

** 버그 수정 **

• 각 벤치마크의 첫 번째 측정값이 인위적으로 다른 측정값보다 높은 준비 전환 오버헤드를 크게 줄였습니다. 이 문제는 매우 작은 벤치마크(1마이크로초 이하)에서 더 두드러졌습니다. (b/142058671)
• 명령줄에서 실행할 때 각 벤치마크에 출력된 InstrumentationResultParser 오류가 수정되었습니다. (I64988, b/154248456)

알려진 문제

• Benchmark의 명령줄, Gradle 호출은 결과를 직접 출력하지 않습니다. 스튜디오를 통해 실행하거나 결과를 위해 JSON 출력 파일을 파싱하여 이 문제를 해결할 수 있습니다.
• Benchmark 보고서는 'android' 또는 'download'로 끝나는 applicationId(대소문자를 구분하지 않음)로 설치된 앱이 있는 기기에서 보고서를 가져오지 못합니다. 이 문제가 발생하면 사용자는 Android Gradle 플러그인을 4.2-alpha01 이상으로 업그레이드해야 합니다.

버전 1.0.0

Benchmark 버전 1.0.0

2019년 11월 20일

androidx.benchmark:benchmark-common:1.0.0, androidx.benchmark:benchmark-gradle-plugin:1.0.0 및 androidx.benchmark:benchmark-junit4:1.0.0이 1.0.0-rc01에서 변경사항 없이 출시되었습니다. 버전 1.0.0에 포함된 커밋을 확인하세요.

1.0.0의 주요 기능

Benchmark 라이브러리를 사용하면 앱 코드의 성능 벤치마크를 작성하고 결과를 빠르게 얻을 수 있습니다.

빌드 및 런타임 구성 문제를 방지하고 기기 성능을 안정화하여 정확하고 일관된 측정을 보장합니다. Android 스튜디오에서 직접 또는 CI에서 벤치마크를 실행하여 시간 경과에 따른 코드 성능을 관찰하고 회귀 문제를 방지하세요.

주요 기능은 다음과 같습니다.

• 클록 안정화
• 자동 스레드 우선순위 지정
• RecyclerView 샘플에서와 같은 UI 성능 테스트 지원
• JIT 인식 준비 및 반복
• 후처리를 위한 JSON 벤치마크 출력

버전 1.0.0-rc01

2019년 10월 23일

androidx.benchmark:benchmark-common:1.0.0-rc01, androidx.benchmark:benchmark-gradle-plugin:1.0.0-rc01, androidx.benchmark:benchmark-junit4:1.0.0-rc01이 출시되었습니다. 버전 1.0.0-rc01에 포함된 커밋을 확인하세요.

새로운 기능

• 벤치마크에 systrace 추적이 추가되었습니다.

버그 수정

• 우선순위 해제로 인해 준비 작업을 하기 전에 JIT가 종료되지 않는 측정항목 불안정성 문제가 수정되었습니다. (b/140773023)
• Android Gradle 플러그인 3.5 및 3.6 전반에 걸쳐 JSON 출력 디렉터리가 통합되었습니다.

버전 1.0.0-beta01

2019년 10월 9일

androidx.benchmark:benchmark-common:1.0.0-beta01, androidx.benchmark:benchmark-gradle-plugin:1.0.0-beta01, androidx.benchmark:benchmark-junit4:1.0.0-beta01이 출시되었습니다. 버전 1.0.0-beta01에 포함된 커밋을 확인하세요.

새로운 기능

• 각 준비 작업 전에 가비지 컬렉션을 실행하여 한 벤치마크에서 다음 벤치마크로 누출되는 메모리 압력을 줄입니다. (b/140895105)

버그 수정

• androidx.annotation:android-experimental-lint 종속 항목이 추가되었습니다. 이에 따라 Kotlin 실험용 주석에서 Kotlin 호출자에 제공하는 것과 유사한 실험용 API가 사용되지 않을 때 자바 코드가 린트 오류를 적절하게 생성합니다.
• 이제 Android Gradle 플러그인 3.6에서 출력의 additionalTestOutputDir 계측 인수 사용을 정확하게 감지하여 AGP가 데이터 복사를 언제 처리하는지 알 수 있습니다.
• JSON에서 감지되지 않은 클록 주파수를 수정하여 -1을 정확하게 인쇄합니다. (b/141945670)

버전 1.0.0-alpha06

2019년 9월 18일

androidx.benchmark:benchmark-common:1.0.0-alpha06, androidx.benchmark:benchmark-gradle-plugin:1.0.0-alpha06, androidx.benchmark:benchmark-junit4:1.0.0-alpha06이 출시되었습니다. 버전 1.0.0-alpha06에 포함된 커밋을 확인하세요.

새로운 기능

• 테스트 실행기에 이전 패키지를 잘못 사용했는지 확인하는 기능이 추가되어 이제 더욱 유용한 오류 메시지를 제공합니다.

API 변경사항

• 이제 실험용 주석 ExperimentalAnnotationReport가 적절하게 공개됩니다. 실험용 BenchmarkState#report API를 사용하려면 이제 이 주석이 필요합니다.

버전 1.0.0-alpha05

2019년 9월 5일

androidx.benchmark:benchmark-common:1.0.0-alpha05, androidx.benchmark:benchmark-gradle-plugin:1.0.0-alpha05, androidx.benchmark:benchmark-junit4:1.0.0-alpha05이 출시되었습니다. 이 버전에 포함된 커밋은 여기에서 확인할 수 있습니다.

API 변경사항

• 이제 BenchmarkState.reportData API가 실험용으로 표시됩니다.

버그 수정

• cut 또는 expr 셸 유틸리티가 누락된 기기에서 장애가 발생하는 클록 잠금 스크립트가 수정되었습니다.
• -c 플래그를 지원하지 않는 이전 버전의 su 유틸리티로 루팅된 기기에서 ./gradlew lockClocks 작업이 중단되는 문제가 수정되었습니다.

버전 1.0.0-alpha04

2019년 8월 7일

androidx.benchmark:benchmark-common:1.0.0-alpha04, androidx.benchmark:benchmark-gradle-plugin:1.0.0-alpha04 및 androidx.benchmark:benchmark-junit4:1.0.0-alpha04가 출시되었습니다. 이 버전에 포함된 커밋은 여기에서 확인할 수 있습니다.

다른 빌드 시스템 (예: Bazel 또는 Buck)에서 사용하거나 CI에서 실행할 때 Gradle 없이 벤치마크 라이브러리를 사용하는 방법에 관한 새로운 문서도 추가되었습니다. 자세한 내용은 Gradle 없이 벤치마크 빌드 및 지속적 통합에서 벤치마크 실행을 참고하세요.

새로운 기능

• Gradle 플러그인
  • 이제 자동으로 테스트 적용 범위를 사용 중지하고 기본적으로 AndroidBenchmarkRunner를 설정합니다. (b/138374050)
  • 벤치마크를 실행할 때와 AGP 3.6 이상을 사용할 때 새로운 AGP 기반 데이터 복사 지원을 추가합니다.
• JSON 형식 추가
  • 총 벤치마크 테스트 실행 시간을 출력합니다(b/133147694).
  • 이름 문자열(예: @Parameters(name = "size={0},depth={1}"))을 사용하는 @Parameterized 벤치마크가 이제 JSON 출력에서 벤치마크당 매개변수 이름 및 값을 출력합니다. (b/132578772)
• Dry Run 모드 (b/138785848)
  • 각 벤치마크 루프를 한 번만 실행하는 'dry run' 모드를 추가하여 측정을 캡처하지 않고 오류/비정상 종료를 확인합니다. 예를 들어 사전 제출에서 벤치마크를 빠르게 실행하여 벤치마크가 깨지지 않았는지 확인하는 데 유용할 수 있습니다.

API 변경사항

• 모듈 구조가 변경되어 라이브러리가 분할됩니다. (b/138451391)
  • benchmark:benchmark-junit4에는 JUnit 종속 항목이 있는 클래스인 AndroidBenchmarkRunner 및 BenchmarkRule이 포함되며 두 클래스 모두 androidx.benchmark.junit4 패키지로 이동했습니다.
  • benchmark:benchmark-common에는 BenchmarkState API를 비롯한 나머지 로직이 포함되어 있습니다.
  • 이 분할을 통해 앞으로 라이브러리는 JUnit4 API 없이 벤치마킹을 지원할 수 있습니다.
• 이제 구성 경고를 오류로 처리하며 테스트를 비정상 종료합니다. (b/137653596)
  • 특히 CI에서 정확한 측정을 더욱 촉진하기 위해서입니다.
  • 이러한 오류는 계측 인수를 사용하여 경고로 다시 낮출 수 있습니다. 예를 들면 다음과 같습니다. -e androidx.benchmark.suppressErrors "DEBUGGABLE,LOW_BATTERY"

버그 수정

• Q 기기에서 외부 저장소에 작성할 때 발생하는 오류는 문제 해결 방법을 제안하는 더 설명적인 메시지를 제공합니다.
• 화면이 꺼질 때 실패하지 않고 벤치마크 실행 중에 화면이 자동으로 켜집니다.

외부 기여

• JSON 출력 개선과 화면 꺼짐 문제 해결에 기여해 주신 세르게이 자카로프님에게 감사드립니다.

버전 1.0.0-alpha03

2019년 7월 2일

androidx.benchmark:benchmark:1.0.0-alpha03 및 androidx.benchmark:benchmark-gradle-plugin:1.0.0-alpha03가 출시되었습니다. 이 버전에 포함된 커밋은 여기에서 확인할 수 있습니다.

새로운 기능

• 전체 JSON 보고서에서 벤치마크당 열 제한으로 인한 절전 모드 지속 시간을 노출합니다.

버그 수정

• Android 플러그인 및 Android 블록 이후 Gradle 플러그인을 더 이상 적용하지 않아야 합니다.
• 범위 지정 저장소를 사용하여 Android 10 기기에서 벤치마크 보고서 지원을 추가합니다.

버전 1.0.0-alpha02

2019년 6월 6일

androidx.benchmark:1.0.0-alpha02 및 androidx.benchmark:benchmark-gradle-plugin:1.0.0-alpha02가 출시되었습니다. 이 버전에 포함된 커밋은 여기에서 확인할 수 있습니다.

JSON 스키마를 API로 취급하고 있습니다. Google은 다른 API와 동일한 안정성 제약 조건을 따를 계획입니다. 베타 버전에서는 안정적 (매우 드문 예외를 제외)하고 최종 출시에서는 수정되었으며, 마이너 출시에서는 변경/삭제만 이루어진 것입니다.

API 변경사항

• JSON 스키마를 정비했습니다. JSON 스키마 추가 변경사항은 추가사항으로 제한될 수 있습니다.

  • 결과 객체 구조가 다시 구성되어 앞으로 추가 측정항목 그룹을 지원합니다. (b/132713021)
  • 테스트 실행 컨텍스트 정보(예: 기기 및 빌드 정보)와 클록 잠김 여부를 최상위 객체에 추가했습니다. (b/132711920)
  • 이제 시간 측정항목 이름에 ‘ns’가 있습니다. (b/132714527)
  • 보고된 측정항목(최댓값, 중앙값, 최솟값)별로 추가 통계를 추가하고 단순화된 'nanos' 요약 통계를 삭제했습니다. (b/132713851)

• XML 출력을 삭제했습니다. (b/132714414)

• 열 제한 감지를 BenchmarkState.reportData API에서 삭제했습니다. (b/132887006)

버그 수정

• 일부 최신 OS 기기에서 ./gradlew lockClocks가 고정되지 않는 문제를 수정했습니다. (b/133424037)
• 에뮬레이터의 제한 감지를 사용 중지했습니다. (b/132880807)

버전 1.0.0-alpha01

2019년 5월 7일

androidx.benchmark:benchmark:1.0.0-alpha01가 출시되었습니다. 이 버전에 포함된 커밋은 여기에서 확인할 수 있습니다.