本核对清单定义了一组核心质量标准及相关的测试,可帮助您评估应用的质量。其中的某些标准可能很容易被忽视,而相关测试可以帮助您记得将它们纳入测试计划。
该核对清单着重说明了所有应用都应达到的最低质量标准。您的测试可能涉及面更广,远不止于此处介绍的测试内容。
质量核对清单中的每项标准都有唯一 ID。当您与团队沟通时,也许就会发现这个 ID 非常实用。
视觉体验
应用应在适当的地方提供标准的 Android 视觉设计和互动模式,以实现始终如一的直观用户体验。
领域 | ID | 测试 | 说明 |
---|---|---|---|
导航 | VX-N1 | CR-3 | 应用支持标准返回按钮导航,不会在屏幕上使用任何自定义的“返回按钮”提示。 |
VX-N2 | CR-3 | 应用支持用于返回/转到主屏幕的手势导航。 | |
VX-N3 | CR-1 CR-3 CR-5 |
应用能够正确保留和恢复用户状态或应用状态。 应用在离开前台时能够保留用户状态或应用状态,并可防止因返回导航和其他状态更改而意外丢失数据。 返回前台时,应用应恢复保留的状态和待处理的任何重要的有状态事务。例如:对可编辑字段的更改、游戏进度、菜单、视频以及应用或游戏的其他部分。
|
|
通知 | VX-S1 | CR-9 | 通知须遵循 Material Design 指南。具体而言: |
VX-S2 | CR-9 | 对于消息功能/社交应用和对话:
|
|
界面和图形 | VX-U1 | CR-5 | 应用同时支持横屏和竖屏方向(如果可能)。
在两种屏幕方向下,所展现的功能特性和操作大致相同。可接受对内容或视图做出的细微更改。 |
VX-U2 | CR-5 | 在两种屏幕方向下,应用都占用整个屏幕,不会因为屏幕方向更改而出现黑边。
可接受为补偿屏幕几何图形的细微差异而出现少许黑边。 |
|
VX-U3 | CR-5 | 应用能正确处理屏幕方向之间的快速转换,而不会出现呈现问题或丢失状态。 | |
画质 | VX-V1 | CR 全部 | 应用显示的图形、文字、图像和其他界面元素没有明显的失真、模糊或像素化现象。
|
VX-V2 | CR 全部 | 应用能为应用支持的每种语言以可接受的方式显示文本和文本块。
|
|
VX-V3 | CR 全部 | 应用的内容以及应用引用的所有网络内容都支持深色主题。 |
功能
应用应实现预期的功能行为。
领域 | ID | 测试 | 说明 |
---|---|---|---|
音频 | FN-A1 | CR-1 CR-8 |
音频会在应用返回前台时恢复,或者提示用户播放已处于暂停状态。 |
FN-A2 | CR-1 CR-2 CR-8 |
如果音频播放是核心功能,应用应支持后台播放。 | |
FN-A3 | CR-0 | 当用户发起音频播放时,应用应在一秒钟内执行以下某项操作:
|
|
FN-A4 | CR-0 | 应用应在音频开始播放时请求音频焦点,并在播放停止时放弃音频焦点。 | |
FN-A5 | CR-0 | 应用应处理其他应用对音频焦点的请求。例如,在其他应用播放语音时,应用可能会降低播放音量。 | |
媒体 | FN-M1 | CR-0 CR-6 CR-8 |
如果应用在后台播放音频,必须创建通过 MediaStyle 来设置样式的通知。 |
FN-M2 | CR-0 | 如果应用播放视频,则应支持进行画中画播放。 | |
FN-M3 | CR-0 | 如果应用会对视频进行编码,则应使用 HEVC 视频压缩标准执行此操作。 | |
共享 | FN-S1 | CR-0 | 如果共享内容,应用应使用 Android Sharesheet。该功能可以推荐自定义解决方案不可用的目标。 |
后台服务 | FN-B1 | CR-6 | 应用应尽可能避免运行后台服务。为了确保用户设备能够平稳运行,系统会对后台服务应用各种限制。以下用例都不算是后台服务的正面教材:
不妨了解如何为工作选择合适的解决方案。 |
FN-B2 | CR-10 | 应用能正确支持 Android 6.0 中引入的电源管理功能(低电耗模式和应用待机模式)。如果核心功能被电源管理功能中断,则只有符合条件的应用才能请求豁免。请参阅低电耗模式和应用待机模式下对其他用例的支持。 |
性能和稳定性
应用应提供用户期望的性能、稳定性、兼容性和响应速度。
领域 | ID | 测试 | 说明 |
---|---|---|---|
稳定性 | PS-S1 | CR 全部 SD-1 |
应用不会崩溃,也不会因阻塞界面线程而导致出现 ANR(Android 无响应)错误。请利用 Google Play 的发布前测试报告发现潜在的稳定性问题。部署后,请留意 Google Play 管理中心的 Android Vitals 页面。 |
性能 | PS-P1 | CR 全部 SD-1 |
应用能迅速加载,如果加载时间超过 2 秒,则在屏幕上向用户提供反馈(进度指示器或类似提示)。 |
PS-P2 | CR 全部 SD-1 |
应用应每 16 毫秒渲染一帧,以实现每秒 60 帧。开发者可以在测试中使用 Profile HWUI rendering 选项。可使用相应工具来帮助诊断渲染速度缓慢问题(如果有)。 | |
PS-P3 | PM-1 | 启用 StrictMode 之后(详见下文的 StrictMode 测试),在测试应用期间,指示灯不会呈红色闪烁(StrictMode 的性能警告)。红色闪用于指示存储空间、网络访问或内存泄漏方面的不良行为。 | |
SDK | PS-T1 | CR-0 | 应用在最新的公开版 Android 平台上运行,而不会崩溃或严重影响核心功能。 |
PS-T2 | SP-1 | 应用通过设置 targetSdk 值来以最新的 Android SDK 为目标平台。 |
|
PS-T3 | SP-1 | 应用通过设置 compileSdk 值来使用最新 SDK 进行构建。 |
|
PS-T4 | SP-2 SP-3 |
使用的所有第三方 SDK 均为最新版本。对这些 SDK 所做的任何改进(例如稳定性、兼容性或安全性)都应及时向用户提供。 开发者对整个应用的代码库(包括使用的所有第三方 SDK)负责。 |
|
PS-T5 | CR-0 | 应用不会使用非 SDK 接口。 | |
电池 | PS-B1 | BA-1 | 应用能正确支持 Android 6.0 中引入的电源管理功能(低电耗模式和应用待机模式)。如果核心功能被电源管理功能中断,则只有符合条件的应用才能请求豁免。在开发过程中,开发者可以使用这些 adb 命令测试应用待机和低电耗模式行为。
对于电池用量,开发者可以使用 Android Studio 能耗性能分析器或 Battery Historian 工具,然后结合计划的后台工作,来诊断非预期的电池使用情况。 |
隐私与安全
应用应以适当的权限级别安全地处理用户数据和个人信息。
除了本核对清单以外,在 Google Play 商店中发布的应用还必须遵循用户数据政策以保护用户的隐私。
领域 | ID | 测试 | 说明 |
---|---|---|---|
权限 | SC-P1 | SC-4 | 应用仅请求支持其当前用例所需的绝对最低数量的权限。对于某些权限(如位置信息),如果可能,请使用粗略位置信息代替精确位置信息。 |
SC-P2 |
如果是与应用的核心用例直接相关,应用应仅请求访问敏感数据(例如短信、通话记录或位置信息)或者付费服务(例如拨号器或短信)的权限。应以醒目的方式向用户披露使用这些权限所产生的影响。 根据您使用权限的方式,您可以通过替代方式实现应用的用例,而无需依赖于访问敏感信息。例如,与请求与用户联系人相关的权限相比,使用隐式 intent 来请求访问权限可能会更合适一些。 |
||
SC-P3 | CR-0 | 应用应在提出功能使用请求时视情况请求运行时权限,而不是在应用启动期间提前请求权限。 | |
SC-P4 | CR-0 | 应用应设计其用户体验,以明确说明需要特定权限的原因。如果无法做到这一点,应用应按照推荐流程来说明应用中的功能为何需要获取权限。 当用户拒绝或撤消某项权限时,应用应优雅降级,不应完全阻止用户访问该应用。 |
|
数据和文件 | SC-DF1 | SC-1 | 所有敏感数据都存储于应用的内部存储空间中。 |
SC-DF2 | SC-10 | 未将个人或敏感用户数据记录到系统日志或应用特有的日志中。 | |
SC-DF3 | 应用不应出于识别身份的目的而使用任何不可重置的硬件 ID(例如 IMEI)。 | ||
身份信息 | SC-ID1 | CR-0 | 提供提示以自动填充账号凭据和其他敏感信息(例如:信用卡信息、实际地址和电话号码)。 |
SC-ID2 | CR-0 | 通过集成 Android 版一键快捷功能来提供无缝的登录体验。 | |
SC-ID3 | CR-0 | 通过集成生物识别身份验证功能来保护财务交易或敏感信息(例如重要的用户文档)。 | |
应用组件 | SC-AC1 | SC-5 | 仅导出与其他应用共享数据的应用组件,或应由其他应用调用的组件。
这包括 activity、service、广播接收器,尤其是 content provider。
始终显式设置 |
SC-AC2 | CR-0 SC-4 |
所有 intent 和广播遵循以下最佳做法:
|
|
SC-AC3 | SC-3 | 在应用之间共享内容的所有 Content Provider 均为自定义权限使用 android:protectionLevel="signature" 。这包括 activity、service、广播接收器,尤其是 Content Provider。
大多数应用不应依赖于访问已安装软件包的列表。从 Android 11 开始,访问权限已受到限制。
|
|
网络 | SC-N1 | SC-9 | 所有网络流量均通过 SSL 发送。 |
SC-N2 | SC-6 | 应用会声明网络安全配置。 | |
SC-N3 | 如果应用使用 Google Play 服务,则安全提供程序在应用启动时进行初始化。 | ||
库 | SC-U1 | SP-2 | 所有库、SDK 和依赖项都是最新的。 |
SC-U2 | 正式版应用中不包含任何调试库。这可能会导致性能和安全问题。 | ||
WebView | SC-W1 | SC-6 | 不使用 setAllowUniversalAccessFromFileURLs() 访问本地内容,而是改为使用 WebViewAssetLoader。 |
SC-W2 | SC-7 | WebView 不应搭配使用 addJavaScriptInterface() 与不受信任的内容。
在 Android 6.0 及更高版本上,请改用 HTML 消息通道。 |
|
执行 | SC-E1 | 应用不会从应用 APK 外部动态加载代码。开发者应使用 Android App Bundle,其中包括 Play Feature Delivery 和 Play Asset Delivery。
从 2021 年 8 月开始,在 Google Play 商店中发布的所有新应用都必须使用 Android App Bundle。 |
|
加密 | SC-C1 | 应用能使用平台提供的强大加密算法和随机数生成器。此外,应用不会实现自定义算法。 |
Google Play
请确保应用可在 Google Play 上发布。
领域 | ID | 测试 | 说明 |
---|---|---|---|
政策 | GP-P1 | GP 全部 | 应用会严格遵守 Google Play 开发者内容政策的条款,并且不会提供不当内容,也不会使用其他方的知识产权或品牌等。 |
GP-P2 | GP-1 | 根据内容分级指南恰当设置应用的心智成熟度。 | |
应用详情页面 | GP-D1 | GP-1 GP-2 |
应用的置顶大图遵循这篇博文中介绍的准则。请确保:
|
GP-D2 | GP-1 | 应用的屏幕截图和视频不会显示或提及非 Android 设备。 | |
GP-D3 | GP-1 | 应用的屏幕截图或视频未以误导性方式展示应用的内容和体验。 | |
用户支持 | GP-X1 | GP-1 | 对于 Google Play 页面的“评价”标签页中常见的用户报告的错误,如果错误可重现而且在多种不同的设备上发生,则应予以解决。如果错误只在少数设备上出现,但是这些设备十分受欢迎或者是新设备,您还是应该予以解决。 |
设置测试环境
若要根据本核对清单设置测试环境,我们的建议如下:
- 关注模拟器测试 - Android 模拟器是一种可在不同 Android 版本和屏幕分辨率下测试应用的绝佳方式。您应该设置模拟设备 (AVD),以代表目标用户群最常用的设备类型和硬件/软件组合。
- 硬件设备 - 您的测试环境应包括少量实际硬件设备,并且这些设备能够代表目前消费者可用的主要设备类型和硬件/软件组合。您不需要测试市场上的每种设备,只需关注少量代表性的设备,甚至仅针对每种设备类型选用一两个设备即可。
- 设备测试实验室 - 您也可以使用第三方服务(例如 Firebase Test Lab)在更多类型的设备上测试应用。
- 使用最新的 Android 版本进行测试 - 除了针对目标用户群测试具有代表性的 Android 版本外,您还应始终针对最新版 Android(当前为 Android 11)进行测试。这样可以确保最新的行为变更不会对用户体验产生负面影响。
如需更全面的测试指导(包括单元测试、集成测试和界面测试),请参阅 Android 测试基础知识。
测试流程
这些测试流程有助于您发现应用中的各类质量问题。您可以在自己的测试计划中组合各项测试或综合运用各组测试。请参阅上述各个部分,了解将标准与这些测试流程相关联的参考资料。
类型 | 测试 | 说明 |
---|---|---|
核心套件 | CR-0 | 导航到应用的所有部分 - 所有屏幕、对话框、设置和所有用户流程。
|
CR-1 | 在每个应用屏幕上,按下设备的“主屏幕”键或使用手势导航中的向上滑动,然后从“所有应用”屏幕重新启动应用。 | |
CR-2 | 从每个应用屏幕,使用“最近使用的应用”切换器切换到其他正在运行的应用,然后返回正在测试的应用。 | |
CR-3 | 从每个应用屏幕(和对话框),按下“返回”按钮或使用用于返回的滑动手势。 | |
CR-5 | 从每个应用屏幕,旋转设备,在横屏和竖屏方向之间切换至少三次。 | |
CR-6 | 切换到其他应用,以将测试应用转至后台。转到“设置”,检查测试应用在后台时是否有服务在运行。在 Android 4.0 及更高版本中,转到“应用”屏幕并找到“正在运行”标签页中的应用。 | |
CR-7 | 按下电源按钮,让设备进入休眠状态,然后再次按下电源按钮唤醒屏幕。 | |
CR-8 | 在设备上设置屏幕锁定。按下电源按钮让设备进入休眠状态(锁定设备);接着,再次按下电源按钮唤醒屏幕,然后解锁设备。 | |
CR-9 | 在通知抽屉式导航栏中触发并查看应用能够显示的所有通知类型。如果适用(Android 4.1 及更高版本)展开通知并点按提供的所有操作。 | |
CR-10 | 查看低电耗模式和应用待机模式下对其他用例的支持。 | |
安装在 SD 卡上 | SD-1 | 对安装到设备的 SD 卡的应用(如果应用支持此安装方法)重复核心套件测试。
如需将应用移动到 SD 卡,您可以使用“设置”>“应用信息”>“移至 SD 卡”。 |
性能和稳定性 | SP-1 | 查看 Android 清单文件和构建配置,以确保针对可用的最新版 SDK(targetSdk 和 compileSdk )构建应用。
|
SP-2 | 查看 build.gradle 文件中是否存在任何过时的依赖项。 |
|
SP-3 | 使用 Android Studio lint 工具检测非 SDK 接口使用情况。也可以使用其他替代测试方法。 | |
性能监控 | PM-1 | 在启用 StrictMode 性能分析功能的情况下重复核心套件测试。
密切关注垃圾回收及其对用户体验的影响。 |
电池 | BA-1 | 在各低电耗模式和应用待机模式周期内重复执行核心套件测试。
密切注意闹铃、定时器、通知、同步等等。如需了解相关要求和准则,请参阅在低电耗模式和应用待机模式下进行测试。 |
安全性 | SC-1 | 查看外部存储空间中存储的所有数据。 |
SC-2 | 查看如何处理从外部存储空间加载的数据。 | |
SC-3 | 查看 Android 清单文件中定义的所有 Content Provider。确保每个提供程序都设置了适当的 protectionLevel 。
|
|
SC-4 | 查看应用在设备上使用清单文件、运行时以及使用应用设置屏幕(“设置”>“应用信息”)需要的所有权限。 | |
SC-5 | 查看 Android 清单文件中为相应导出状态定义的所有应用组件。必须为所有组件显式设置导出的属性。 | |
SC-6 | 查看应用的网络安全配置,确保配置失败时不执行 lint 检查。 | |
SC-7 | 对于每个 WebView,导航到需要使用 JavaScript 的页面。 | |
SC-8 | 在每个 WebView 中,尝试导航至应用未直接加载的网站和内容。 | |
SC-9 | 声明停用明文流量的网络安全配置,然后测试应用。 | |
SC-10 | 运行应用并执行所有核心功能,同时观察设备日志。不记录任何用户私有信息。 | |
Google Play | GP-1 | 登录到 Google Play 管理中心以查看您的开发者资料、应用说明、屏幕截图、置顶大图、内容分级和用户反馈。 |
GP-2 | 下载置顶大图和屏幕截图,将其缩小以匹配设备上的显示屏尺寸以及您适配的设备类型。 | |
GP-3 | 查看所有图形化资源、媒体、文本、代码库,以及应用中打包的其他内容或下载的扩展文件。 |
使用 StrictMode 进行测试
对于性能测试,建议在应用中启用 StrictMode
,并用来捕获可能影响性能、网络访问、文件读/写等的操作。在主线程和其他线程上查找可能存在问题的操作。
您可以使用 StrictMode.ThreadPolicy.Builder
设置每个线程的监控政策,并使用 detectAll()
在 ThreadPolicy
中启用所有受支持的监控。
请务必使用 penaltyFlashScreen()
为 ThreadPolicy
启用有关违反政策问题的可视通知。