androidcts测试

1. Android 10（Q）GMS（cts/vts/gts）认证总结

本文主要介绍android10的GMS认证相关的内容，包括新特性、新要求、特殊问题以及失败项等。

https://support.google.com/androidpartners_gms/answer/9358977?hl=en&ref_topic=9353615
主要有以下模块：
GoogleDocumentsUIPrebuilt \ GoogleExtServicesPrebuilt \ MoleMetadataGooglePrebuilt \ \ \

1、刷user版本并开机
2、打开Settings -> System -> Developer options -> OEM unlocking
3、连接电脑，执行adb reboot bootloader；或者长按<volume up key>和<power key>进入fastboot模式
4、执行命令：fastboot flashing unlock ，出现选择界面后，按<volumn up key>
5、执行命令：fastboot reboot fastboot，请不要做任何操作，在进行下一步之前
6、执行命令：fastboot flash system system.img (使用google签名的 system.img)
7、执行命令：fastboot reboot bootloader
8、执行命令：fastboot flashing lock
9、执行命令：fastboot reboot
备注： 如果是A/B load special，使用fastboot flash system_a system.img / fastboot flash system_b system.img 替换步骤6

1、刷user版本并开机
2、打开Settings -> System -> Developer options -> OEM unlocking
3、连接电脑，执行adb reboot bootloader；或者长按<volume up key>和<power key>进入fastboot模式
4、执行命令：fastboot flashing unlock ，出现选择界面后，按<volumn up key>
5、执行命令：fastboot flash boot boot-debug.img，boot-debug.img来out目录
6、执行命令：fastboot reboot fastboot，请不要做任何操作，在进行下一步之前
7、执行命令：fastboot flash system system.img (使用google签名的 system.img)
8、执行命令：fastboot reboot
备注： 如果是A/B load special，使用fastboot flash system_a system.img / fastboot flash system_b system.img 替换步骤7

adb shell appops set com.android.cts.verifier android:read_device_identifiers allow

https://partnerdash.google.com/partnerdash/u/0/d/partnerandroidbuild#p:id=home

目前，送测版本包括：New device或 MR、EEA Express Plus Device、Russia Device、RSA Device、SMR Device；各个版本都有不同的需求，请注意检查

为了更容易通过测试，跑测前最好写入以下内容：
Serial Number
Wifi Mac Address
BT Mac Address
IMEI
Google Key

kernel 4.14会出现，需要申请patch

SIM卡问题，需要插入写有效SIM卡

最新的daily build tool验证

2. android cts如何到另一台电脑继续测试

Android 4.0 CTS 测试方法
这段时间公司做CTS测试，下面是一些总结，以android4.0.3为例，希望对大家有所帮助！
一 CTS测试简介
The Android compatibility program makes it easy for mobile device manufacturers to develop compatible Android devices
CTS具体的介绍，大家可以参考google的官方网站，大家可以详细的了解CTS测试的目的和环境，我们一般的疑惑都能在该网站上找到答案。

1.1为什么需要兼容性测试（以下称CTS）？
1.1.1、让APP提供更好的用户体验。用户可以选择更多的适合自己设备的APP。让APP更稳定。
1.1.2、让开发者设计更高质量的APP。
1.1.3、通过CTS的设备可以运行Android market。
1.2怎么样才能让我的设备变成兼容的。

1.2.1、与Android Compatibility Definition文档（以下简称ACD）匹配
先看一下与你的系统版本相匹配的ACD，文档中描述了你需要具备的软件和硬件参数。
1.2.2、通过CTS测试
CTS是开源的测试框架，使用它来测试你的设备是否具备兼容性。
1.2.3、提交报告
你可以把测试结果发送给[email protected]。当你提交了一个CTS报告时，你还可以要求访问Android Market。
如果是google的合作伙伴，需要将CTS测试报告、机器、以及软件一共寄给google进行测试，取得google的approval以后，手机才能上市，这是后话，相信好多人都是用不到的。
1.3 CTS测试原理

CTS主要包含两个组件：
运行在PC上的测试框架组件。主要用来管理测试用例（test case）的执行。
运行在设备或模拟器上的测试用例。这些用例用JAVA写成的APK文件。
1.4工作流程
1）可以从源码编译CTS，也可以从网站下载编译好的CTS

2）安装配置CTS。
3）把设备连接到PC上。
4）运行CTS。CTS会把相应的测试用例（也就是一个APK文件）传送到设备上并通过instrumentation运行，然后记录运行结果，最后删除测试用例。
所有的测试用例执行完毕后，可以参照测试结果重新调整或优化系统。然后继续运行CTS测试。
1.5、测试通过以后，你可以把CTS生成的结果（就是result下面那个以测一、取得Compatibility Test Suite的两种方法：
（1）可以从 下载最新版本的Compatibility Test Suit；
（2）也可以通过编译Android源代码的方式获得。在android源代码目录下输入make cts命令来编译CTS，之后会在out/host/linux-x86/cts/下生成android-cts文件夹。这个文件夹就是Compatibility Test Suit。
注意：但是源码中的代码可能不是最新的，所以建议冲网站上下载最新的，需要用git在google的网站上下载，网上有好多例子，这里就不再重复了。
二 测试用例的范围
1、Signature
对每个Android产品，都有一些XML文件来描述所有的公开API。CTS包含了一个工具来检测这些API签名中包含的API是否都在系统中被支持。
2、Platform
测试SDK文档中描述的平台API，比如core libraries,Android Application Framework等。要求这些API可以提供：
正确的类、属性、方法签名、方法行为、错误参数处理方式
3、Dalvik VM
专门针对Dalvik Vm的测试。
4、Platform Data Model
平台通过ContentProvider提供给开发者使用的数据，比如：Contacts,Browser,Settings等。
5、Platform Intents
平台提供的用于核心功能的Intent。
6、Platform permission
平台提供的一些重要APP权限
7、Platform Resources
simple values,drawables,nine-patch,animations,layouts,styles and themes，loading alternate resources等

三 如何搭配环境
目前cts没有提供windows版本，只能在Linux下测试。
1 PC机配置环境
PC端网上有好多资料可以供参考，这里就省略了。
2 手机设置
1) 进入settings->Privacy->Factorydata reset，对平台进行reset一次
2) 平台插入一张空的TF卡
3) 平台安装两个APK：.apk，CtsDeviceAdmin.apk
4) 进入settings打开Wi-Fi并连接AP (AP需要连外网)
5) 进入settings->Security->Screenlock设为None
6) 进入settings->Security->EnableUnknown sources
7) 进入settings->Security->Deviceadministrators->Enable两个选项
8) 进入Language&input->language设为English(UnitedStates)
9) 进入settings->Display->Sleep设为30minutes或None
10) 进入settings->Accessibility->EnableDelegating Accessibility Service
11) 进入settings->Developeroptions->Enable USB debugging、Stay awake、Allowmock locations
12) PC上“android-cts-media-1.0”，在android-cts-media-1.0文件下输入./__media.sh运行脚本，将media文件进平台。成功后会在平台的内存中看到test文件夹。(此条适用于CTS4.0 R2和R3，R1上无需使用）

四 测试方法
1.平台用USB线连接LinuxPC （连通后平台左上方会显示usb和debug icon）
2.打开终端
3.输入sudosu -
输入root密码
4.输入cd ../..
输入 cd /home/linux/cts/android-cts-4.0.3_r1-linux_x86-arm/android-cts/tools (这个是cts-tradefed文件所在路径，各位需要输入实际路径)
输入 ./cts-tradefed
终端显示 01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果没有这行，说明设备没有和PC联通）
Android CTS 4.0.3_r1
cts-tf >

5.输入run cts --plan CTS
终端显示 cts-tf > run cts --plan CTS

cts-tf> 01-16 15:45:34 I/TestInvocation: Starting invocation for 'cts' on build'4.0.3_r1' on device 0123456789ABCDEF
01-16 15:45:35I/0123456789ABCDEF: Created result dir 2012.01.16_15.45.34

开始测试CTS
五 关于CTS4.0测试报告

1.CTS测试报告是自动生成一个xml报表，并自动填写的，不需要测试人员干预

2.当一个CTS测试任务开始时，会在android-cts-4.0.3_r1-linux_x86-arm/android-cts/repository/results中，为这个任务建立一个存放测试报告的文件夹，文件名以任务开始的日期和时间命名。

例如：2012.01.12_13.00.03

3.CTS4.0生成测试报告的速度比CTS2.3/2.2要慢不少，特别是在测试过程中中断测试，CTS4.0需要70秒才会开始生成报告。如果你在此过程中按ctrl+c终止CTS进程，测试报告就无法生成，以后也无法继续测试未完成的计划。

下方是中途断开后生成报告的例子：

01-1813:50:19I/0123456789ABCDEF: android.accounts.cts.AccountManagerTest#testHasFeature FAIL

Testfailed to run to completion. Reason: 'Test run failed to complete. Expected 1tests, received 0'. Check device logcat for details

01-1813:51:29I/0123456789ABCDEF: android.accounts package complete: Passed 20, Failed 2, NotExecuted 6

01-1813:51:29 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:29 I/0123456789ABCDEF: Test package android.admin started

01-1813:51:29 I/0123456789ABCDEF: -----------------------------------------

……

01-1813:51:30 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:30 I/0123456789ABCDEF: Test package android.widget started

01-1813:51:30 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:30 I/0123456789ABCDEF: Saved log device_logcat_8558243668624894128.zip

01-1813:51:30 I/0123456789ABCDEF: Saved log host_log_6087775957743010530.zip

3. 软件测试cts和gts是什么意思

1. CTS
CTS（全称“Compatibility Test Suite”，即“兼容性测试包”）的认证，这是一组用以测试的.apk程序之类的集合，它能够在官网（http://source.android.com/compatibility/downloads.html）上面免费下载，并且测试也非常简单——只是结果非常苛刻。
CTS的目的就是让Android设备（如：手机）开发商能够开发出兼容性更好的Android设备。

2. GMS
GMS全称为Google Mobile Service，即谷歌移动服务。GMS是Google开发并推动Android的动力，也是Android系统的灵魂所在。GMS目前提供有Search、Search by Voice、Gmail、Contact Sync、Calendar Sync、Talk、Maps、Street View、YouTube、Android Market(ICS上更改为Play store)服务。当用户使用谷歌服务的时候，谷歌可以把广告嵌入各种谷歌的服务中，比如：用户在使用谷歌地图的时候，就能发现搜索地名关键字的广告。在使用谷歌移动搜索的时候，不用说，当然也是有广告的。谷歌其实是拿用户的注意力来换取广告主的金钱。而且Android智能手机操作系统其实也就是谷歌把自己的服务主动放到了手机上，进一步巩固自己的市场地位。依据GMS，谷歌对android手机给予不同程度的授权，把搭载Android系统的手机厂商分为三个级别，1.免费使用Android操作系统，但不内嵌GMS；2.内嵌部分GMS服务，但手机不能打上谷歌的商标；
3.内嵌所有的GMS服务，也可以使用谷歌商标。如果在android手机中内置有谷歌GMS服务的话，是等同被谷歌官方认证过的产品。
GMS的认证主要是Google为手机厂商进行认证，所以得到认证的主要厂商如下，而与芯片厂商关系不大。目前在市面上，只有少数的手机厂商通过了GMS认证，比如HTC（宏达国际电子）- 中国台湾
Samsung Electronics（三星电子）- 韩国Motorola Mobility（摩托罗拉移动技术）- 美国Sony Ericsson（索尼爱立信）- 英国LG Electronics（LG电子）- 韩国Lumigon （丹麦陆力更手机公司）- 丹麦ARCHOS（爱可视）- 法国TOSHIBA（东芝）- 日本而在大陆地区，目前所有行货手机都不能通过GMS认证。GMS认证并不是想象的那么容易，谷歌要根据厂商的实力和地区因素来考虑是否认证。对于厂商来说，GMS除了获得更多的谷歌服务权限之外，还是拉开品牌区隔度的有效手段，也就是身份证明。由此可见从一个厂商是否通过GMS认证，来简单的判断这个厂商的综合能力。

4. 如何进行android兼容性测试cts

二、运行CTS的方法，步骤如下：
（1）进入目录android-cts，该目录是通过上面那两种方法获得的。在android-cts目录下会有3个文件夹，其中一个是tools。
（2）进入tools目录，输入./startcts来启动CTS。
（3）如果运行成功会出现Android CTS version 2.3_r1的字样（我的android的版本是2.3的）。如果有连接设备到PC上还会出现Device(设备ID)connected的字样。这里设备可以是连接PC的android的机器，也可以是模拟器。
三、CTS测试的方法：
（1）在cts_host>下敲入help，会显示cts下的许多命令。ls –plan命令显示google自带的测试方案，如：Java、Signature、Android、CTS、VM、RefApp、Performance、AppSecurity。其中Performance这个方案是google暂不要求的。Java、Signature、Android、VM、RefApp、Appsecurity方案都是CTS方案的子集。
（2）用命令ls -d来查看已连接的设备，CTS测试之前我们必须保证至少有一个设备连接上。
（3）输入命令start –plan CTS来执行CTS测试方案，该方案有两万多条测试项目，需要很长时间，因此除了第一次测试之外，不建议这么做。我做的都是针对某些包的测试。如果连接了多个设备的话需加上-d参数，后面跟上设备id来告诉CTS需要测试的设备。
（4）对单独一个包进行测试的方法：start –plan CTS –p 包名；推荐用这种方法来进行针对性的测试。需要知道有哪些包名，可以输入命令：ls –plan CTS
（5）也可以针对单独一个case进行测试：start –plan CTS –test 类名#方法名
四、查看测试的结果：
测试生成的log在\android-cts\repository目录下以log+测试时间.txt命名。测试报告在android-cts\repository\results目录下，也是以测试时间命名。
五、注意事项：
（1）测试前需要安装一个apk：adb install -r android-cts/repository/testcases/.apk 然后在设置里面

5. android的cts测试到底有多细

解决方案1：
以wifi测试为列android.net.wifi模块的cts测试结果如下：android.app.cts.SystemFeaturesTest--
testBluetoothFeaturepass -- testCameraFeaturespass -- ...
以wifi测试为列
android.net.wifi模块的cts测试结果如下：
android.app.cts.SystemFeaturesTest
-- testBluetoothFeature
pass

-- testCameraFeatures
pass

-- testFeatureNamespaces
pass

-- testLiveWallpaperFeature
pass

-- testLocationFeatures
pass

-- testNfcFeatures
pass

-- testScreenFeatures
pass

-- testSensorFeatures
pass

-- testSipFeatures
pass

-- testTelephonyFeatures
pass

-- testTouchScreenFeatures
pass

-- testUsbAccessory
pass

-- testWifiFeature
pass

android.net.http.cts.ApacheHttpClientTest

--
pass

-- testExecute_withMobile
pass

-- testExecute_withWifi
pass

android.net.wifi.cts.ConcurrencyTest
--
pass

-- testConcurrency
pass

android.net.wifi.cts.ScanResultTest
--
pass

-- testScanResultProperties
pass

android.net.wifi.cts.SupplicantStateTest
--
pass

-- testIsValidState
pass

android.net.wifi.cts.WifiConfigurationTest
--
pass

-- testWifiConfiguration
pass

android.net.wifi.cts.WifiInfoTest
--
pass

-- testWifiInfoProperties
pass

android.net.wifi.cts.WifiManagerTest
--
pass

-- testSignal
pass

-- testWifiManagerActions
pass

-- testWifiManagerNetWork
pass

-- testWifiManagerProperties
pass

android.net.wifi.cts.WifiManager_WifiLockTest
--
pass

-- testWifiLock
pass

上面的assert部分为断言，用来检查cts的测试结果是pass还是fail。你会发现cts的测试比较简单，它只能保证 你的android设备支持wifi，和中间件接口控制wifi的工作。
搜遍了wifi的全部测试模块，都没有找到哪里验证了 WifiConfiguration.KeyMgmt