androidcts測試

1. Android 10（Q）GMS（cts/vts/gts）認證總結

本文主要介紹android10的GMS認證相關的內容，包括新特性、新要求、特殊問題以及失敗項等。

https://support.google.com/androidpartners_gms/answer/9358977?hl=en&ref_topic=9353615
主要有以下模塊：
GoogleDocumentsUIPrebuilt \ GoogleExtServicesPrebuilt \ MoleMetadataGooglePrebuilt \ \ \

1、刷user版本並開機
2、打開Settings -> System -> Developer options -> OEM unlocking
3、連接電腦，執行adb reboot bootloader；或者長按<volume up key>和<power key>進入fastboot模式
4、執行命令：fastboot flashing unlock ，出現選擇界面後，按<volumn up key>
5、執行命令：fastboot reboot fastboot，請不要做任何操作，在進行下一步之前
6、執行命令：fastboot flash system system.img (使用google簽名的 system.img)
7、執行命令：fastboot reboot bootloader
8、執行命令：fastboot flashing lock
9、執行命令：fastboot reboot
備註： 如果是A/B load special，使用fastboot flash system_a system.img / fastboot flash system_b system.img 替換步驟6

1、刷user版本並開機
2、打開Settings -> System -> Developer options -> OEM unlocking
3、連接電腦，執行adb reboot bootloader；或者長按<volume up key>和<power key>進入fastboot模式
4、執行命令：fastboot flashing unlock ，出現選擇界面後，按<volumn up key>
5、執行命令：fastboot flash boot boot-debug.img，boot-debug.img來out目錄
6、執行命令：fastboot reboot fastboot，請不要做任何操作，在進行下一步之前
7、執行命令：fastboot flash system system.img (使用google簽名的 system.img)
8、執行命令：fastboot reboot
備註： 如果是A/B load special，使用fastboot flash system_a system.img / fastboot flash system_b system.img 替換步驟7

adb shell appops set com.android.cts.verifier android:read_device_identifiers allow

https://partnerdash.google.com/partnerdash/u/0/d/partnerandroidbuild#p:id=home

目前，送測版本包括：New device或 MR、EEA Express Plus Device、Russia Device、RSA Device、SMR Device；各個版本都有不同的需求，請注意檢查

為了更容易通過測試，跑測前最好寫入以下內容：
Serial Number
Wifi Mac Address
BT Mac Address
IMEI
Google Key

kernel 4.14會出現，需要申請patch

SIM卡問題，需要插入寫有效SIM卡

最新的daily build tool驗證

2. android cts如何到另一台電腦繼續測試

Android 4.0 CTS 測試方法
這段時間公司做CTS測試，下面是一些總結，以android4.0.3為例，希望對大家有所幫助！
一 CTS測試簡介
The Android compatibility program makes it easy for mobile device manufacturers to develop compatible Android devices
CTS具體的介紹，大家可以參考google的官方網站，大家可以詳細的了解CTS測試的目的和環境，我們一般的疑惑都能在該網站上找到答案。

1.1為什麼需要兼容性測試（以下稱CTS）？
1.1.1、讓APP提供更好的用戶體驗。用戶可以選擇更多的適合自己設備的APP。讓APP更穩定。
1.1.2、讓開發者設計更高質量的APP。
1.1.3、通過CTS的設備可以運行Android market。
1.2怎麼樣才能讓我的設備變成兼容的。

1.2.1、與Android Compatibility Definition文檔（以下簡稱ACD）匹配
先看一下與你的系統版本相匹配的ACD，文檔中描述了你需要具備的軟體和硬體參數。
1.2.2、通過CTS測試
CTS是開源的測試框架，使用它來測試你的設備是否具備兼容性。
1.2.3、提交報告
你可以把測試結果發送給[email protected]。當你提交了一個CTS報告時，你還可以要求訪問Android Market。
如果是google的合作夥伴，需要將CTS測試報告、機器、以及軟體一共寄給google進行測試，取得google的approval以後，手機才能上市，這是後話，相信好多人都是用不到的。
1.3 CTS測試原理

CTS主要包含兩個組件：
運行在PC上的測試框架組件。主要用來管理測試用例（test case）的執行。
運行在設備或模擬器上的測試用例。這些用例用JAVA寫成的APK文件。
1.4工作流程
1）可以從源碼編譯CTS，也可以從網站下載編譯好的CTS

2）安裝配置CTS。
3）把設備連接到PC上。
4）運行CTS。CTS會把相應的測試用例（也就是一個APK文件）傳送到設備上並通過instrumentation運行，然後記錄運行結果，最後刪除測試用例。
所有的測試用例執行完畢後，可以參照測試結果重新調整或優化系統。然後繼續運行CTS測試。
1.5、測試通過以後，你可以把CTS生成的結果（就是result下面那個以測一、取得Compatibility Test Suite的兩種方法：
（1）可以從 下載最新版本的Compatibility Test Suit；
（2）也可以通過編譯Android源代碼的方式獲得。在android源代碼目錄下輸入make cts命令來編譯CTS，之後會在out/host/linux-x86/cts/下生成android-cts文件夾。這個文件夾就是Compatibility Test Suit。
注意：但是源碼中的代碼可能不是最新的，所以建議沖網站上下載最新的，需要用git在google的網站上下載，網上有好多例子，這里就不再重復了。
二 測試用例的范圍
1、Signature
對每個Android產品，都有一些XML文件來描述所有的公開API。CTS包含了一個工具來檢測這些API簽名中包含的API是否都在系統中被支持。
2、Platform
測試SDK文檔中描述的平台API，比如core libraries,Android Application Framework等。要求這些API可以提供：
正確的類、屬性、方法簽名、方法行為、錯誤參數處理方式
3、Dalvik VM
專門針對Dalvik Vm的測試。
4、Platform Data Model
平台通過ContentProvider提供給開發者使用的數據，比如：Contacts,Browser,Settings等。
5、Platform Intents
平台提供的用於核心功能的Intent。
6、Platform permission
平台提供的一些重要APP許可權
7、Platform Resources
simple values,drawables,nine-patch,animations,layouts,styles and themes，loading alternate resources等

三 如何搭配環境
目前cts沒有提供windows版本，只能在Linux下測試。
1 PC機配置環境
PC端網上有好多資料可以供參考，這里就省略了。
2 手機設置
1) 進入settings->Privacy->Factorydata reset，對平台進行reset一次
2) 平台插入一張空的TF卡
3) 平台安裝兩個APK：.apk，CtsDeviceAdmin.apk
4) 進入settings打開Wi-Fi並連接AP (AP需要連外網)
5) 進入settings->Security->Screenlock設為None
6) 進入settings->Security->EnableUnknown sources
7) 進入settings->Security->Deviceadministrators->Enable兩個選項
8) 進入Language&input->language設為English(UnitedStates)
9) 進入settings->Display->Sleep設為30minutes或None
10) 進入settings->Accessibility->EnableDelegating Accessibility Service
11) 進入settings->Developeroptions->Enable USB debugging、Stay awake、Allowmock locations
12) PC上「android-cts-media-1.0」，在android-cts-media-1.0文件下輸入./__media.sh運行腳本，將media文件進平台。成功後會在平台的內存中看到test文件夾。(此條適用於CTS4.0 R2和R3，R1上無需使用）

四 測試方法
1.平台用USB線連接LinuxPC （連通後平台左上方會顯示usb和debug icon）
2.打開終端
3.輸入sudosu -
輸入root密碼
4.輸入cd ../..
輸入 cd /home/linux/cts/android-cts-4.0.3_r1-linux_x86-arm/android-cts/tools (這個是cts-tradefed文件所在路徑，各位需要輸入實際路徑)
輸入 ./cts-tradefed
終端顯示 01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果沒有這行，說明設備沒有和PC聯通）
Android CTS 4.0.3_r1
cts-tf >

5.輸入run cts --plan CTS
終端顯示 cts-tf > run cts --plan CTS

cts-tf> 01-16 15:45:34 I/TestInvocation: Starting invocation for 'cts' on build'4.0.3_r1' on device 0123456789ABCDEF
01-16 15:45:35I/0123456789ABCDEF: Created result dir 2012.01.16_15.45.34

開始測試CTS
五 關於CTS4.0測試報告

1.CTS測試報告是自動生成一個xml報表，並自動填寫的，不需要測試人員干預

2.當一個CTS測試任務開始時，會在android-cts-4.0.3_r1-linux_x86-arm/android-cts/repository/results中，為這個任務建立一個存放測試報告的文件夾，文件名以任務開始的日期和時間命名。

例如：2012.01.12_13.00.03

3.CTS4.0生成測試報告的速度比CTS2.3/2.2要慢不少，特別是在測試過程中中斷測試，CTS4.0需要70秒才會開始生成報告。如果你在此過程中按ctrl+c終止CTS進程，測試報告就無法生成，以後也無法繼續測試未完成的計劃。

下方是中途斷開後生成報告的例子：

01-1813:50:19I/0123456789ABCDEF: android.accounts.cts.AccountManagerTest#testHasFeature FAIL

Testfailed to run to completion. Reason: 'Test run failed to complete. Expected 1tests, received 0'. Check device logcat for details

01-1813:51:29I/0123456789ABCDEF: android.accounts package complete: Passed 20, Failed 2, NotExecuted 6

01-1813:51:29 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:29 I/0123456789ABCDEF: Test package android.admin started

01-1813:51:29 I/0123456789ABCDEF: -----------------------------------------

……

01-1813:51:30 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:30 I/0123456789ABCDEF: Test package android.widget started

01-1813:51:30 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:30 I/0123456789ABCDEF: Saved log device_logcat_8558243668624894128.zip

01-1813:51:30 I/0123456789ABCDEF: Saved log host_log_6087775957743010530.zip

3. 軟體測試cts和gts是什麼意思

1. CTS
CTS（全稱「Compatibility Test Suite」，即「兼容性測試包」）的認證，這是一組用以測試的.apk程序之類的集合，它能夠在官網（http://source.android.com/compatibility/downloads.html）上面免費下載，並且測試也非常簡單——只是結果非常苛刻。
CTS的目的就是讓Android設備（如：手機）開發商能夠開發出兼容性更好的Android設備。

2. GMS
GMS全稱為Google Mobile Service，即谷歌移動服務。GMS是Google開發並推動Android的動力，也是Android系統的靈魂所在。GMS目前提供有Search、Search by Voice、Gmail、Contact Sync、Calendar Sync、Talk、Maps、Street View、YouTube、Android Market(ICS上更改為Play store)服務。當用戶使用谷歌服務的時候，谷歌可以把廣告嵌入各種谷歌的服務中，比如：用戶在使用谷歌地圖的時候，就能發現搜索地名關鍵字的廣告。在使用谷歌移動搜索的時候，不用說，當然也是有廣告的。谷歌其實是拿用戶的注意力來換取廣告主的金錢。而且Android智能手機操作系統其實也就是谷歌把自己的服務主動放到了手機上，進一步鞏固自己的市場地位。依據GMS，谷歌對android手機給予不同程度的授權，把搭載Android系統的手機廠商分為三個級別，1.免費使用Android操作系統，但不內嵌GMS；2.內嵌部分GMS服務，但手機不能打上谷歌的商標；
3.內嵌所有的GMS服務，也可以使用谷歌商標。如果在android手機中內置有谷歌GMS服務的話，是等同被谷歌官方認證過的產品。
GMS的認證主要是Google為手機廠商進行認證，所以得到認證的主要廠商如下，而與晶元廠商關系不大。目前在市面上，只有少數的手機廠商通過了GMS認證，比如HTC（宏達國際電子）- 中國台灣
Samsung Electronics（三星電子）- 韓國Motorola Mobility（摩托羅拉移動技術）- 美國Sony Ericsson（索尼愛立信）- 英國LG Electronics（LG電子）- 韓國Lumigon （丹麥陸力更手機公司）- 丹麥ARCHOS（愛可視）- 法國TOSHIBA（東芝）- 日本而在大陸地區，目前所有行貨手機都不能通過GMS認證。GMS認證並不是想像的那麼容易，谷歌要根據廠商的實力和地區因素來考慮是否認證。對於廠商來說，GMS除了獲得更多的谷歌服務許可權之外，還是拉開品牌區隔度的有效手段，也就是身份證明。由此可見從一個廠商是否通過GMS認證，來簡單的判斷這個廠商的綜合能力。

4. 如何進行android兼容性測試cts

二、運行CTS的方法，步驟如下：
（1）進入目錄android-cts，該目錄是通過上面那兩種方法獲得的。在android-cts目錄下會有3個文件夾，其中一個是tools。
（2）進入tools目錄，輸入./startcts來啟動CTS。
（3）如果運行成功會出現Android CTS version 2.3_r1的字樣（我的android的版本是2.3的）。如果有連接設備到PC上還會出現Device(設備ID)connected的字樣。這里設備可以是連接PC的android的機器，也可以是模擬器。
三、CTS測試的方法：
（1）在cts_host>下敲入help，會顯示cts下的許多命令。ls –plan命令顯示google自帶的測試方案，如：Java、Signature、Android、CTS、VM、RefApp、Performance、AppSecurity。其中Performance這個方案是google暫不要求的。Java、Signature、Android、VM、RefApp、Appsecurity方案都是CTS方案的子集。
（2）用命令ls -d來查看已連接的設備，CTS測試之前我們必須保證至少有一個設備連接上。
（3）輸入命令start –plan CTS來執行CTS測試方案，該方案有兩萬多條測試項目，需要很長時間，因此除了第一次測試之外，不建議這么做。我做的都是針對某些包的測試。如果連接了多個設備的話需加上-d參數，後面跟上設備id來告訴CTS需要測試的設備。
（4）對單獨一個包進行測試的方法：start –plan CTS –p 包名；推薦用這種方法來進行針對性的測試。需要知道有哪些包名，可以輸入命令：ls –plan CTS
（5）也可以針對單獨一個case進行測試：start –plan CTS –test 類名#方法名
四、查看測試的結果：
測試生成的log在\android-cts\repository目錄下以log+測試時間.txt命名。測試報告在android-cts\repository\results目錄下，也是以測試時間命名。
五、注意事項：
（1）測試前需要安裝一個apk：adb install -r android-cts/repository/testcases/.apk 然後在設置裡面

5. android的cts測試到底有多細

解決方案1：
以wifi測試為列android.net.wifi模塊的cts測試結果如下：android.app.cts.SystemFeaturesTest--
testBluetoothFeaturepass -- testCameraFeaturespass -- ...
以wifi測試為列
android.net.wifi模塊的cts測試結果如下：
android.app.cts.SystemFeaturesTest
-- testBluetoothFeature
pass

-- testCameraFeatures
pass

-- testFeatureNamespaces
pass

-- testLiveWallpaperFeature
pass

-- testLocationFeatures
pass

-- testNfcFeatures
pass

-- testScreenFeatures
pass

-- testSensorFeatures
pass

-- testSipFeatures
pass

-- testTelephonyFeatures
pass

-- testTouchScreenFeatures
pass

-- testUsbAccessory
pass

-- testWifiFeature
pass

android.net.http.cts.ApacheHttpClientTest

--
pass

-- testExecute_withMobile
pass

-- testExecute_withWifi
pass

android.net.wifi.cts.ConcurrencyTest
--
pass

-- testConcurrency
pass

android.net.wifi.cts.ScanResultTest
--
pass

-- testScanResultProperties
pass

android.net.wifi.cts.SupplicantStateTest
--
pass

-- testIsValidState
pass

android.net.wifi.cts.WifiConfigurationTest
--
pass

-- testWifiConfiguration
pass

android.net.wifi.cts.WifiInfoTest
--
pass

-- testWifiInfoProperties
pass

android.net.wifi.cts.WifiManagerTest
--
pass

-- testSignal
pass

-- testWifiManagerActions
pass

-- testWifiManagerNetWork
pass

-- testWifiManagerProperties
pass

android.net.wifi.cts.WifiManager_WifiLockTest
--
pass

-- testWifiLock
pass

上面的assert部分為斷言，用來檢查cts的測試結果是pass還是fail。你會發現cts的測試比較簡單，它只能保證 你的android設備支持wifi，和中間件介面控制wifi的工作。
搜遍了wifi的全部測試模塊，都沒有找到哪裡驗證了 WifiConfiguration.KeyMgmt