演算法測試分享

Ⅰ 如何使用單元測試對演算法進行測試

對每個函數都進行測試

Ⅱ 心理測試所用的演算法

方差

標准差

標准誤

肯德爾和謝系數

斯皮爾曼相關

等級相關

二列相關

點二列相關

布朗公式

點估計

區間估計

假設檢驗

卡方檢驗等

Ⅲ 怎麼測試一個演算法的性能，用什麼軟體

這個要從兩個維度去考證：
一、測算指標，演算法都是有數學理論基礎的，在翻譯成計算機程序後，演算法的執行效率可以用賦值、比較、運算等操作次數，以及緩存、內存佔用率等指標進行一定的估算，還應對演算法效率進行計算，進行比較評估，包括迭代深度、循環/判斷嵌套深度等指標。
二、實際測試，這個就是要把演算法真的用計算機實現出來，將演算法邏輯封裝為函數、控制項、組件等，可調用的獨立環節（盡量減少非演算法語句的干擾），然後進行實際調用，記錄執行周期，分析實際性能。比如對比記錄新舊演算法單次執行的周期、固定數量多次執行的周期、執行期間資源佔用率、多線程並發調用的執行效率等指標。
另外、對於實際測試，如果想用專業測試軟體執行，可以用LoadRunner、Robot等專業軟體測試工具執行相應操作，但是對於您的要求，我還是建議收集性能指標的程序最好自己寫，其實並不復雜，就是調用您的演算法組件，把執行時間等參數記下來。

Ⅳ 演算法工程師應該具備哪些工程能力

作者 | 木東居士

來源 | Data_Engineering

最近看了 Milter 的《演算法工程師究竟需要哪些工程能力》這篇文章，有所感想，因此也寫一篇關於演算法工程師的技術能力的問題，和大家分享一下居士關於演算法工程師的技術能力的觀點。

對於一名優秀的演算法工程師，他（她）要具備的不僅僅是出色的技術能力，也要有很深的業務理解能力和對外溝通能力，總之，要求可以很高！

但是，從職責能力的劃分上來講，演算法工程師首先是一名工程師，因此本文主要從工程能力要求上進行一些探討。

開始之前先放一份思維導圖，這將是這篇文章要分享的核心內容：

工程能力概覽

演算法工程師，從名字上我們就能看出，一名演算法工程師首先應該具備演算法能力和工程能力，我們可以認為這是基礎的技術能力。由於現在開源技術的普及，Sklearn、Tensorflow 和 Spark ML 基本已經成為大部分演算法工程師標配的工具庫了，因此，熟練的調包能力也是決定了一名演算法工程師能否快速實現需求。

其次，在真實的生產環境中，演算法的落地會遇到各種各樣的業務場景和數據環境，這也要求演算法工程師需要具備Pipeline 構建能力，將整個生產環境中的數據流和模型打通。同時，在生產環境中，會出現各種「疑難雜症」等待你去解釋，比如說為什麼實驗效果特別差？為什麼模型效果不穩定？這就要要求演算法工程師需要具備一定的數據分析能力。

很多時候，你會發現，你用在數據分析和Pipeline構建上的精力可能占據了你8成以上的工作內容。

當你具備了上面的能力時，你已經可以稱自己是一名演算法工程師了。此時，你可以去對著數據分析小得瑟一下：「你看，我能構建整個模型的Pipeline，你卻只能拿到別人提供的數據後調調包吧。「或者，你也可以去找開發得瑟：」你看，我懂了很多演算法哦，你就只會寫代碼吧。「

得瑟完之後，我們還是回歸正題，演算法工程師只具備這樣能力是否已經夠了？答案當然是不夠的。由於不同公司的團隊成熟度不同，工具化和流程的成熟度都不同，這就會對演算法工程師有不同的要求，比如說模型發布能力和報表開發能力，當然也會有一些其它能力，雖然可能不是特別重要，但是當這些工作沒人幫你做的時候，演算法工程師可能依然要承擔起這些工作內容，比如說灰度測試的能力、負載均衡的能力等等。

將上面的內容整理後，就是這樣一份思維導圖了（一張圖多看幾篇更能加深印象，因此我再貼出來一遍）

工程能力詳解

一、基礎能力

演算法能力

演算法能力就不多說了，演算法工程師的基本能力要求，不懂演算法對於一名演算法工程師來講是不太合理的。這里居士把統計學的內容也放進來了。

編程能力

編程能力主要分為兩部分：

Python、C++、java這類編程語言，這三種也是演算法工程師需要了解的主流編程語言，一般掌握其一就夠，看不同公司。 Sql就是很通用的能力了，Sql也是一門編程語言，而是是數據處理最常用的語言！ 很好用。 大數據場景下，要了解Hive Sql。

調包能力

大家雖然會調侃調包俠，但是說實話，能調包調的很溜的人，也是不多的，比如說現在讓你自己用tensorflow構建一個復雜網路，不能google，你能寫出來嗎？能記清楚用法嗎？

Sklearn Tensorflow Spark ML

二、核心能力

Pipeline 構建能力

Pipeline構建能力，這里想表達的更多的是整個數據流的構建能力，數據從日誌->特徵->模型訓練->反饋，這一個鏈條能否完成的能力，這裡面會有很多難題需要克服。比如說：

實時和離線模型一致性問題？ 離線和實時特徵一致性問題？ 實時特徵構建的問題？ 數據延遲的問題？

很多時候，模型發布之類的工作是可以由其他同學支持完成，但是數據流這種問題更多的是需要演算法工程師來解決的。

數據分析能力

這里的數據分析能力不是指商業分析或者業務分析，更多的是指特徵分析、演算法效果分析和各種異常問題定位分析的能力。

很多時候，兩個演算法工程師能力水平的強弱從數據分析能力上也能窺得一二。

三、輔助技術能力

輔助的技術能力是指，你會不會的影響不會特別大，但是也都是有用的能力，特別是不同公司的發展情況不同，很可能會出現一個演算法工程師既要做數據接入、又要做數據清洗、還要做演算法平台

也要搞前端、還要負責模型上線、系統運維。

這里就不再細講了。

思考一

聊一下對技術能力、工程能力和數據分析的思考。

居士個人的理解，技術能力更多的是偏向於一個一個的技術點，而工程能力更多就是在一個團隊中將項目做好的能力。很多演算法出身的工程能力不行，那麼他做的單純的一個模型是無法應用到實際生產中的，而工程就是指把理論落地實際生產的過程。那麼工程包含了什麼？它包括了系統架構設計和模塊設計、數據流搭建和平台搭建、調包或演算法開發、分布式、上線以及各種落地的代碼開發。報表和監控，其實本質也是做數據流，邊緣性的可能要做些後台和前端的開發。

然後數據分析能力是什麼？數據分析（不是純粹的數據分析）除了分析方法論和套路外，是一個很綜合性、相對偏軟一點的能力，比如說你通過分析發現了我們的系統有哪些可以優化的點，通過分析發現了問題的原因是什麼，這些都是分析能力。

思考二

針對前面的內容，和 Cathy 討論後，對整個思路做了新的梳理，大家直接看圖就好，居士也認為這樣描述可能更為合理。

思考三

這里再補充一個模型復現的能力，比如你看了一篇論文，發現這個模型可能很適合自己的業務場景，那麼你是否能力將論文裡面的模型快速用公司現有的平台和工具來復現？

居士認為，這一個是一個非常重要的能力，但是沒有想好具體該怎樣劃分。

Ⅳ 寫一個有效的演算法來測試一個給定的數組A[1...n]是否是一個堆，該演算法的時間復雜性是多少

時間復雜度是O(n)，可以從n到1，也可以從1到n，從n開始就看(k/2)下取整下標的元素（也就是堆中的雙親）是否滿足大根或者小根的條件，從1開始就看2k和2k+1下標的元素（就是堆中的左右孩子）是否滿足堆的條件

Ⅵ 有哪些測試演算法的網頁，求網址

測試演算法？如果是幫你生成測試數據和正確結果的沒有。
有一些演算法競賽的網站，出的題自帶測試數據，你可以找你的演算法可以解決的問題，交上去看對不對

Ⅶ DES加密演算法的測試數據示例

其實你只要再寫個解密的過程看看加密完能不能還原回去就好了。。解密過程和加密過程基本一樣，就是使用子密鑰時的順序是倒著的。
明文是 testdata，密鑰是mydeskey 正確的des加密後二進制密文：
用base64編碼形成的密文是：4wynQOzDaiA=
解密後：

Ⅷ 一個演算法的運行時所消耗的時間是如何測出來的

在忽略機器性能的基礎上我們用演算法時間復雜度來計算演算法執行的時間
1.時間頻度
一個演算法執行所耗費的時間，從理論上是不能算出來的，必須上機運行測試才能知道。但我們不可能也沒有必要對每個演算法都上機測試，只需知道哪個演算法花費的時間多，哪個演算法花費的時間少就可以了。並且一個演算法花費的時間與演算法中語句的執行次數成正比例，哪個演算法中語句執行次數多，它花費時間就多。一個演算法中的語句執行次數稱為語句頻度或時間頻度。記為T(n)。
2.計算方法
1. 一般情況下，演算法的基本操作重復執行的次數是模塊n的某一個函數f（n），因此，演算法的時間復雜度記做：T（n）=O（f（n）） 分析：隨著模塊n的增大，演算法執行的時間的增長率和f（n）的增長率成正比，所以f（n）越小，演算法的時間復雜度越低，演算法的效率越高。 2. 在計算時間復雜度的時候，先找出演算法的基本操作，然後根據相應的各語句確定它的執行次數，再找出T（n）的同數量級（它的同數量級有以下：1，Log2n ，n ，nLog2n ，n的平方，n的三次方，2的n次方，n！），找出後，f（n）=該數量級，若T(n)/f(n)求極限可得到一常數c，則時間復雜度T（n）=O（f（n）） 例：演算法： for（i=1;i<=n;++i） { for(j=1;j<=n;++j) { c[ i ][ j ]=0; //該步驟屬於基本操作 執行次數：n的平方 次 for(k=1;k<=n;++k) c[ i ][ j ]+=a[ i ][ k ]*b[ k ][ j ]; //該步驟屬於基本操作 執行次數：n的三次方 次 } } 則有 T（n）= n的平方+n的三次方，根據上面括弧里的同數量級，我們可以確定 n的三次方 為T（n）的同數量級 則有f（n）= n的三次方，然後根據T（n）/f（n）求極限可得到常數c 則該演算法的 時間復雜度：T（n）=O（n的三次方）
3.分類
按數量級遞增排列，常見的時間復雜度有： 常數階O(1),對數階O(log2n),線性階O(n), 線性對數階O(nlog2n),平方階O(n2)，立方階O(n3),...， k次方階O(nk), 指數階O(2n) 。隨著問題規模n的不斷增大，上述時間復雜度不斷增大，演算法的執行效率越低。

Ⅸ 誰可以給我一個快速排序的測試演算法，也就是測試隨機數用快速排序的時間。java或c++都可以。在線等!急需，

http://blog.csdn.net/hguisu/article/details/7776068#0-tsina-1-67943-

Ⅹ 寫了個24點演算法，怎麼測試

添加括弧共有5種可能情形(參見下面輸出樣例)，其中▲，■，★分別表示某種運算符
[(a ▲ b) ■ c] ★ d
[a ▲ (b ■ c)] ★ d
(a ▲ b) ■ (c ★ d)
a ▲ [(b ■ c) ★ d]
a ▲ [b ■ (c ★ d)]
演算法上其他沒什麼問題