演算法集合推導

Ⅰ 演算法基礎

謹以此文，感謝我在這個學校最喜歡的兩個老師之一——肖my老師。本文基本為老師上課說講授內容加上一部分自己的感悟拼湊而來，寫作文本的目的是為自己的演算法課程留下一點點東西，站在老師肩膀上形成粗糙的框架，方便以後的復習以及深入。文筆有限，其中包含的錯誤還請多多包容，不吝賜教。

to do list：

時間復雜度中遞歸樹法；動規，分治新的感悟；

點覆蓋：一組點的集合，使得圖中所有邊都至少與該集合中一個點相連。

支配集：一組點的集合，使得圖中所有的點要麼屬於該集合，要麼與該集合相連。

最大團：在一個無向圖中找出點數最多的完全圖。

獨立集：一組點的集合，集合中的頂點兩兩不相鄰。（團轉過來）

SAT問題：也稱布爾可滿足性問題。給一組變

其中Ci被稱為句子。

點覆蓋<->獨立集<->最大團

最小割：割是一組邊集。如s-t割就是如果去掉這些邊，將把原圖劃分為兩個點集，其中一個點集包含s，一個點集包含t。（兩個是指不相連，而不是代表不存在邊相連，如反向邊）

decision problem: 是否存在。

search problem:找到一個解。

（這個還能擴展，比如decision problem在多項式時間內解決，所以他是P問題嗎）

漸進符號：

注意以上三種都是緊的，對應的兩個小寫的符號是不緊的，即如下圖所示：

概念：演算法的時間復雜度是一個函數，用於定性描述演算法的運行時間。注意，這個一個代表演算法輸入字元串長度的函數。

[注]輸入字元串長度是一個比較關鍵的理解，比如在背包問題中，其時間復雜度為O(nW)，因為W不定，所以只能是一個偽多項式時間。

比較：c < log2N < n < n * Log2N < n^2 < n^3 < 2^n < 3^n < n! < n^n

大致：常數<對數<冪函數<指數函數<階乘

對於指數是n相關的進行比較，優先比較指數，再比較底數。

記住一個特例：n ^(logn)<n!<n n

計算：

一般來說，計算採用主方法和遞歸樹法，其中遞歸樹技巧性比較強，主方法其實也是遞歸樹推導歸納而來，且主方法能得到一個比較緊的結果。

主方法：

f(n) = af(n-b)+g(n) =>O( a^(n/b) *g(n) )

P：decision problems有一個多項式演算法。

NP（nondeterministic polynomial-time）：decision problems能夠在多項式時間內驗證。

NPC：NP完全問題，首先這個問題是NP的，其次，其他所有問題都可以多項式時間內歸約到它。

NPH：如果所有NP問題都可以多項式時間歸約到某個問題，則稱該問題為NP困難。

因為NP困難問題未必可以在多項式時間內驗證一個解的正確性（即不一定是NP問題），因此即使NP完全問題有多項式時間的解（P=NP），NP困難問題依然可能沒有多項式時間的解。因此NP困難問題「至少與NP完全問題一樣難」。

一些NP問題能在多項式時間內解決，因為 P∈NP

NP難類型問題的證明：

先選好一個已知NP難的問題，然後將已知NP難問題多項式歸約到要證明的問題上。先給出這個歸約，然後再證明這個歸約的正確性。

NPC類型問題的證明：

證明一個問題Y是NPC問題，先說明Y是NP的，然後找到一個NPC問題X，將這個問題X歸約到問題Y上，即證明完成。

常見的NPC問題（重要，規約的時候有用！）：

packing problems: set-packing，獨立集

覆蓋問題：集合覆蓋問題，頂點覆蓋問題

嚴格滿足問題(constraint satisfaction problems)：SAT，3SAT

序列問題：哈密爾頓迴路，旅行商問題

劃分問題：3D-matching, 3著色問題

數字問題：子集合問題（子集元素之和為t），背包問題

其他：分團問題（是否存在一個規模為k的團）

規約的概念與理解

規約：意味著對問題進行轉換，例如將一個未知的問題轉換成我們能夠解決的問題，轉換的過程可能涉及到對問題的輸入輸出的轉換。

自歸約：search problem <=p decision problem

歸約：A歸約到B，也就是說，我們對A套一個函數f，在f函數的作用下形成一個新的問題，對這個問題運用B的黑盒解法，能夠解決問題A。

(B <=p A)一般說來，B問題如果可以歸約到A問題，也就是說，一個解決A問題的演算法可以被用做子函數（子程序）來解決B問題，也就是說，求解B問題不會比求解A問題更困難。因此，如果B問題是困難的，那麼A問題也就是困難的，因為不存在求解A問題的高效演算法。(最後一句不懂)

我簡單說一下我理解的規約，以X規約到Y為准，大概分成兩個方面：

註：在 三 的一些實例中細品。

概念：在對問題求解時，總是做出在當前看來是最好的選擇。

貪心的證明：先假設貪心演算法得到的解不是最優解，假設S1是貪心演算法得到的解，而S2是所有最優解中和S1具有最多相同元素的解，然後比較S1和S2，觀察S1和S2中第一個（最前面一個）不一樣的元素，然後在貪心解S2中將不一樣的元素換成S1中的那個元素得到另一個最優解S3，這樣S3和S1比S2和S1有更多相同元素，和假設S2是與S1有最多相同元素的最優解矛盾，這樣來推導S1是最優解。

我的理解：假設這個不是最優的，但是一定存在一個最優的解在某一個位置之前和我當前解結構是一樣的，那麼在這個位置，選最優解也可以選當前解，不影響最終答案。

[注]概念很簡單，但是實際操作的時候，貪心的角度很重要，同樣的貪心，方向對了，演算法就是對的。

例子：

給你一系列活動，每個活動有一個起始時間和一個結束時間，要求在活動不沖突的情況下找到一種有最多活動的安排。

對於這個問題，我們有一下幾種貪心的角度：

①將任務按照 開始時間 升序排列。

②將任務按照 結束時間 升序排列。

③將任務按照 任務時長 升序排列。

④對於每一個任務，都記錄與其他任務沖突的數量，按照 沖突數量 的升序排列。

其中1，3，4都是不可以的。

任務結束時間的貪心證明（反證法）：

假設貪心不是最最優的，那我們在最優解中找一個與當前解有最相似的解。

由圖可以知道，貪心貪的就是最早結束，所以如果不是最優，那麼最優的結束時間一定晚於貪心的結束時間。

由上圖就可以證明。

最大流通常與最小割相聯系。

f 為任意一個流，cap為容量，對於任意的s-t割出來的點集（A，B），v( f ) <= cap(A, B)。

當流增加到與割的容量相等時候，就不可能再有增長空間了，稱為最大流。

對於割的容量來說，不同的割法會有不同流量，有些割法永遠不會有流達到，比如部分A = {s}, B = {V - s}，這種把源點割出來的割法。

綜上，通過這種感性的認識，如果能找到一個最小的割，那麼這個割就一定是最大能跑到的流（如果流能更高的話在這個割上就會超過容量，反證。）

上圖為一條增廣路，一條增廣路即為一條s-t的路徑，在路徑上仍有流可以跑，其曾廣的流就是該條路徑上最小的剩餘容量。（相當於每找一條增廣路，就至少有一條邊達到滿流。）

直到在圖中找不到增廣路，此時已經達到了最大流。

找ST集合：把滿流的邊去掉，從S出發走到能到的點，遍歷的點就是S集合；剩下的點就屬於T集合。注意，如果找到了在找S集合的時候找到了T點，說明還可以繼續找增廣路。

[補]有一個很有趣的延伸，如多源點多終點問題。問：如果我有兩個源點s1，s2，兩個終點t1，t2，我想求一組流，使得s1-t1，s2-t2的流達到最大，是否可以加一個源點S，S與s1，s2相連，邊流無限大；加一個終點T，T與t1，t2相連，邊流無限大，然後這組ST的最大流即可。——答案是No，無法保證是s1-t1，s2-t2，有可能交錯。

例子講的感覺不是特別好，對理解感覺起不到很大作用，希望以後有新的想法後進行補充。

規約是一個重要的概念和思想。

一個圖的 最大獨立集 與 最小點覆蓋 是不相交的兩個點集，它們的並就是整個點集。

個人理解：獨立集和點覆蓋都是從點的角度進行劃分的，如果我們從邊的角度來看，①一個最小的點覆蓋即為我集合中的每一個點都盡可能與更多的邊相連，②同時，一條邊的兩個端點中，只能有一個端點在最小點覆蓋中[下注]

[注]我們假設有一條邊兩個端點（u，v）都在點覆蓋之中，首先顯然u，v都不是端點，因為假設u是端點的話只需要選擇v即可；

給一個集合S和一堆S的子集S1，S2，...，Sm，問是否存在存在k個子集，使它們的並集為S。

構造：

集合為點，集合中的元素為邊，有相同元素的邊相連。（注意如果某一元素只在一個子集中出現，應該怎麼處理呢！）

規約：在構造的圖中找最小的點覆蓋，選中的點能覆蓋所有的邊即為對應集合的並集能包含所有的元素。所以就完成了集合覆蓋到點覆蓋的規約。

構造：每個句子構造一個三角形，把對應變數但是相反取值的點相連。

規約：3SAT的有一個特點就是，每一個句子中至少有一個為真即可，每個句子都必須是真。將相同變數相反取值相連的目的就是，在最大獨立集中，比如選擇x為真，則剩下所有句子中x-ba一定不會被選中，同時由獨立集和構造出來三角形的性質可以知道，每一個句子，有且僅有一個會被選中（為真）。如上圖，x1-ba為真，x2-ba和x3任選一個為真即可滿足。

search problem <=p decision version

比如：如果能在多項式時間內找到一個哈密爾頓圈，那麼就能在多項式時間內找到一個哈密爾頓圈（刪邊）

在此再談P和NP：

我們知道有些問題是可以從搜索問題規約到判斷問題的，也就是所該問題如果能在多項式內判斷，那麼久能在多項式中搜索到，那麼我們只需要說，這個判斷問題能在多項式時間內求解，就叫做P問題，也就是上圖紅字的意思；那NP問題呢，必須要給出一個解的實例，判斷的是這個實例是否滿足求解問題，這個才是上圖中的紅字。比如，我如果能在多項式時間內判斷哈密爾頓圈是否（Yes/No）存在，那這個就是ploy-time algorithm，如果我給出了一系列點，能過多項式時間內判斷這些點能否構成哈密爾頓圈，那這個就是poly-time certifier。

構造：把一個點拆分成三個點。

構造：（下面兩個圖要連在一起看）

從行的角度看，一行代表一個變數；從列的角度來看，每三列代表一個句子。兩邊中一邊是兩個點，一邊是一個點，所以有k個句子的話，每一行有3k+3個節點。從哈密爾頓圈的答案轉到3SAT的答案看這個圈在每一行是從左到右還是從右到左。

子集和問題：給一個集合S，問是否能在集合中選取元素，使得總和為W。

構造：如下圖，按照前六行和前三列進行分割，可以分成4部分，其中1,3,4部分是固定的，即在第一部分，變數v列和 變數為v（包括變數及取反）的行對應的格子為0，其餘為0；第三部分全為0；第四部分按照12依次寫下來。第二部分，如果Ci句子中有變數v，則記為1，因為一個句子只有三個變數，可以簡單通過第二部分每一列和為3進行判定。此時集合已經構造出來，W為111444，與上面的規約相似，可以通過3SAT的簡單性質進行感性的認知。

近似的想法很簡單，要解決一個問題，我們希望能夠做到①求解結果是最優的 ②在多項式時間內解決 ③對於任意的實例都能夠通過該演算法解決。現在對於部分問題，無法完全滿足以上要求，所以就犧牲了①，但是我們希望結果不是盲目的，所以就引入了近似的概念。

近似演算法。比如2-近似，認為W為近似解，W 為最優解，在求最小值的情況下W<=2W ；在求最大值的情況下，W>=1/2W*

給m個機器和n個任務，每個任務有一個ti的執行時間，我們認為完成最後一個任務所需的時間為負載時間，希望能夠讓這個負載時間最短。

第一種：將任務依次放在機器上，當某個機器空閑時立即放入新任務。此時是2近似的。

證明：

引理1.最短時間安排是大於等於任務中時間最長的任務，L* >= max tj

我們在考慮放入最後一個任務前，根據我們放置的規則，該機器是耗時最短，也就是說，該機器此時的用時是低於除掉最後一個任務後的平均時長，更低於所有任務的平均時長（引理2）；再根據引理1，最後一個任務應該是小於最優解的。

補充：

在這里，我還想討論一下這個近似演算法的中等於符號，先上結論：等號不一定能夠找到一個實例，但是可以構造出一種結構，通過取極限求得，我們認為這樣 也算是緊的。

構造實例：有m個機器，其中m(m-1)個任務的用時為1，1個任務的用時為m。肯定有一種任務集合，可以按照以下方式進行安排，此時的貪心解為19。

此時最佳的解為10，如下圖：

通過推廣可以知道此時的比為（2m-1）/m，當m取極限，能夠達到2倍。

第二種：將任務從大到小排序，然後依次放在機器上，當某個機器空閑時立即放入新任務。此時是2近似的。

引理3：如果有大於m個任務，那麼L*>=2t(m-1)。證明：t(m+1)是目前最短的任務，且目前所有機器上都有任務了，所以該任務加入時最優的情況不過是加入設備的原有任務剛好和t(m+1)相等，即等號。

（2近似）在n個點中，選取k個中心點，使得這些中心點能夠以半徑R的圓包含所有的點，讓其中最大的半徑最小，如下圖所示：

基礎：距離需要滿足的三個定理①(同一性)dist(x, x) = 0 ②(自反)dist(x, y) = dist(y, x) ③(三角不等式)dist(x, y) <=dist(x, z)+dist(z, y)

r(C)為C集合中所有點的最大覆蓋半徑。（需要求min r(C)）

演算法：在點集中任選一個作為中心點，然後重復以下步驟k-1次:選取距離已選點集中最遠的點，加入點集。

證明：先假設r(C )< 1/2 * r(C)以選好的點畫半徑為1/2 * r(C)的圓，顯然可知[注]，這個圓里有且僅有一個r(C )中的點。那麼根據在下圖中，根據三角不等式可以得出：

[注]在每個點上r(c )一定會包含到c點，而r(C )<1/2 * r(C)，相當於大圓套小圓，所以c*一定在c的圓中。

（2近似）問題還是很好理解的，在點上加權值，要找一個點覆蓋，使得權值最小。如下圖左邊就是一個帶權的最小點覆蓋。

演算法： 任選一條邊(i, j)加上代價，這個代價從零開始，且這個代價的最大值低於i和j節點的權值。顯然，這個邊權值的最大值取決於兩個端點權值的最小值，我們認為當邊權值與點權值相等時，對應的那個點是緊的。把所有緊的點找出來即為點覆蓋。

流程：

證明：

引理：邊權之和小於等於點覆蓋的點權之和。這主要是由於涉及到一條邊上兩個點都被選（緊的）的情況，感性認知可以看上圖，縮放證明如下：

w(S)是等於所選的節點的權值之和的，等於所選節點節點所對應的邊權之和，可以把它放大到所有節點對應邊權之和，這樣因為一條邊(u, v)在u上算過一次後還要在v上算一次，所以等於邊權和的兩倍。再由上面引理可得。

主要為了線性規劃和整數規劃。

（2近似）沒啥好說的，只需要把方程構造出來就行了。

由於求解出來結果不一定是整數，所以我們認為某一點的值大於1/2，就選入點集。

證明：

因為xi+xj >=1,且都是正數，那必至少一個點是大於1/2的（反證，兩個都小於1/2則和小於1）。

給你n個物品和一個背包，每個物品有一個價值v和一個大小w，背包的容量是W，要求讓背包裝下盡可能大價值。

背包的時間復雜度：O(nW)

注意其中n表示物品的個數，無論是1個還是999個，他都是多項式的，這個很好理解。但是W就不一樣了，這是一個數字。我理解的是這個數字會很奇特，比如1.00001，比如99999，這些有可能看起來不大但是實際在處理的時候很難處理的數字，統一的來說，如果我們把這些數字放在電腦上，都會以二進制的方式存儲起來，有些數字用十進製表示很小，但是放在二進制上面就會很大，由W導致不能在多項式時間內解決（找不到一個范圍/上界來框它）。

演算法： 為了處理這個問題，我們改動了dp的狀態轉移方程，要讓這個轉移方程和W無關[注]。

此時還不是多項式的，然後我們再對value進行約。[注]

[注]這兩步中，我們把w改成v，並對v進行近似處理。OPT的含義變成了，在面對是否選擇第i個物品時，要想讓價值達到當前值，最少的weight。理由是更改後的誤差是可以忍受的：對v進行近似，結果只會出現最大價值的上下誤差，如果對w進行近似，則有可能出現該物品不能放入背包中，導致整個物品直接放棄的情況。

Ⅱ BP演算法(一)：基本原理及公式推導

BP演算法，全稱Backpropagation，由Geoffrey Hinton於1988年提出，用於神經網路的訓練。其核心原理是通過反向傳播誤差，計算網路參數的梯度，進而調整參數以優化模型。此演算法旨在為後續深入理解TensorFlow的自動微分與聯邦學習中的梯度加密傳輸做鋪墊。

在BP演算法中，首先定義相關符號，以三層神經網路為例進行說明。前向傳播階段，通過[公式]和[公式]計算網路輸出，具體步驟如下：

1. 計算[公式]

2. 計算[公式]

接著，反向傳播階段通過假定偏差[公式]和樣本[公式]，得到[公式]和[公式]。基於這兩個假設，給出反向傳播的計算公式，進而求得偏導數。

反向傳播計算公式為[公式]，得到第二層所有神經元的偏差矩陣[公式]。至此，BP演算法基本原理與公式推導完成。

BP演算法的完整描述如下：給定訓練樣本集合[公式]，通過前向過程計算各層輸出，利用反向傳播計算參數梯度，更新參數。具體步驟包括：設置參數初始值，對每個樣本執行前向計算，計算輸出誤差，反向傳播誤差計算參數梯度，更新參數。最終得到參數梯度計算公式[公式]。

參考文獻：

1. Coursera機器學習課程：coursera.org/learn/machine-learning

Ⅲ 《演算法導論》三種解遞歸式的方法

代入法可以用來確定一個遞歸式的上界或下界。這種方法很有效，但只能用於解的形式很容易猜的情形。

例如，我們需要確定下面遞歸式的上界：

該遞歸式與歸並排序相似，我們可以猜測其解為

代入法要求證明，恰當選擇常數 c>0，可有 T(n)≤cn lgn。首先假設此上界對所有正數 m<n 都成立，特別是對於 m=n/2，有 T(n/2)≤c(n/2)lg(n/2)。將其代入遞歸式，得到：

其中，只要 c≥1，最後一步都會成立。

並不存在通用的方法來猜測遞歸式的正確解，但總有一些試探法可以幫助做出好的猜測：

如果某個遞歸式與先前見過的類似，則可猜測該遞歸式有類似的解。如，遞歸式

看起來比較難解，因為右式 T 的自變數中加了 17，但我們可以猜測這個多出來的項對解的影響不大，因為當 n 很大時， 與 之間的差別並不大，兩者都將 n 分成均勻的兩半。

另一種方法是先證明遞歸式的較松的上下界，然後再縮小不確定性區間。例如，對遞歸式 ，因為遞歸式中有 n，而我們可以證明初始上界為 。然後，逐步降低其上界，提高其下界，直到達到正確的漸近確界 。

有時，我們或許能夠猜出遞歸式解的漸近界，但卻會在歸納證明時出現一些問題。通常，問題出在歸納假設不夠強，無法證明其准確的界，遇到這種情況時，可以去掉一個低階項來修改所猜測的界，以使證明順利進行。如下面的遞歸式：

可以猜測其解為 ，即要證明對適當選擇的 c，有 。有所猜測的界對遞歸式做替換，得到

由此無法得到 ，無論 c 的值如何。如果猜測一個更大的界，如 ，雖然這確實是上界，但事實上，所猜測的解 卻是正確的。為了證明這一點，要做一個更強的歸納假設。

從直覺上說，猜測 幾乎是正確的，只是差了一個常數 1，即一個低階項，然而，就因為差了一項，數學歸納法就無法證明出期望的結果。從所作的猜測中減去一個低階項，即 是個常數。現在有

只要 b≥ 1。這里，c 要選的足夠大，以便能處理邊界條件。

你可能會覺得從所作的猜測中減去一項有點兒與直覺不符。為什麼不是增加一項來解決問題呢？關鍵在於要理解我們是在用數學歸納法：通過對更小的值作更強的假設，就可以證明對某個給定值的更強的結論。

在運用漸近表示時很容易出錯。例如，對遞歸式 ，由假設 ，並證明

就是錯誤的，因為 c 是常數，因而錯誤地證明了 。錯誤在於沒有證明歸納假設的准確形式，即 。

有時，對一個陌生的遞歸式作一些簡單的代數變換，就會使之變成讀者較熟悉的形式。如下例子：

這個式子看上去比較難，但可以對它進行簡化，方法是改動變數。為了方便起見，不考慮數的截取整數問題，如將 化為整數。設 ，得

再設 ，得到新的遞歸式

這個式子看起來與 就非常像了，這個新的遞歸式的界是： 。將 帶回 ，有 。

有時候，畫出一個遞歸樹是一種得到好猜測的直接方法。在遞歸樹中，每一個節點都代表遞歸函數調用集合中一個子問題的代價。將樹中每一層內的代價相加得到一個每層代價的集合，再將每層的代價相加，得到的結果是所有層次的總代價。當用遞歸式表示分治演算法的運行時間時，遞歸樹的方法尤其有用。

遞歸樹最適合用來產生好的猜測，然後用代入法加以驗證。但使用遞歸樹產生好的猜測時，通常可以容忍小量的「不良量」，因為稍後就會證明所做的猜測。如果畫遞歸樹時非常地仔細，並且將代價都加了起來，那麼就可以直接用遞歸樹作為遞歸式的解的證明。

在講述例子之前，我們先來看一個幾何級數公式

對於實數 x≠1，式

是一個幾何級數（或稱指數級數），其值為

當和是無限的且 |x|<1 時，有無限遞減幾何級數

我們以遞歸式

為例來看一下如何用遞歸樹生成一個好的猜測。首先關注如何尋找解的一個上界，因為我們知道舍入對求解遞歸式通常沒有影響（此處即是我們需要忍受不精確的一個例子），因此可以為遞歸式

創建一顆遞歸樹，其中已將漸近符號改寫為隱含的常數系數 c>0。

構造的遞歸樹如下：

求所有層次的代價之和，確定整棵樹的代價：

最後的這個公式看起來不夠整潔，但我們可以再次充分利用一定程度的不精確，並利用無限遞減幾何級數作為上界。回退一步，得到：

此時，我們得到了遞歸式的一個猜測，在上面的例子里， 系數形成了一個遞減的等比級數，可知這些系數的總和的上界是常數 。由於樹根所需的代價為 ，所以根部的代價占總代價的一個常數部分。換句話說，整棵樹的總代價是由根部的代價所決定的。

事實上，如果 確實是此遞歸式的上界，那麼它一定是確界，為什麼呢？第一個遞歸調用所需要的代價是 ，所以 一定是此遞歸式的下界。

現在我們可以使用代換法來驗證猜測的正確性， 是遞歸式 的一個上界。只需要證明，當某常數 d>0， 成立。適用與前面相同的常數 c>0，有

只要 d≥ ，最後一步都會成立。

上圖是遞歸式

對應的遞歸樹。我們還是使用 c 來代表 項常數因子。當將遞歸樹內各層的數值加起來時，可以得到每一層的 cn 值。從根部到葉子的最長路徑是 。因為當 時， ，所以樹的深度是 。

直覺上，我們預期遞歸式的解至多是層數乘以每層的代價，也就是 。總代價被均勻地分布到遞歸樹內的每一層上。這里還有一個復雜點：我們還沒有考慮葉子的代價。如果這棵樹是高度為 的完整二叉樹，那麼有 個葉子節點。由於葉子代價是常數，因此所有葉子代價的總和為 ，或者說 。然而，這棵遞歸樹並不是完整的二叉樹，少於 個葉子，而且從樹根往下的過程中，越來越多的內部結點在消失。因此，並不是所有層次都剛好需要 cn 代價；越靠近底層，需要的代價越少。我們可以計算出准確的總代價，但記住我們只是想要找出一個猜測來使用到代入法中。讓我們容忍這些誤差，而來證明上界為 的猜測是正確的。

事實上，可以用代入法來證明 是遞歸式解的上界。下面證明 ，當 d 是一個合適的正值常數，則

上式成立的條件是 。因此，沒有必要去更准確地計算遞歸樹中的代價。

主方法給出了求解遞歸式的「食譜」方法，即將規模為 n 的問題劃分為 a 個子問題的演算法的運行時間，每個子問題規模為 ，a 和 b 是正常數。a 個子問題被分別遞歸地解決，時間各為 。劃分原問題和合並答案的代價由函數 描述。

從技術正確性角度來看，遞歸式實際上沒有得到很好的定義，因為 可能不是一個整數。但用 向上取整或向下取整來代替 a 項 並不影響遞歸式的漸近行為，因而，在寫分治演算法時略去向下取整和向上取整函數會帶給很大的方便。

其中我們將 n/b 解釋為 n 除以 b 的向下取整或向上取整。那麼 T(n) 有如下漸近界：

在使用主定理之前，我們需要花一點時間嘗試理解它的含義。對於三種情況的每一種，將函數 f(n) 與函數 進行比較。直覺上，兩個函數較大者決定了遞歸式的解。若函數 更大，如情況 1，則解為 T(n)= ( )。若函數 f(n) 更大，如情況 3，則解為 T(n)= (f(n))。若兩個函數大小相當，如情況 2，則乘上一個對數因子，解為 T(n)= ( )= ( )。

另外還有一些技術問題需要加以理解。在第一種情況下，不僅要有 小於 ，還必須是多項式地小於，也就是說， 必須漸近小於 ，要相差一個因子 ，其中 是大於 0 的常數。在第三種情況下，不是 大於 就夠了，而是要多項式意義上的大於，而且還要滿足「正則」條件 。

注意：三種情況並沒有覆蓋所有可能的 f(n)。當 f(n) 只是小於 但不是多項式地小於時，在第一種情況和第二種情況之間就存在一條「溝」。類似情況下，當 f(n) 大於 ，但不是多項式地大於時，第二種情況和第三種情況之間就會存在一條「溝」。如果 f(n) 落在任一條「溝」中，或是第三種情況種規則性條件不成立，則主方法就不能用於解遞歸式。

使用主方法很簡單，首先確定主定理的哪種情況成立，即可得到解。

例如：

對於這個遞歸式，我們有 a=9，b=3，f(n)=n，因此 = = 。由於 f(n) = ，其中 ， 因此可以應用於主定理的情況 1，從而得到解 T(n) = Θ( ) 。

現在考慮

其中，a = 1， b = 3/2， f(n) = 1，因此 = = = 1 。由於 f(n) = = Θ(1) ，因此可應用於情況2，從而得到解 T(n) = Θ( ) 。

對於遞歸式

我們有 a = 3，b = 4，f(n) = nlgn，因此 = =O( )。由於 當 n，其中 ，因此，如果可以證明正則條件成立，即應用於情況 3。當 n 足夠大時，對於 ， ，因此，由情況 3，遞歸式的解為 T(n)= ( )。

主方法不能用於如下遞歸式：

雖然這個遞歸式看起來有恰當的形式：a=2，b=2， ，以及 。你可能錯誤地認為應該應用情況 3，因為 漸近大於 。問題出現在它並不是多項式意義上的大於。對任意正常數 ，比值 都漸近小於 。因此，遞歸式落入了情況 2 和情況 3 之間的間隙。

證明分為兩部分。第一部分分析「主」遞歸式 ，並作了簡化假設 僅定義在 b>1 的整數冪上，即 ， ， ，…。這部分從直覺上說明該定理為什麼是正確的。第二部分說明如何將分析擴展至對所有的正整數 n 都成立，主要是應用數學技巧來解決向下取整函數和向上取整函數的處理問題。

取正合冪時的證明

對於遞歸式

此時的假設是 n 為 b>1 的正合冪，且 b 不必是整數。分析可分成三個引理說明，第一個引理是將解原遞歸式的問題歸約為對一個含和式的求值的問題。第二個引理決定含和式的界，第三個引理把前兩個合在一起，證明當 n 為 b 的正合冪時主定理成立。

引理一 ：設 a≥1，b>1 為常數，f(n) 為定義在 b 的正合冪上的非負函數。定義 如下：

其中 i 是正整數，則有

證明：如下圖。根節點代價為 f(n)，它有 a 個子女，每個代價是 。（為方便起見可將 a 視為整數，但這對數學推導沒什麼影響。）每個子女又各有 a 個子女，代價為 。這樣就有 個結點離根的距離為 2。一般地，距根為 j 的結點有 個，每一個的代價為 。每一個葉結點的代價為 ，每一個都距根 ，因為 。樹中共有 個葉結點。

可以將樹中各層上的代價加起來而得到方程 ，第 j 層上內部結點的代價為 ，故各層內部結點的總代價和為

在其所基於的分治演算法中，這個和值表示了將問題分解成為子問題並將子問題的解合並時所花的代價，所有葉子的代價（即解 個規模為 1 的子問題的代價）為 。

根據遞歸樹，主定理的三種情況對應於樹中總代價的三種情況：1、由所有葉子節點的代價決定；2、均勻分布在各層上；3、由根結點的代價決定。

引理二 ：設 a≥1，b≥1 為常數， 為定義在 b 的整數冪上的非負函數。函數 由下式定義

對 b 的整數冪，該函數可被漸近限界為：

證明：對情況 1，有 ，這隱含著 。用它對方程 做代換，得

對 O 標記內的式子限界，方法是提出不變項並作簡化，得到一個上升幾何級數：

因為 b 與 都是常數，最後的表達式可化簡為 。用此表達式對 作替換，得

情況 1 得以驗證。

為證情況 2，假設 ，有 。用此式對方程 作替換，得

對 記號中的式子做類似情況 1 中的限界，但所得並非是幾何級數，而是每項都是相同的:

用此方程對 中的和式做替換，有

則情況 2 得以驗證。情況 3 也可以用類似的方式證明。

引理三 ：設 a≥1，b>1 是常量， 是定義在 b 的整數冪上的非負函數。定義 T(n) 如下：

其中 i 是正整數。對於 b 的整數冪，T(n) 可有如下漸近界：

證明：用引理二給出的界來對引理一中的式 求值。對情況 1 有

對情況 2 有

對情況 3 有