python分布擬合

① 如何在python中實現這五類強大的概率分布

要使用Python實現一些離散和連續的概率分布。雖然我不會討論這些分布的數學細節，但我會以鏈接的方式給你一些學習這些統計學概念的好資料。在討論這些概率分布之前，我想簡單說說什麼是隨機變數（randomvariable）。隨機變數是對一次試驗結果的量化。舉個例子，一個表示拋硬幣結果的隨機變數可以表示成PythonX={1如果正面朝上,2如果反面朝上}12X={1如果正面朝上,2如果反面朝上}隨機變數是一個變數，它取值於一組可能的值（離散或連續的），並服從某種隨機性。隨機變數的每個可能取值的都與一個概率相關聯。隨機變數的所有可能取值和與之相關聯的概率就被稱為概率分布（probabilitydistributrion）。我鼓勵大家仔細研究一下scipy.stats模塊。概率分布有兩種類型：離散（discrete）概率分布和連續（continuous）概率分布。離散概率分布也稱為概率質量函數（probabilitymassfunction）。離散概率分布的例子有伯努利分布（Bernoullidistribution）、二項分布（binomialdistribution）、泊松分布（Poissondistribution）和幾何分布（geometricdistribution）等。連續概率分布也稱為概率密度函數（probabilitydensityfunction），它們是具有連續取值（例如一條實線上的值）的函數。正態分布（normaldistribution）、指數分布（exponentialdistribution）和β分布（betadistribution）等都屬於連續概率分布。若想了解關於離散和連續隨機變數的知識，你可以觀看可汗學院關於概率分布的視頻。二項分布（BinomialDistribution）服從二項分布的隨機變數X表示在n個獨立的是/非試驗中成功的次數，其中每次試驗的成功概率為p。E(X)=np,Var(X)=np(1−p)如果你想知道每個函數的原理，你可以在IPython筆記本中使用helpfile命令。E(X)表示分布的期望或平均值。鍵入stats.binom?了解二項分布函數binom的信息。二項分布的例子：拋擲10次硬幣，恰好兩次正面朝上的概率是多少？假設在該試驗中正面朝上的概率為0.3，這意味著平均來說，我們可以期待有3次是硬幣正面朝上的。我定義擲硬幣的所有可能結果為k=np.arange(0,11)：你可能觀測到0次正面朝上、1次正面朝上，一直到10次正面朝上。我使用stats.binom.pmf計算每次觀測的概率質量函數。它返回一個含有11個元素的列表（list），這些元素表示與每個觀測相關聯的概率值。您可以使用.rvs函數模擬一個二項隨機變數，其中參數size指定你要進行模擬的次數。我讓Python返回10000個參數為n和p的二項式隨機變數。我將輸出這些隨機變數的平均值和標准差，然後畫出所有的隨機變數的直方圖。泊松分布（PoissonDistribution）一個服從泊松分布的隨機變數X，表示在具有比率參數（rateparameter）λ的一段固定時間間隔內，事件發生的次數。參數λ告訴你該事件發生的比率。隨機變數X的平均值和方差都是λ。E(X)=λ,Var(X)=λ泊松分布的例子：已知某路口發生事故的比率是每天2次，那麼在此處一天內發生4次事故的概率是多少？讓我們考慮這個平均每天發生2起事故的例子。泊松分布的實現和二項分布有些類似，在泊松分布中我們需要指定比率參數。泊松分布的輸出是一個數列，包含了發生0次、1次、2次，直到10次事故的概率。我用結果生成了以下圖片。你可以看到，事故次數的峰值在均值附近。平均來說，你可以預計事件發生的次數為λ。嘗試不同的λ和n的值，然後看看分布的形狀是怎麼變化的。現在我來模擬1000個服從泊松分布的隨機變數。正態分布（NormalDistribution）正態分布是一種連續分布，其函數可以在實線上的任何地方取值。正態分布由兩個參數描述：分布的平均值μ和方差σ2。E(X)=μ,Var(X)=σ2正態分布的取值可以從負無窮到正無窮。你可以注意到，我用stats.norm.pdf得到正態分布的概率密度函數。β分布（BetaDistribution）β分布是一個取值在[0,1]之間的連續分布，它由兩個形態參數α和β的取值所刻畫。β分布的形狀取決於α和β的值。貝葉斯分析中大量使用了β分布。當你將參數α和β都設置為1時，該分布又被稱為均勻分布（uniformdistribution）。嘗試不同的α和β取值，看看分布的形狀是如何變化的。指數分布（ExponentialDistribution）指數分布是一種連續概率分布，用於表示獨立隨機事件發生的時間間隔。比如旅客進入機場的時間間隔、打進客服中心電話的時間間隔、中文維基網路新條目出現的時間間隔等等。我將參數λ設置為0.5，並將x的取值范圍設置為$[0,15]$。接著，我在指數分布下模擬1000個隨機變數。scale參數表示λ的倒數。函數np.std中，參數ddof等於標准偏差除以$n-1$的值。/81321/

② python數據統計分析

1. 常用函數庫

  scipy包中的stats模塊和statsmodels包是python常用的數據分析工具，scipy.stats以前有一個models子模塊，後來被移除了。這個模塊被重寫並成為了現在獨立的statsmodels包。

 scipy的stats包含一些比較基本的工具，比如：t檢驗，正態性檢驗，卡方檢驗之類，statsmodels提供了更為系統的統計模型，包括線性模型，時序分析，還包含數據集，做圖工具等等。

2. 小樣本數據的正態性檢驗

(1) 用途

 夏皮羅維爾克檢驗法 (Shapiro-Wilk) 用於檢驗參數提供的一組小樣本數據線是否符合正態分布，統計量越大則表示數據越符合正態分布，但是在非正態分布的小樣本數據中也經常會出現較大的W值。需要查表來估計其概率。由於原假設是其符合正態分布，所以當P值小於指定顯著水平時表示其不符合正態分布。

 正態性檢驗是數據分析的第一步，數據是否符合正態性決定了後續使用不同的分析和預測方法，當數據不符合正態性分布時，我們可以通過不同的轉換方法把非正太態數據轉換成正態分布後再使用相應的統計方法進行下一步操作。

(2) 示例

(3) 結果分析

 返回結果 p-value=0.029035290703177452，比指定的顯著水平（一般為5%）小，則拒絕假設：x不服從正態分布。

3. 檢驗樣本是否服務某一分布

(1) 用途

 科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。

(2) 示例

(3) 結果分析

 生成300個服從N(0,1)標准正態分布的隨機數，在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定地拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。

4.方差齊性檢驗

(1) 用途

 方差反映了一組數據與其平均值的偏離程度，方差齊性檢驗用以檢驗兩組或多組數據與其平均值偏離程度是否存在差異，也是很多檢驗和演算法的先決條件。

(2) 示例

(3) 結果分析

 返回結果 p-value=0.19337536323599344, 比指定的顯著水平（假設為5%）大，認為兩組數據具有方差齊性。

5. 圖形描述相關性

(1) 用途

 最常用的兩變數相關性分析，是用作圖描述相關性，圖的橫軸是一個變數，縱軸是另一變數，畫散點圖，從圖中可以直觀地看到相關性的方向和強弱，線性正相關一般形成由左下到右上的圖形；負面相關則是從左上到右下的圖形，還有一些非線性相關也能從圖中觀察到。

(2) 示例

(3) 結果分析

 從圖中可以看到明顯的正相關趨勢。

6. 正態資料的相關分析

(1) 用途

 皮爾森相關系數（Pearson correlation coefficient）是反應兩變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。

(2) 示例

(3) 結果分析

 返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。

7. 非正態資料的相關分析

(1) 用途

 斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data )，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 值或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。

(2) 示例

(3) 結果分析

 返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。

8. 單樣本T檢驗

(1) 用途

 單樣本T檢驗，用於檢驗數據是否來自一致均值的總體，T檢驗主要是以均值為核心的檢驗。注意以下幾種T檢驗都是雙側T檢驗。

(2) 示例

(3) 結果分析

 本例中生成了2列100行的數組，ttest_1samp的第二個參數是分別對兩列估計的均值，p-value返回結果，第一列1.47820719e-06比指定的顯著水平（一般為5%）小，認為差異顯著，拒絕假設；第二列2.83088106e-01大於指定顯著水平，不能拒絕假設：服從正態分布。

9. 兩獨立樣本T檢驗

(1) 用途

 由於比較兩組數據是否來自於同一正態分布的總體。注意：如果要比較的兩組數據不滿足方差齊性， 需要在ttest_ind()函數中添加參數equal_var = False。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.19313343989106416，比指定的顯著水平（一般為5%）大，不能拒絕假設，兩組數據來自於同一總結，兩組數據之間無差異。

10. 配對樣本T檢驗

(1) 用途

 配對樣本T檢驗可視為單樣本T檢驗的擴展，檢驗的對象由一群來自正態分布獨立樣本更改為二群配對樣本觀測值之差。它常用於比較同一受試對象處理的前後差異，或者按照某一條件進行兩兩配對分別給與不同處理的受試對象之間是否存在差異。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.80964043445811551，比指定的顯著水平（一般為5%）大，不能拒絕假設。

11. 單因素方差分析

(1) 用途

 方差分析(Analysis of Variance，簡稱ANOVA)，又稱F檢驗，用於兩個及兩個以上樣本均數差別的顯著性檢驗。方差分析主要是考慮各組之間的平均數差別。

 單因素方差分析（One-wayAnova），是檢驗由單一因素影響的多組樣本某因變數的均值是否有顯著差異。

 當因變數Y是數值型，自變數X是分類值，通常的做法是按X的類別把實例成分幾組，分析Y值在X的不同分組中是否存在差異。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，它由組間差異除以組間差異得到，上例中組間差異很大，第二個返回值p-value=6.2231520821576832e-19小於邊界值（一般為0.05）,拒絕原假設, 即認為以上三組數據存在統計學差異，並不能判斷是哪兩組之間存在差異 。只有兩組數據時，效果同 stats.levene 一樣。

12. 多因素方差分析

(1) 用途

 當有兩個或者兩個以上自變數對因變數產生影響時，可以用多因素方差分析的方法來進行分析。它不僅要考慮每個因素的主效應，還要考慮因素之間的交互效應。

(2) 示例

(3) 結果分析

 上述程序定義了公式，公式中，"~"用於隔離因變數和自變數，」+「用於分隔各個自變數， ":"表示兩個自變數交互影響。從返回結果的P值可以看出，X1和X2的值組間差異不大，而組合後的T:G的組間有明顯差異。

13. 卡方檢驗

(1) 用途

 上面介紹的T檢驗是參數檢驗，卡方檢驗是一種非參數檢驗方法。相對來說，非參數檢驗對數據分布的要求比較寬松，並且也不要求太大數據量。卡方檢驗是一種對計數資料的假設檢驗方法，主要是比較理論頻數和實際頻數的吻合程度。常用於特徵選擇，比如，檢驗男人和女人在是否患有高血壓上有無區別，如果有區別，則說明性別與是否患有高血壓有關，在後續分析時就需要把性別這個分類變數放入模型訓練。

 基本數據有R行C列, 故通稱RC列聯表(contingency table), 簡稱RC表，它是觀測數據按兩個或更多屬性（定性變數）分類時所列出的頻數表。

(2) 示例

(3) 結果分析

 卡方檢驗函數的參數是列聯表中的頻數，返回結果第一個值為統計量值，第二個結果為p-value值，p-value=0.54543425102570975，比指定的顯著水平（一般5%）大，不能拒絕原假設，即相關性不顯著。第三個結果是自由度，第四個結果的數組是列聯表的期望值分布。

14. 單變數統計分析

(1) 用途

 單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。

 單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。

 此外，還可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。

15. 多元線性回歸

(1) 用途

 多元線性回歸模型（multivariable linear regression model ），因變數Y（計量資料）往往受到多個變數X的影響，多元線性回歸模型用於計算各個自變數對因變數的影響程度，可以認為是對多維空間中的點做線性擬合。

(2) 示例

(3) 結果分析

 直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義，從上例中可以看到收入INCOME最有顯著性。

16. 邏輯回歸

(1) 用途

 當因變數Y為2分類變數（或多分類變數時）可以用相應的logistic回歸分析各個自變數對因變數的影響程度。

(2) 示例

(3) 結果分析

 直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義。

③ 建議收藏！10 種 Python 聚類演算法完整操作示例

聚類或聚類分析是無監督學習問題。它通常被用作數據分析技術，用於發現數據中的有趣模式，例如基於其行為的客戶群。有許多聚類演算法可供選擇，對於所有情況，沒有單一的最佳聚類演算法。相反，最好探索一系列聚類演算法以及每種演算法的不同配置。在本教程中，你將發現如何在 python 中安裝和使用頂級聚類演算法。完成本教程後，你將知道：

聚類分析，即聚類，是一項無監督的機器學習任務。它包括自動發現數據中的自然分組。與監督學習（類似預測建模）不同，聚類演算法只解釋輸入數據，並在特徵空間中找到自然組或群集。

群集通常是特徵空間中的密度區域，其中來自域的示例（觀測或數據行）比其他群集更接近群集。群集可以具有作為樣本或點特徵空間的中心(質心)，並且可以具有邊界或范圍。

聚類可以作為數據分析活動提供幫助，以便了解更多關於問題域的信息，即所謂的模式發現或知識發現。例如：

聚類還可用作特徵工程的類型，其中現有的和新的示例可被映射並標記為屬於數據中所標識的群集之一。雖然確實存在許多特定於群集的定量措施，但是對所識別的群集的評估是主觀的，並且可能需要領域專家。通常，聚類演算法在人工合成數據集上與預先定義的群集進行學術比較，預計演算法會發現這些群集。

有許多類型的聚類演算法。許多演算法在特徵空間中的示例之間使用相似度或距離度量，以發現密集的觀測區域。因此，在使用聚類演算法之前，擴展數據通常是良好的實踐。

一些聚類演算法要求您指定或猜測數據中要發現的群集的數量，而另一些演算法要求指定觀測之間的最小距離，其中示例可以被視為「關閉」或「連接」。因此，聚類分析是一個迭代過程，在該過程中，對所識別的群集的主觀評估被反饋回演算法配置的改變中，直到達到期望的或適當的結果。scikit-learn 庫提供了一套不同的聚類演算法供選擇。下面列出了10種比較流行的演算法：

每個演算法都提供了一種不同的方法來應對數據中發現自然組的挑戰。沒有最好的聚類演算法，也沒有簡單的方法來找到最好的演算法為您的數據沒有使用控制實驗。在本教程中，我們將回顧如何使用來自 scikit-learn 庫的這10個流行的聚類演算法中的每一個。這些示例將為您復制粘貼示例並在自己的數據上測試方法提供基礎。我們不會深入研究演算法如何工作的理論，也不會直接比較它們。讓我們深入研究一下。

在本節中，我們將回顧如何在 scikit-learn 中使用10個流行的聚類演算法。這包括一個擬合模型的例子和可視化結果的例子。這些示例用於將粘貼復制到您自己的項目中，並將方法應用於您自己的數據。

1.庫安裝

首先，讓我們安裝庫。不要跳過此步驟，因為你需要確保安裝了最新版本。你可以使用 pip Python 安裝程序安裝 scikit-learn 存儲庫，如下所示：

接下來，讓我們確認已經安裝了庫，並且您正在使用一個現代版本。運行以下腳本以輸出庫版本號。

運行該示例時，您應該看到以下版本號或更高版本。

2.聚類數據集

我們將使用 make _ classification ()函數創建一個測試二分類數據集。數據集將有1000個示例，每個類有兩個輸入要素和一個群集。這些群集在兩個維度上是可見的，因此我們可以用散點圖繪制數據，並通過指定的群集對圖中的點進行顏色繪制。這將有助於了解，至少在測試問題上，群集的識別能力如何。該測試問題中的群集基於多變數高斯，並非所有聚類演算法都能有效地識別這些類型的群集。因此，本教程中的結果不應用作比較一般方法的基礎。下面列出了創建和匯總合成聚類數據集的示例。

運行該示例將創建合成的聚類數據集，然後創建輸入數據的散點圖，其中點由類標簽（理想化的群集）著色。我們可以清楚地看到兩個不同的數據組在兩個維度，並希望一個自動的聚類演算法可以檢測這些分組。

已知聚類著色點的合成聚類數據集的散點圖接下來，我們可以開始查看應用於此數據集的聚類演算法的示例。我已經做了一些最小的嘗試來調整每個方法到數據集。3.親和力傳播親和力傳播包括找到一組最能概括數據的範例。

它是通過 AffinityPropagation 類實現的，要調整的主要配置是將「 阻尼 」設置為0.5到1，甚至可能是「首選項」。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，我無法取得良好的結果。

數據集的散點圖，具有使用親和力傳播識別的聚類

4.聚合聚類

聚合聚類涉及合並示例，直到達到所需的群集數量為止。它是層次聚類方法的更廣泛類的一部分，通過 AgglomerationClustering 類實現的，主要配置是「 n _ clusters 」集，這是對數據中的群集數量的估計，例如2。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個合理的分組。

使用聚集聚類識別出具有聚類的數據集的散點圖

5.BIRCHBIRCH

聚類（ BIRCH 是平衡迭代減少的縮寫，聚類使用層次結構)包括構造一個樹狀結構，從中提取聚類質心。

它是通過 Birch 類實現的，主要配置是「 threshold 」和「 n _ clusters 」超參數，後者提供了群集數量的估計。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個很好的分組。

使用BIRCH聚類確定具有聚類的數據集的散點圖

6.DBSCANDBSCAN

聚類（其中 DBSCAN 是基於密度的空間聚類的雜訊應用程序）涉及在域中尋找高密度區域，並將其周圍的特徵空間區域擴展為群集。

它是通過 DBSCAN 類實現的，主要配置是「 eps 」和「 min _ samples 」超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，盡管需要更多的調整，但是找到了合理的分組。

使用DBSCAN集群識別出具有集群的數據集的散點圖

7.K均值

K-均值聚類可以是最常見的聚類演算法，並涉及向群集分配示例，以盡量減少每個群集內的方差。

它是通過 K-均值類實現的，要優化的主要配置是「 n _ clusters 」超參數設置為數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個合理的分組，盡管每個維度中的不等等方差使得該方法不太適合該數據集。

使用K均值聚類識別出具有聚類的數據集的散點圖

8.Mini-Batch

K-均值Mini-Batch K-均值是 K-均值的修改版本，它使用小批量的樣本而不是整個數據集對群集質心進行更新，這可以使大數據集的更新速度更快，並且可能對統計雜訊更健壯。

它是通過 MiniBatchKMeans 類實現的，要優化的主配置是「 n _ clusters 」超參數，設置為數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，會找到與標准 K-均值演算法相當的結果。

帶有最小批次K均值聚類的聚類數據集的散點圖

9.均值漂移聚類

均值漂移聚類涉及到根據特徵空間中的實例密度來尋找和調整質心。

它是通過 MeanShift 類實現的，主要配置是「帶寬」超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，可以在數據中找到一組合理的群集。

具有均值漂移聚類的聚類數據集散點圖

10.OPTICSOPTICS

聚類（ OPTICS 短於訂購點數以標識聚類結構）是上述 DBSCAN 的修改版本。

它是通過 OPTICS 類實現的，主要配置是「 eps 」和「 min _ samples 」超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，我無法在此數據集上獲得合理的結果。

使用OPTICS聚類確定具有聚類的數據集的散點圖

11.光譜聚類

光譜聚類是一類通用的聚類方法，取自線性線性代數。

它是通過 Spectral 聚類類實現的，而主要的 Spectral 聚類是一個由聚類方法組成的通用類，取自線性線性代數。要優化的是「 n _ clusters 」超參數，用於指定數據中的估計群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，找到了合理的集群。

使用光譜聚類聚類識別出具有聚類的數據集的散點圖

12.高斯混合模型

高斯混合模型總結了一個多變數概率密度函數，顧名思義就是混合了高斯概率分布。它是通過 Gaussian Mixture 類實現的，要優化的主要配置是「 n _ clusters 」超參數，用於指定數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，我們可以看到群集被完美地識別。這並不奇怪，因為數據集是作為 Gaussian 的混合生成的。

使用高斯混合聚類識別出具有聚類的數據集的散點圖

在本文中，你發現了如何在 python 中安裝和使用頂級聚類演算法。具體來說，你學到了：

④ 121 11 個案例掌握 Python 數據可視化--星際探索

星空是無數人夢寐以求想了解的一個領域，遠古的人們通過肉眼觀察星空，並制定了太陰歷，指導農業發展。隨著現代科技發展，有了更先進的設備進行星空的探索。本實驗獲取了美國國家航空航天局（NASA）官網發布的地外行星數據，研究及可視化了地外行星各參數、尋找到了一顆類地行星並研究了天體參數的相關關系。
輸入並執行魔法命令 %matplotlib inline， 設置全局字型大小，去除圖例邊框，去除右側和頂部坐標軸。

本數據集來自 NASA，行星發現是 NASA 的重要工作之一，本數據集搜集了 NASA 官網發布的 4296 顆行星的數據，本數據集欄位包括：

導入數據並查看前 5 行。

截至 2020 年 10 月 22 日 全球共發現 4296 顆行星，按年聚合並繪制年度行星發現數，並在左上角繪制 NASA 的官方 LOGO 。

從運行結果可以看出，2005 年以前全球行星發現數是非常少的，經計算總計 173 顆，2014 和 2016 是行星發現成果最多的年份，2016 年度發現行星 1505 顆。

對不同機構/項目/計劃進行聚合並降序排列，繪制發現行星數目的前 20 。

2009 年至 2013 年，開普勒太空望遠鏡成為有史以來最成功的系外行星發現者。在一片天空中至少找到了 1030 顆系外行星以及超過 4600 顆疑似行星。當機械故障剝奪了該探測器對於恆星的精確定位功能後，地球上的工程師們於 2014 年對其進行了徹底改造，並以 K2 計劃命名，後者將在更短的時間內搜尋宇宙的另一片區域。

對發現行星的方式進行聚合並降序排列，繪制各種方法發現行星的比例，由於排名靠後的幾種方式發現行星數較少，因此不顯示其標簽。

行星在宇宙中並不會發光，因此無法直接觀察，行星發現的方式多為間接方式。從輸出結果可以看出，發現行星主要有以下 3 種方式，其原理如下：

針對不同的行星質量，繪制比其質量大（或者小）的行星比例，由於行星質量量綱分布跨度較大，因此採用對數坐標。

從輸出結果可以看出，在已發現的行星中，96.25% 行星的質量大於地球。（圖中橫坐標小於 e 的紅色面積非常小）

通過 sns.distplot 介面繪制全部行星的質量分布圖。

從輸出結果可以看出，所有行星質量分布呈雙峰分布，第一個峰在 1.8 左右（此處用了對數單位，表示大約 6 個地球質量），第二個峰在 6.2 左右（大概 493 個地球質量）。

針對不同發現方式發現的行星，繪制各行星的公轉周期和質量的關系。

從輸出結果可以看出：徑向速度（Radial Velocity）方法發現的行星在公轉周期和質量上分布更寬，而凌日（Transit）似乎只能發現公轉周期相對較短的行星，這是因為兩種方法的原理差異造成的。對於公轉周期很長的行星，其運行到恆星和觀察者之間的時間也較長，因此凌日發現此類行星會相對較少。而徑向速度與其說是在發現行星，不如說是在觀察恆星，由於恆星自身發光，因此其觀察機會更多，發現各類行星的可能性更大。

針對不同發現方式發現的行星，繪制各行星的距離和質量的關系。

從輸出結果可以看出，凌日和徑向速度對距離較為敏感，遠距離的行星大多是通過凌日發現的，而近距離的行星大多數通過徑向速度發現的。原因是：近距離的行星其引力對恆星造成的擺動更為明顯，因此更容易觀察；當距離較遠時，引力作用變弱，擺動效應減弱，因此很難藉助此方法觀察到行星。同時，可以觀察到當行星質量更大時，其距離分布相對較寬，這是因為雖然相對恆星的距離變長了，但是由於行星質量的增加，相對引力也同步增加，恆星擺動效應會變得明顯。

將所有行星的質量和半徑對數化處理，繪制其分布並擬合其分布。
由於：

因此，從原理上質量對數與半徑對數應該是線性關系，且斜率為定值 3 ，截距的大小與密度相關。

從輸出結果可以看出：行星質量和行星半徑在對數變換下，具有較好的線性關系。輸出 fix_xy 數值可知，其關系可以擬合出如下公式：

擬合出曲線對應的行星平均密度為：

同樣的方式繪制恆星質量與半徑的關系。

從輸出結果可以看出，恆星與行星的規律不同，其質量與半徑在對數下呈二次曲線關系，其關系符合以下公式：

同樣的方式研究恆星表面重力加速度與半徑的關系。

從輸出結果可以看出，恆星表面對數重力加速度與其對數半徑呈現較好的線性關系：

以上我們分別探索了各變數的分布和部分變數的相關關系，當數據較多時，可以通過 pd.plotting.scatter_matrix 介面，直接繪制各變數的分布和任意兩個變數的散點圖分布，對於數據的初步探索，該介面可以讓我們迅速對數據全貌有較為清晰的認識。

通過行星的半徑和質量，恆星的半徑和質量，以及行星的公轉周期等指標與地球的相似性，尋找諸多行星中最類似地球的行星。

從輸出結果可以看出，在 0.6 附近的位置出現了一個最大的圓圈，那就是我們找到的類地行星 Kepler - 452 b ，讓我們了解一下這顆行星：

數據顯示，Kepler - 452 b 行星公轉周期為 384.84 天，半徑為 1.63 地球半徑，質量為 3.29 地球質量；它的恆星為 Kepler - 452 半徑為太陽的 1.11 倍，質量為 1.04 倍，恆星方面數據與太陽相似度極高。
以下內容來自網路。 開普勒452b（Kepler 452b） ，是美國國家航空航天局（NASA）發現的外行星， 直徑是地球的 1.6 倍，地球相似指數( ESI )為 0.83，距離地球1400光年，位於為天鵝座。
2015 年 7 月 24 日 0：00，美國國家航空航天局 NASA 舉辦媒體電話會議宣稱，他們在天鵝座發現了一顆與地球相似指數達到 0.98 的類地行星開普勒 - 452 b。這個類地行星距離地球 1400 光年，繞著一顆與太陽非常相似的恆星運行。開普勒 452 b 到恆星的距離，跟地球到太陽的距離相同。NASA 稱，由於缺乏關鍵數據，現在不能說 Kepler - 452 b 究竟是不是「另外一個地球」，只能說它是「迄今最接近另外一個地球」的系外行星。

在銀河系經緯度坐標下繪制所有行星，並標記地球和 Kepler - 452 b 行星的位置。

類地行星，是人類寄希望移民的第二故鄉，但即使最近的 Kepler-452 b ，也與地球相聚 1400 光年。

以下通過行星的公轉周期和質量兩個特徵將所有行星聚為兩類，即通過訓練獲得兩個簇心。
定義函數-計算距離
聚類距離採用歐式距離：

定義函數-訓練簇心
訓練簇心的原理是：根據上一次的簇心計算所有點與所有簇心的距離，任一點的分類以其距離最近的簇心確定。依此原理計算出所有點的分類後，對每個分類計算新的簇心。

定義函數預測分類
根據訓練得到的簇心，預測輸入新的數據特徵的分類。

開始訓練
隨機生成一個簇心，並訓練 15 次。

繪制聚類結果
以最後一次訓練得到的簇心為基礎，進行行星的分類，並以等高面的形式繪制各類的邊界。

從運行結果可以看出，所有行星被分成了兩類。並通過上三角和下三角標注了每個類別的簇心位置。
聚類前
以下輸出了聚類前原始數據繪制的圖像。

⑤ 統計學入門級：常見概率分布+python繪制分布圖

如果隨機變數X的所有取值都可以逐個列舉出來，則稱X為離散型隨機變數。相應的概率分布有二項分布，泊松分布。

如果隨機變數X的所有取值無法逐個列舉出來，而是取數軸上某一區間內的任一點，則稱X為連續型隨機變數。相應的概率分布有正態分布，均勻分布，指數分布，伽馬分布，偏態分布，卡方分布，beta分布等。(真多分布，好恐怖~~)

在離散型隨機變數X的一切可能值中，各可能值與其對應概率的乘積之和稱為該隨機變數X的期望值，記作E(X) 。比如有隨機變數，取值依次為：2，2，2，4，5。求其平均值：(2+2+2+4+5)/5 = 3。

期望值也就是該隨機變數總體的均值。 推導過程如下：
= (2+2+2+4+5)/5
= 1/5 2 3 + 4/5 + 5/5
= 3/5 2 + 1/5 4 + 1/5 5
= 0.6 2 + 0.2 4 + 0.2 5
= 60% 2 + 20% 4 + 20%*5
= 1.2 + 0.8 + 1
= 3

倒數第三步可以解釋為值為2的數字出現的概率為60%，4的概率為20%，5的概率為20%。 所以E(X) = 60% 2 + 20% 4 + 20%*5 = μ = 3。

0-1分布（兩點分布），它的隨機變數的取值為1或0。即離散型隨機變數X的概率分布為：P{X=0} = 1-p, P{X=1} = p，即：

則稱隨機變數X服從參數為p的0-1分布，記作X~B（1，p)。

在生活中有很多例子服從兩點分布，比如投資是否中標，新生嬰兒是男孩還是女孩，檢查產品是否合格等等。

大家非常熟悉的拋硬幣試驗對應的分布就是二項分布。拋硬幣試驗要麼出現正面，要麼就是反面，只包含這兩個結果。出現正面的次數是一個隨機變數，這種隨機變數所服從的概率分布通常稱為 二項分布 。

像拋硬幣這類試驗所具有的共同性質總結如下：（以拋硬幣為例）

通常稱具有上述特徵的n次重復獨立試驗為n重伯努利試驗。簡稱伯努利試驗或伯努利試驗概型。特別地，當試驗次數為1時，二項分布服從0-1分布(兩點分布)。

舉個栗子：拋3次均勻的硬幣，求結果出現有2個正面的概率 。
已知p = 0.5 (出現正面的概率) ，n = 3 ，k = 2

所以拋3次均勻的硬幣，求結果出現有2個正面的概率為3/8。

二項分布的期望值和方差 分別為：

泊松分布是用來描述在一 指定時間范圍內或在指定的面積或體積之內某一事件出現的次數的分布 。生活中服從泊松分布的例子比如有每天房產中介接待的客戶數，某微博每月出現伺服器癱瘓的次數等等。 泊松分布的公式為 ：

其中 λ 為給定的時間間隔內事件的平均數，λ = np。e為一個數學常數，一個無限不循環小數，其值約為2.71828。

泊松分布的期望值和方差 分別為：

使用Python繪制泊松分布的概率分布圖：

因為連續型隨機變數可以取某一區間或整個實數軸上的任意一個值，所以通常用一個函數f(x)來表示連續型隨機變數，而f(x)就稱為 概率密度函數 。

概率密度函數f(x)具有如下性質 ：

需要注意的是，f(x)不是一個概率，即f(x) ≠ P(X = x) 。在連續分布的情況下，隨機變數X在a與b之間的概率可以寫成：

正態分布（或高斯分布）是連續型隨機變數的最重要也是最常見的分布，比如學生的考試成績就呈現出正態分布的特徵，大部分成績集中在某個范圍（比如60-80分），很小一部分往兩端傾斜（比如50分以下和90多分以上）。還有人的身高等等。

正態分布的定義 ：

如果隨機變數X的概率密度為( -∞<x<+∞)：

則稱X服從正態分布，記作X~N(μ,σ²)。其中-∞<μ<+∞，σ>0， μ為隨機變數X的均值，σ為隨機變數X的標准差。 正態分布的分布函數

正態分布的圖形特點 ：

使用Python繪制正態分布的概率分布圖：

正態分布有一個3σ准則，即數值分布在(μ-σ,μ+σ)中的概率為0.6827，分布在（μ-2σ,μ+2σ)中的概率為0.9545，分布在(μ-3σ,μ+3σ)中的概率為0.9973，也就是說大部分數值是分布在(μ-3σ,μ+3σ)區間內，超出這個范圍的可能性很小很小，僅占不到0.3%，屬於極個別的小概率事件，所以3σ准則可以用來檢測異常值。

當μ=0，σ=1時，有

此時的正態分布N(0,1) 稱為標准正態分布。因為μ，σ都是確定的取值，所以其對應的概率密度曲線是一條 形態固定 的曲線。

對標准正態分布，通常用φ(x)表示概率密度函數，用Φ(x)表示分布函數：

假設有一次物理考試特別難，滿分100分，全班只有大概20個人及格。與此同時語文考試很簡單，全班絕大部分都考了90分以上。小明的物理和語文分別考了60分和80分，他回家後告訴家長，這時家長能僅僅從兩科科目的分值直接判斷出這次小明的語文成績要比物理好很多嗎？如果不能，應該如何判斷呢？此時Z-score就派上用場了。 Z-Score的計算定義 ：

即 將隨機變數X先減去總體樣本均值，再除以總體樣本標准差就得到標准分數啦。如果X低於平均值，則Z為負數，反之為正數 。通過計算標准分數，可以將任何一個一般的正態分布轉化為標准正態分布。

小明家長從老師那得知物理的全班平均成績為40分，標准差為10，而語文的平均成績為92分，標准差為4。分別計算兩科成績的標准分數：
物理：標准分數 = (60-40)/10 = 2
語文：標准分數 = (85-95)/4 = -2.5

從計算結果來看，說明這次考試小明的物理成績在全部同學中算是考得很不錯的，而語文考得很差。

指數分布可能容易和前面的泊松分布混淆，泊松分布強調的是某段時間內隨機事件發生的次數的概率分布，而指數分布說的是 隨機事件發生的時間間隔 的概率分布。比如一班地鐵進站的間隔時間。如果隨機變數X的概率密度為：

則稱X服從指數分布，其中的參數λ>0。 對應的分布函數 為：

均勻分布的期望值和方差 分別為：

使用Python繪制指數分布的概率分布圖：

均勻分布有兩種，分為 離散型均勻分布和連續型均勻分布 。其中離散型均勻分布最常見的例子就是拋擲骰子啦。拋擲骰子出現的點數就是一個離散型隨機變數，點數可能有1，2，3，4，5，6。每個數出現的概率都是1/6。

設連續型隨機變數X具有概率密度函數：

則稱X服從區間(a,b)上的均勻分布。X在等長度的子區間內取值的概率相同。對應的分布函數為：

f(x)和F(x)的圖形分別如下圖所示：

均勻分布的期望值和方差 分別為：

⑥ Python怎麼檢驗數據分布

import matplotlib.pyplot as plt
import matplotlib.mlab as mlab
import numpy as np
import pydotplus
import csv
import scipy.stats as ss
game =[ ]#game是一個列表 ，你自己弄一個自己的數據列表即可
x = np.array(game)#x要處理成這個樣子：
N=30
counts, bins = np.histogram(x, bins=N)
bin_width = bins[1]-bins[0]
total_count = float(sum(counts))
f, ax = plt.subplots(1, 1)
f.suptitle('query_uri')
ax.bar(bins[:-1]+bin_width/2., counts, align='center', width=.85*bin_width)
ax.grid('on')
def fit_pdf(x, name='lognorm', color='r'):
dist = getattr(ss, name) # params = shape, loc, scale
# dist = ss.gamma # 3 params
params = dist.fit(x, loc=0) # 1-day lag minimum for shipping
y = dist.pdf(bins, *params)*total_count*bin_width
sqerror_sum = np.log(sum(ci*(yi - ci)**2. for (ci, yi) in zip(counts, y)))
ax.plot(bins, y, color, lw=3, alpha=0.6, label='%s err=%3.2f' % (name, sqerror_sum))
return y
colors = ['r-', 'g-', 'r:', 'g:']
for name, color in zip(['exponweib', 't', 'gamma'], colors): # 'lognorm', 'erlang', 'chi2', 'weibull_min',
#分號後面的分布也可以打進去 線條顏色自己加
y = fit_pdf(x, name=name, color=color)
ax.legend(loc='best', frameon=False)
plt.savefig('G:\weibull216.png')
plt.show()
我之前也是考慮這個問題，這些代碼能實現'exponweib', 't', 'gamma'， 'lognorm', 'erlang', 'chi2', 'weibull_min',的擬合。只要自己輸入game，game為一組數據即可。

⑦ python中用polyfit擬合出的函數怎麼能直接調用

首先分兩種情況：
1.交互窗口處執行：這個時候由於python的強制縮進，因此想要結束函數的定義只需要按兩下enter即可。
2.在.py文件中編寫，結束函數只需要不再縮進即可
調用函數方法相同，把函數名及參數寫上就可以了，如果有返回值可以
r=functionA(var1)

附：測試代碼（python3運行通過）
# -*- coding:utf-8 -*-
#author:zfxcx
def pt():
print("hello")
pt()

⑧ python+正態分布+擬合是怎麼回事

高斯分布是從負無窮到正無窮的.能限制住就不是高斯分布了.或者你做個近似的,函數生成的數值如果不在[0,1],就重新隨機一次

⑨ 擬合直方圖與Python問題，怎麼解決

用代碼解決：
import numpy as np
import matplotlib.pyplot as plt
from scipy.interpolate import interp1d
import scipy.stats as st

sim = st.gamma(1,loc=0,scale=0.8) # Simulated
obs = st.gamma(2,loc=0,scale=0.7) # Observed
x = np.linspace(0,4,1000)
simpdf = sim.pdf(x)
obspdf = obs.pdf(x)
plt.plot(x,simpdf,label='Simulated')
plt.plot(x,obspdf,'r--',label='Observed')
plt.title('PDF of Observed and Simulated Precipitation')
plt.legend(loc='best')
plt.show()

plt.figure(1)
simcdf = sim.cdf(x)
obscdf = obs.cdf(x)
plt.plot(x,simcdf,label='Simulated')
plt.plot(x,obscdf,'r--',label='Observed')
plt.title('CDF of Observed and Simulated Precipitation')
plt.legend(loc='best')
plt.show()

# Inverse CDF
invcdf = interp1d(obscdf,x)
transfer_func = invcdf(simcdf)

plt.figure(2)
plt.plot(transfer_func,x,'g-')
plt.show()