python數據描述

❶ python數據分析 | 數據描述性分析

首先導入一些必要的數據處理包和可視化的包，讀文檔數據並通過前幾行查看數據欄位。

對於我的數據來說，由於數據量比較大，因此對於缺失值可以直接做刪除處理。

得到最終的數據，並提取需要的列作為特徵。

對類別數據進行統計：

類別型欄位包括location、cpc_class、pa_country、pa_state、pa_city、assignee六個欄位，其中：

單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。
單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。

對於數值型數據，首先希望了解一下數據取值范圍的分布，因此可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。

按照發布的時間先後作為橫坐標，數值范圍的分布情況如圖所示.

還可以根據最終分類的結果查看這些數值數據在不同類別上的分布統計。

箱線圖可以更直觀的查看異常值的分布情況。

異常值指數據中的離群點，此處定義超出上下四分位數差值的1.5倍的范圍為異常值，查看異常值的位置。

參考：
python數據分析之數據分布 - yancheng111 - 博客園
python數據統計分析 -

科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。

在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定的拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。

衡量兩個變數的相關性至少有以下三個方法：

皮爾森相關系數（Pearson correlation coefficient） 是反應倆變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。

返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。

斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data ) ，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 秩或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。

返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。

kendall ：

也可以直接對整體數據進行相關性分析，一般來說，相關系數取值和相關強度的關系是：0.8-1.0 極強 0.6-0.8 強 0.4-0.6 中等 0.2-0.4 弱 0.0-0.2 極弱。

❷ python數據統計分析

1. 常用函數庫

  scipy包中的stats模塊和statsmodels包是python常用的數據分析工具，scipy.stats以前有一個models子模塊，後來被移除了。這個模塊被重寫並成為了現在獨立的statsmodels包。

 scipy的stats包含一些比較基本的工具，比如：t檢驗，正態性檢驗，卡方檢驗之類，statsmodels提供了更為系統的統計模型，包括線性模型，時序分析，還包含數據集，做圖工具等等。

2. 小樣本數據的正態性檢驗

(1) 用途

 夏皮羅維爾克檢驗法 (Shapiro-Wilk) 用於檢驗參數提供的一組小樣本數據線是否符合正態分布，統計量越大則表示數據越符合正態分布，但是在非正態分布的小樣本數據中也經常會出現較大的W值。需要查表來估計其概率。由於原假設是其符合正態分布，所以當P值小於指定顯著水平時表示其不符合正態分布。

 正態性檢驗是數據分析的第一步，數據是否符合正態性決定了後續使用不同的分析和預測方法，當數據不符合正態性分布時，我們可以通過不同的轉換方法把非正太態數據轉換成正態分布後再使用相應的統計方法進行下一步操作。

(2) 示例

(3) 結果分析

 返回結果 p-value=0.029035290703177452，比指定的顯著水平（一般為5%）小，則拒絕假設：x不服從正態分布。

3. 檢驗樣本是否服務某一分布

(1) 用途

 科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。

(2) 示例

(3) 結果分析

 生成300個服從N(0,1)標准正態分布的隨機數，在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定地拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。

4.方差齊性檢驗

(1) 用途

 方差反映了一組數據與其平均值的偏離程度，方差齊性檢驗用以檢驗兩組或多組數據與其平均值偏離程度是否存在差異，也是很多檢驗和演算法的先決條件。

(2) 示例

(3) 結果分析

 返回結果 p-value=0.19337536323599344, 比指定的顯著水平（假設為5%）大，認為兩組數據具有方差齊性。

5. 圖形描述相關性

(1) 用途

 最常用的兩變數相關性分析，是用作圖描述相關性，圖的橫軸是一個變數，縱軸是另一變數，畫散點圖，從圖中可以直觀地看到相關性的方向和強弱，線性正相關一般形成由左下到右上的圖形；負面相關則是從左上到右下的圖形，還有一些非線性相關也能從圖中觀察到。

(2) 示例

(3) 結果分析

 從圖中可以看到明顯的正相關趨勢。

6. 正態資料的相關分析

(1) 用途

 皮爾森相關系數（Pearson correlation coefficient）是反應兩變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。

(2) 示例

(3) 結果分析

 返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。

7. 非正態資料的相關分析

(1) 用途

 斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data )，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 值或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。

(2) 示例

(3) 結果分析

 返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。

8. 單樣本T檢驗

(1) 用途

 單樣本T檢驗，用於檢驗數據是否來自一致均值的總體，T檢驗主要是以均值為核心的檢驗。注意以下幾種T檢驗都是雙側T檢驗。

(2) 示例

(3) 結果分析

 本例中生成了2列100行的數組，ttest_1samp的第二個參數是分別對兩列估計的均值，p-value返回結果，第一列1.47820719e-06比指定的顯著水平（一般為5%）小，認為差異顯著，拒絕假設；第二列2.83088106e-01大於指定顯著水平，不能拒絕假設：服從正態分布。

9. 兩獨立樣本T檢驗

(1) 用途

 由於比較兩組數據是否來自於同一正態分布的總體。注意：如果要比較的兩組數據不滿足方差齊性， 需要在ttest_ind()函數中添加參數equal_var = False。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.19313343989106416，比指定的顯著水平（一般為5%）大，不能拒絕假設，兩組數據來自於同一總結，兩組數據之間無差異。

10. 配對樣本T檢驗

(1) 用途

 配對樣本T檢驗可視為單樣本T檢驗的擴展，檢驗的對象由一群來自正態分布獨立樣本更改為二群配對樣本觀測值之差。它常用於比較同一受試對象處理的前後差異，或者按照某一條件進行兩兩配對分別給與不同處理的受試對象之間是否存在差異。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.80964043445811551，比指定的顯著水平（一般為5%）大，不能拒絕假設。

11. 單因素方差分析

(1) 用途

 方差分析(Analysis of Variance，簡稱ANOVA)，又稱F檢驗，用於兩個及兩個以上樣本均數差別的顯著性檢驗。方差分析主要是考慮各組之間的平均數差別。

 單因素方差分析（One-wayAnova），是檢驗由單一因素影響的多組樣本某因變數的均值是否有顯著差異。

 當因變數Y是數值型，自變數X是分類值，通常的做法是按X的類別把實例成分幾組，分析Y值在X的不同分組中是否存在差異。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，它由組間差異除以組間差異得到，上例中組間差異很大，第二個返回值p-value=6.2231520821576832e-19小於邊界值（一般為0.05）,拒絕原假設, 即認為以上三組數據存在統計學差異，並不能判斷是哪兩組之間存在差異 。只有兩組數據時，效果同 stats.levene 一樣。

12. 多因素方差分析

(1) 用途

 當有兩個或者兩個以上自變數對因變數產生影響時，可以用多因素方差分析的方法來進行分析。它不僅要考慮每個因素的主效應，還要考慮因素之間的交互效應。

(2) 示例

(3) 結果分析

 上述程序定義了公式，公式中，"~"用於隔離因變數和自變數，」+「用於分隔各個自變數， ":"表示兩個自變數交互影響。從返回結果的P值可以看出，X1和X2的值組間差異不大，而組合後的T:G的組間有明顯差異。

13. 卡方檢驗

(1) 用途

 上面介紹的T檢驗是參數檢驗，卡方檢驗是一種非參數檢驗方法。相對來說，非參數檢驗對數據分布的要求比較寬松，並且也不要求太大數據量。卡方檢驗是一種對計數資料的假設檢驗方法，主要是比較理論頻數和實際頻數的吻合程度。常用於特徵選擇，比如，檢驗男人和女人在是否患有高血壓上有無區別，如果有區別，則說明性別與是否患有高血壓有關，在後續分析時就需要把性別這個分類變數放入模型訓練。

 基本數據有R行C列, 故通稱RC列聯表(contingency table), 簡稱RC表，它是觀測數據按兩個或更多屬性（定性變數）分類時所列出的頻數表。

(2) 示例

(3) 結果分析

 卡方檢驗函數的參數是列聯表中的頻數，返回結果第一個值為統計量值，第二個結果為p-value值，p-value=0.54543425102570975，比指定的顯著水平（一般5%）大，不能拒絕原假設，即相關性不顯著。第三個結果是自由度，第四個結果的數組是列聯表的期望值分布。

14. 單變數統計分析

(1) 用途

 單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。

 單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。

 此外，還可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。

15. 多元線性回歸

(1) 用途

 多元線性回歸模型（multivariable linear regression model ），因變數Y（計量資料）往往受到多個變數X的影響，多元線性回歸模型用於計算各個自變數對因變數的影響程度，可以認為是對多維空間中的點做線性擬合。

(2) 示例

(3) 結果分析

 直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義，從上例中可以看到收入INCOME最有顯著性。

16. 邏輯回歸

(1) 用途

 當因變數Y為2分類變數（或多分類變數時）可以用相應的logistic回歸分析各個自變數對因變數的影響程度。

(2) 示例

(3) 結果分析

 直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義。

❸ python的標准數據類型

沒有標不標准，分為基本數據類型和一些重要常用數據類型，基本類型包含整形浮點型字元串以及布爾類型，重要類型包含列表字典集合等，它們代表了python的設計哲學，簡潔優雅高效

❹ Python 數據模型

Python 風格的關鍵完全體現在 Python 的數據模型上，數據模型所描述的 API ，為使用最地道的語言特性來構建開發者自己的對象提供了工具。

當 Python 解析器遇到特殊句法時，會使用特殊方法去激活一些基本的對象操作。特殊方法以雙下劃線開頭，以雙下劃線結尾。如： obj[key] 的背後就是 __getitem__ 方法。魔術方法是特殊方法的昵稱，特殊方法也叫雙下方法。

使用 __getitem__ 和 __len__ 創建一摞有序的紙牌：

上面的例子，使用 collections.namedtuple 構建了一個簡單的類來表示一張紙牌， namedtuple 用以構建只有少數屬性但沒有方法的類。

我們自定義的 FrenchDeck 類可以像任何 python 標准集合類型一樣使用 len() 函數，查看一疊牌有多少張：

也可以像列表一樣，使用位置索引， d[i] 將調用 __getitem__ 方法：

也可以使用標准庫模塊提供的 random.choice 方法，從序列中隨機選取一個元素。下面，我們如隨機取出一張紙牌：

現在我們已經體會到通過 python 特殊方法，來使用 Python 數據模型的 2 個好處：

因為 __getitem__ 方法把 [] 操作交給了 self.cards 列表，所以我們的 FrenchDeck 實例自動支持切片：

僅僅實現了 __getitem__ 方法，這一摞牌即變得可迭代：

運行結果：

也可以直接調用內置的 reversed 函數，反向迭代 FrenchDeck 實例：

運行結果：

迭代通常是隱式的，比如一個集合類型沒有實現 __contains__ 方法，那麼 in 運算符就會按順序做一次迭代搜索。

因此， in 運算符可以用在我們的 FrenchDeck 實例上，因為它是可迭代的：

FrenchDeck 還可以使用 Python 標准庫中的 sorted 函數，實現排序：

首先定義一個排序依據的函數：

優先按 rank 的大小排序，rank 相同時則比較 suit 的值：

運行結果：

優先按 suit 的大小排序，suit 相同時則比較 rank 的值：

運行結果：

按照目前的設計，FrenchDeck 還不支持洗牌，因為它是不可變的：

shuffle 函數要調換集合中元素的位置，而 FrenchDeck 只實現了不可變的序列協議，可變的序列還必須提供 __setitem__ 方法：

洗牌：

沒有任何的返回值，可見 random.shuffle 就地修改了可變序列 d 。為便於觀察結果，我們定義輸入的輸出函數：

運行結果：

每次洗牌，都是一個隨機的序列：

首先明確一點，特殊方法的存在是為了被 Python 解析器調用的，例如：我們不會使用 obj.__len__() 這種寫法，而是 len(obj) 。在執行 len(obj) 時，如果 obj 是一個自定義類的對象，那麼 Python 會自己去調用我們實現的 __len__ 方法。

對於 Python 內置的數據類型，比如列表、字元串、位元組序列等，那麼 CPython 會抄個近路， __len__ 實際上會返回 PyVarObject 里的 ob_size 屬性，這是因為直接讀取屬性比調用一個方法要快得多。

很多時候，特殊方法的調用是隱式的，比如 for i in x: 這個語句其實是調用 iter(x) ，而這個函數的背後是 x.__iter__() 方法。

通過內置函數如來使用特殊方法是最好的選擇。這些內置函數不僅會調用這些方法，通常還提供額外的好處，對於內置類型來說，它們的速度更快。

下面，我們通過定義一個簡單的二維向量類，再來體會一下 Python 特殊方法的美妙：

使用 Vector 類，就像使用 Python 內置的數據類型一樣簡單：

❺ python語言中有哪些數據類型

python數據類型有很多，這里為大家簡單例舉幾個：

第一種：整數

python可以處理任意大小的整數，當然包含負整數，在python程序中，整數的表示方法和數學上的寫法一模一樣，比如：1,100，-8080,0,等。

計算機由於使用二進制，所以有時候用十六進製表示整數比較方便，十六進制用0x前綴和0-9，a-f表示，比如：0xff00。

第二種：浮點數

浮點數也就是小數，之所以稱為浮點數，是因為按照科學計數法表示時，一個浮點數的小數點位置是可變的。浮點數可以用數學寫法，比如1.23,3.15,-9.01等。但是對於很大或者很小的浮點數，就必須用科學計數法表示，把10用e替代，1.23x10^9就是1.23e9。

整數和浮點數在計算機內部存儲的方法是不同的，整數運算永遠是精確的，而浮點數運算則可能會有四捨五入的誤差。

第三種：字元串

字元串是以「或」括起來的任意文本，比如'abc'，'xyz'等。請注意，「或」本身只是一種表示方式，不是字元串的一部分，因此，字元串'abc'只有a，b，c這3個字元。

第四個：布爾值

布爾值和布爾代數的表示完全一致，一個布爾值只有True、False兩種值，要麼是True，要麼是False，在python中，可以直接用True、False表示布爾值，也可以通過布爾運算計算出來。

布爾值可以用and、or或not運算。

and運算是與運算，只有所有都為True，and運算結果才是True。

or運算是或運算，只要其中有一個為True，or運算結果就是True。

not運算是非運算，它是一個單目運算符，把True變成False，False變成True。

第五個：空值

空值是python里一個特殊的值，用None表示。None不能理解為0，因為0是有意義的，而None是一個特殊的空值。

此外，python還提供了列表、字典等多種數據類型，還允許創建自定義數據類型。

❻ Python 的描述子的使用

關於描述子的詳細介紹見 Python 之描述子 。在此僅僅重申：如果一個對象定義了 __set__() 或者 __delete__() ，它將被視為一個數據描述子（data descriptor）。如果僅僅定義了 __get__() 該對象被稱為非數據描述子（non-data descriptors）。

為什麼要使用描述子呢？我們想像如下場景：使用 Python 模擬學生的成績單，要求記錄成績、學號、姓名，並判斷其是否通過考試。

您可能會這樣寫：

這個實現看起來沒有什麼問題，但是如果錄入分數的時候，錄入了負值，如 -90 ，上述的 check 將會作出一個錯誤的判斷。為此，您會想到發起一個異常，即：

加入，成績錄入沒有問題，而若重新修改成績，此時也可能設定為負值，比如：

這樣又該如何避免意外發生呢？其實，可以藉助 property 修飾符：

是不是很神奇？實際上，property 是基於 descriptor 而實現的。我們再考慮一個問題，錄入成績時，學號也可能錄入為負值，:cry: 難道還要再次重復上述的工作？由此，可見 property 也存在局限性，且沒有充分利用 Python 的「鴨子類型」的特性。既然，property 是基於 descriptor 而實現的，為什麼不能直接從根源改變呢？

我們直接定義一個類，用於描述非負數：

此時，定義成績單將會十分簡潔：

我們也可以簡化 NonNegative ：