python分位數

A. 可以讓你快速用python進行數據分析的10個小技巧

一些小提示和小技巧可能是非常有用的，特別是在編程領域。有時候使用一點點黑客技術，既可以節省時間，還可能挽救「生命」。

一個小小的快捷方式或附加組件有時真是天賜之物，並且可以成為真正的生產力助推器。所以，這里有一些小提示和小技巧，有些可能是新的，但我相信在下一個數據分析項目中會讓你非常方便。

Pandas中數據框數據的Profiling過程

Profiling（分析器）是一個幫助我們理解數據的過程，而Pandas Profiling是一個Python包，它可以簡單快速地對Pandas 的數據框數據進行 探索 性數據分析。

Pandas中df.describe()和df.info()函數可以實現EDA過程第一步。但是，它們只提供了對數據非常基本的概述，對於大型數據集沒有太大幫助。 而Pandas中的Profiling功能簡單通過一行代碼就能顯示大量信息，且在互動式HTML報告中也是如此。

對於給定的數據集，Pandas中的profiling包計算了以下統計信息：

由Pandas Profiling包計算出的統計信息包括直方圖、眾數、相關系數、分位數、描述統計量、其他信息——類型、單一變數值、缺失值等。

安裝

用pip安裝或者用conda安裝

pip install pandas-profiling

conda install -c anaconda pandas-profiling

用法

下面代碼是用很久以前的泰坦尼克數據集來演示多功能Python分析器的結果。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv('titanic/train.csv')

pandas_profiling.ProfileReport(df)

一行代碼就能實現在Jupyter Notebook中顯示完整的數據分析報告，該報告非常詳細，且包含了必要的圖表信息。

還可以使用以下代碼將報告導出到互動式HTML文件中。

profile = pandas_profiling.ProfileReport(df)

profile.to_file(outputfile="Titanic data profiling.html")

Pandas實現互動式作圖

Pandas有一個內置的.plot（）函數作為DataFrame類的一部分。但是，使用此功能呈現的可視化不是互動式的，這使得它沒那麼吸引人。同樣，使用pandas.DataFrame.plot（）函數繪制圖表也不能實現交互。 如果我們需要在不對代碼進行重大修改的情況下用Pandas繪制互動式圖表怎麼辦呢？這個時候就可以用Cufflinks庫來實現。

Cufflinks庫可以將有強大功能的plotly和擁有靈活性的pandas結合在一起，非常便於繪圖。下面就來看在pandas中如何安裝和使用Cufflinks庫。

安裝

pip install plotly

# Plotly is a pre-requisite before installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True)

是時候展示泰坦尼克號數據集的魔力了。

df.iplot()

df.iplot() vs df.plot()

右側的可視化顯示了靜態圖表，而左側圖表是互動式的，更詳細，並且所有這些在語法上都沒有任何重大更改。

Magic命令

Magic命令是Jupyter notebook中的一組便捷功能，旨在解決標准數據分析中的一些常見問題。使用命令％lsmagic可以看到所有的可用命令。

所有可用的Magic命令列表

Magic命令有兩種：行magic命令（line magics），以單個％字元為前綴，在單行輸入操作；單元magic命令（cell magics），以雙%%字元為前綴，可以在多行輸入操作。如果設置為1，則不用鍵入%即可調用Magic函數。

接下來看一些在常見數據分析任務中可能用到的命令：

% pastebin

％pastebin將代碼上傳到Pastebin並返回url。Pastebin是一個在線內容託管服務，可以存儲純文本，如源代碼片段，然後通過url可以與其他人共享。事實上，Github gist也類似於pastebin，只是有版本控制。

在file.py文件中寫一個包含以下內容的python腳本，並試著運行看看結果。

#file.py

def foo(x):

return x

在Jupyter Notebook中使用％pastebin生成一個pastebin url。

%matplotlib notebook

函數用於在Jupyter notebook中呈現靜態matplotlib圖。用notebook替換inline，可以輕松獲得可縮放和可調整大小的繪圖。但記得這個函數要在導入matplotlib庫之前調用。

%run

用％run函數在notebook中運行一個python腳本試試。

%run file.py

%%writefile

%% writefile是將單元格內容寫入文件中。以下代碼將腳本寫入名為foo.py的文件並保存在當前目錄中。

%%latex

%%latex函數將單元格內容以LaTeX形式呈現。此函數對於在單元格中編寫數學公式和方程很有用。

查找並解決錯誤

互動式調試器也是一個神奇的功能，我把它單獨定義了一類。如果在運行代碼單元時出現異常，請在新行中鍵入％debug並運行它。 這將打開一個互動式調試環境，它能直接定位到發生異常的位置。還可以檢查程序中分配的變數值，並在此處執行操作。退出調試器單擊q即可。

Printing也有小技巧

如果您想生成美觀的數據結構，pprint是首選。它在列印字典數據或JSON數據時特別有用。接下來看一個使用print和pprint來顯示輸出的示例。

讓你的筆記脫穎而出

我們可以在您的Jupyter notebook中使用警示框/注釋框來突出顯示重要內容或其他需要突出的內容。注釋的顏色取決於指定的警報類型。只需在需要突出顯示的單元格中添加以下任一代碼或所有代碼即可。

藍色警示框：信息提示

<p class="alert alert-block alert-info">

<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.

If it』s a note, you don』t have to include the word 「Note」.

</p>

黃色警示框：警告

<p class="alert alert-block alert-warning">

<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.

</p>

綠色警示框：成功

<p class="alert alert-block alert-success">

Use green box only when necessary like to display links to related content.

</p>

紅色警示框：高危

<p class="alert alert-block alert-danger">

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

</p>

列印單元格所有代碼的輸出結果

假如有一個Jupyter Notebook的單元格，其中包含以下代碼行：

In [1]: 10+5

11+6

Out [1]: 17

單元格的正常屬性是只列印最後一個輸出，而對於其他輸出，我們需要添加print()函數。然而通過在notebook頂部添加以下代碼段可以一次列印所有輸出。

添加代碼後所有的輸出結果就會一個接一個地列印出來。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢復原始設置：

InteractiveShell.ast_node_interactivity = "last_expr"

使用'i'選項運行python腳本

從命令行運行python腳本的典型方法是：python hello.py。但是，如果在運行相同的腳本時添加-i，例如python -i hello.py，就能提供更多優勢。接下來看看結果如何。

首先，即使程序結束，python也不會退出解釋器。因此，我們可以檢查變數的值和程序中定義的函數的正確性。

其次，我們可以輕松地調用python調試器，因為我們仍然在解釋器中：

import pdb

pdb.pm()

這能定位異常發生的位置，然後我們可以處理異常代碼。

自動評論代碼

Ctrl / Cmd + /自動注釋單元格中的選定行，再次命中組合將取消注釋相同的代碼行。

刪除容易恢復難

你有沒有意外刪除過Jupyter notebook中的單元格？如果答案是肯定的，那麼可以掌握這個撤消刪除操作的快捷方式。

如果您刪除了單元格的內容，可以通過按CTRL / CMD + Z輕松恢復它。

如果需要恢復整個已刪除的單元格，請按ESC + Z或EDIT>撤消刪除單元格。

結論

在本文中，我列出了使用Python和Jupyter notebook時收集的一些小提示。我相信它們會對你有用，能讓你有所收獲，從而實現輕松編碼！

B. Python數據分析 | 數據描述性分析

首先導入一些必要的數據處理包和可視化的包，讀文檔數據並通過前幾行查看數據欄位。

對於我的數據來說，由於數據量比較大，因此對於缺失值可以直接做刪除處理。

得到最終的數據，並提取需要的列作為特徵。

對類別數據進行統計：

類別型欄位包括location、cpc_class、pa_country、pa_state、pa_city、assignee六個欄位，其中：

單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。
單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。

對於數值型數據，首先希望了解一下數據取值范圍的分布，因此可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。

按照發布的時間先後作為橫坐標，數值范圍的分布情況如圖所示.

還可以根據最終分類的結果查看這些數值數據在不同類別上的分布統計。

箱線圖可以更直觀的查看異常值的分布情況。

異常值指數據中的離群點，此處定義超出上下四分位數差值的1.5倍的范圍為異常值，查看異常值的位置。

參考：
python數據分析之數據分布 - yancheng111 - 博客園
python數據統計分析 -

科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。

在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定的拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。

衡量兩個變數的相關性至少有以下三個方法：

皮爾森相關系數（Pearson correlation coefficient） 是反應倆變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。

返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。

斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data ) ，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 秩或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。

返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。

kendall ：

也可以直接對整體數據進行相關性分析，一般來說，相關系數取值和相關強度的關系是：0.8-1.0 極強 0.6-0.8 強 0.4-0.6 中等 0.2-0.4 弱 0.0-0.2 極弱。

C. Python數據可視化 箱線圖

Python數據可視化：箱線圖
一、箱線圖概念
箱形圖（Box-plot）又稱為盒須圖、盒式圖或箱線圖，是一種用作顯示一組數據分散情況資料的統計圖。
計算過程：

（1）計算上四分位數（Q3），中位數，下四分位數（Q1）
（2）計算上四分位數和下四分位數之間的差值，即四分位數差（IQR，interquartile range）Q3-Q1
（3）繪制箱線圖的上下范圍，上限為上四分位數，下限為下四分位數。在箱子內部中位數的位置繪制橫線。
（4）大於上四分位數1.5倍四分位數差的值，或者小於下四分位數1.5倍四分位數差的值，劃為異常值（outliers）。
（5）異常值之外，最靠近上邊緣和下邊緣的兩個值處，畫橫線，作為箱線圖的觸須。
（6）極端異常值，即超出四分位數差3倍距離的異常值，用實心點表示；較為溫和的異常值，即處於1.5倍-3倍四分位數差之間的異常值，用空心點表示。
（7）為箱線圖添加名稱，數軸等

二、四分位數的計算

分位數根據其將數列等分的形式不同可以分為中位數，四分位數，十分位數、百分位數等等。四分位數作為分位數的一種形式，在統計中有著十分重要的意義和作用，而大多數的統計學原理教材只介紹其基本含義，對其具體計算，尤其是由組距數列計算都不作介紹，成為統計學原理教材中的空白。那麼，如何根據數列計算四分位數呢？一般來講，視資料是否分組而定。

1、根據未分組的資料計算四分位數

第一步：確定四分位數的位置

四分位數是將數列等分成四個部分的數，一個數列有三個四分位數，設下分位數、中分位數和上分位式中n表示資料的項數

第二步:根據第一步所確定的四分位數的位置，確定其相應的四分位數。
例1：某車間某月份的工人生產某產品的數量分別為13、13.5、13.8、13.9、14、14.6、14.8、15、15.2、15.4、15.7公斤，則三個四分位數的位置分別為：

即變數數列中的第三個、第六個、第九個工人的某種產品產量分別為下四分位數、中位 數和上四分位數。即：
Q1 =13.8公斤、Q2=14.6公斤、Q3=15.2公斤
上例中（n+1）恰好為4的倍數，所以確定四分數較簡單，如果（n+1）不為4的整數倍數，按上述分式計算出來的四分位數位置就帶有小數，這時，有關的四分位數就應該是與該小數相鄰的兩個整數位置上的標志值的平均數，權數的大小取決於兩個整數位置距離的遠近，距離越近，權數越大，距離越遠，權數越小,權數之和等於1。
例2：某車間某月份的工人生產某產品的數量分別為13、13.5、13.8、13.9、14、14.6、14.8、15、15.2、15.4公斤，則三個四分位數的位置分別為：

即變數數列中的第2.75項、第5.5項、第8.25項工人的某種產品產量分別為下四分位 數、中位數和上四分位數。即：

在實際資料中，由於標志值序列中的相鄰標志值往往是相同的，因而不一定要通過計算才能得到有關的四分位數。

2、由組距式數列確定四分位數

第一步，向上或向下累計次數.
第二步，根據累計次數確定四分位數的位置.
（1）、當採用向上累計次數的資料確定四分位數時，四分位數位置的公式是：

（2）、當採用向下累計次數的資料確定四分位數時，四分位數位置的公式是：

第三步，根據四分位數的位置算出各四分位數.
（1）、當累計次數是向上累計時，按下限公式計算各四分位數.

（2）、當累計次數是向下累計時，按上限公式計算各四分位數.

例3：某企業職工按月工資的分組資料如下：

根據上述資料確定某企業職工的月工資的三個四分位數如下：
（1）、採用向上累計職工人數的資料得月工資四分位數的位置為:
（2）、採用向下累計職工人數的資料得月工資四分位數的位置為:

3、異常值

異常值：限制線以外的數據全部為異常值
三、畫圖

# Python
import plotly.plotly
import plotly.graph_objs as go

data = [
go.Box(
y=[0, 1, 1, 2, 3, 5, 8, 13, 21] # 9個數據
)
]
plotly.offline.plot(data) # 離線繪圖

D. python數據統計分析

1. 常用函數庫

  scipy包中的stats模塊和statsmodels包是python常用的數據分析工具，scipy.stats以前有一個models子模塊，後來被移除了。這個模塊被重寫並成為了現在獨立的statsmodels包。

 scipy的stats包含一些比較基本的工具，比如：t檢驗，正態性檢驗，卡方檢驗之類，statsmodels提供了更為系統的統計模型，包括線性模型，時序分析，還包含數據集，做圖工具等等。

2. 小樣本數據的正態性檢驗

(1) 用途

 夏皮羅維爾克檢驗法 (Shapiro-Wilk) 用於檢驗參數提供的一組小樣本數據線是否符合正態分布，統計量越大則表示數據越符合正態分布，但是在非正態分布的小樣本數據中也經常會出現較大的W值。需要查表來估計其概率。由於原假設是其符合正態分布，所以當P值小於指定顯著水平時表示其不符合正態分布。

 正態性檢驗是數據分析的第一步，數據是否符合正態性決定了後續使用不同的分析和預測方法，當數據不符合正態性分布時，我們可以通過不同的轉換方法把非正太態數據轉換成正態分布後再使用相應的統計方法進行下一步操作。

(2) 示例

(3) 結果分析

 返回結果 p-value=0.029035290703177452，比指定的顯著水平（一般為5%）小，則拒絕假設：x不服從正態分布。

3. 檢驗樣本是否服務某一分布

(1) 用途

 科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。

(2) 示例

(3) 結果分析

 生成300個服從N(0,1)標准正態分布的隨機數，在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定地拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。

4.方差齊性檢驗

(1) 用途

 方差反映了一組數據與其平均值的偏離程度，方差齊性檢驗用以檢驗兩組或多組數據與其平均值偏離程度是否存在差異，也是很多檢驗和演算法的先決條件。

(2) 示例

(3) 結果分析

 返回結果 p-value=0.19337536323599344, 比指定的顯著水平（假設為5%）大，認為兩組數據具有方差齊性。

5. 圖形描述相關性

(1) 用途

 最常用的兩變數相關性分析，是用作圖描述相關性，圖的橫軸是一個變數，縱軸是另一變數，畫散點圖，從圖中可以直觀地看到相關性的方向和強弱，線性正相關一般形成由左下到右上的圖形；負面相關則是從左上到右下的圖形，還有一些非線性相關也能從圖中觀察到。

(2) 示例

(3) 結果分析

 從圖中可以看到明顯的正相關趨勢。

6. 正態資料的相關分析

(1) 用途

 皮爾森相關系數（Pearson correlation coefficient）是反應兩變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。

(2) 示例

(3) 結果分析

 返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。

7. 非正態資料的相關分析

(1) 用途

 斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data )，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 值或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。

(2) 示例

(3) 結果分析

 返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。

8. 單樣本T檢驗

(1) 用途

 單樣本T檢驗，用於檢驗數據是否來自一致均值的總體，T檢驗主要是以均值為核心的檢驗。注意以下幾種T檢驗都是雙側T檢驗。

(2) 示例

(3) 結果分析

 本例中生成了2列100行的數組，ttest_1samp的第二個參數是分別對兩列估計的均值，p-value返回結果，第一列1.47820719e-06比指定的顯著水平（一般為5%）小，認為差異顯著，拒絕假設；第二列2.83088106e-01大於指定顯著水平，不能拒絕假設：服從正態分布。

9. 兩獨立樣本T檢驗

(1) 用途

 由於比較兩組數據是否來自於同一正態分布的總體。注意：如果要比較的兩組數據不滿足方差齊性， 需要在ttest_ind()函數中添加參數equal_var = False。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.19313343989106416，比指定的顯著水平（一般為5%）大，不能拒絕假設，兩組數據來自於同一總結，兩組數據之間無差異。

10. 配對樣本T檢驗

(1) 用途

 配對樣本T檢驗可視為單樣本T檢驗的擴展，檢驗的對象由一群來自正態分布獨立樣本更改為二群配對樣本觀測值之差。它常用於比較同一受試對象處理的前後差異，或者按照某一條件進行兩兩配對分別給與不同處理的受試對象之間是否存在差異。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.80964043445811551，比指定的顯著水平（一般為5%）大，不能拒絕假設。

11. 單因素方差分析

(1) 用途

 方差分析(Analysis of Variance，簡稱ANOVA)，又稱F檢驗，用於兩個及兩個以上樣本均數差別的顯著性檢驗。方差分析主要是考慮各組之間的平均數差別。

 單因素方差分析（One-wayAnova），是檢驗由單一因素影響的多組樣本某因變數的均值是否有顯著差異。

 當因變數Y是數值型，自變數X是分類值，通常的做法是按X的類別把實例成分幾組，分析Y值在X的不同分組中是否存在差異。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，它由組間差異除以組間差異得到，上例中組間差異很大，第二個返回值p-value=6.2231520821576832e-19小於邊界值（一般為0.05）,拒絕原假設, 即認為以上三組數據存在統計學差異，並不能判斷是哪兩組之間存在差異 。只有兩組數據時，效果同 stats.levene 一樣。

12. 多因素方差分析

(1) 用途

 當有兩個或者兩個以上自變數對因變數產生影響時，可以用多因素方差分析的方法來進行分析。它不僅要考慮每個因素的主效應，還要考慮因素之間的交互效應。

(2) 示例

(3) 結果分析

 上述程序定義了公式，公式中，"~"用於隔離因變數和自變數，」+「用於分隔各個自變數， ":"表示兩個自變數交互影響。從返回結果的P值可以看出，X1和X2的值組間差異不大，而組合後的T:G的組間有明顯差異。

13. 卡方檢驗

(1) 用途

 上面介紹的T檢驗是參數檢驗，卡方檢驗是一種非參數檢驗方法。相對來說，非參數檢驗對數據分布的要求比較寬松，並且也不要求太大數據量。卡方檢驗是一種對計數資料的假設檢驗方法，主要是比較理論頻數和實際頻數的吻合程度。常用於特徵選擇，比如，檢驗男人和女人在是否患有高血壓上有無區別，如果有區別，則說明性別與是否患有高血壓有關，在後續分析時就需要把性別這個分類變數放入模型訓練。

 基本數據有R行C列, 故通稱RC列聯表(contingency table), 簡稱RC表，它是觀測數據按兩個或更多屬性（定性變數）分類時所列出的頻數表。

(2) 示例

(3) 結果分析

 卡方檢驗函數的參數是列聯表中的頻數，返回結果第一個值為統計量值，第二個結果為p-value值，p-value=0.54543425102570975，比指定的顯著水平（一般5%）大，不能拒絕原假設，即相關性不顯著。第三個結果是自由度，第四個結果的數組是列聯表的期望值分布。

14. 單變數統計分析

(1) 用途

 單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。

 單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。

 此外，還可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。

15. 多元線性回歸

(1) 用途

 多元線性回歸模型（multivariable linear regression model ），因變數Y（計量資料）往往受到多個變數X的影響，多元線性回歸模型用於計算各個自變數對因變數的影響程度，可以認為是對多維空間中的點做線性擬合。

(2) 示例

(3) 結果分析

 直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義，從上例中可以看到收入INCOME最有顯著性。

16. 邏輯回歸

(1) 用途

 當因變數Y為2分類變數（或多分類變數時）可以用相應的logistic回歸分析各個自變數對因變數的影響程度。

(2) 示例

(3) 結果分析

 直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義。

E. Python pandas用法

在Python中，pandas是基於NumPy數組構建的，使數據預處理、清洗、分析工作變得更快更簡單。pandas是專門為處理表格和混雜數據設計的，而NumPy更適合處理統一的數值數組數據。
使用下面格式約定，引入pandas包：

pandas有兩個主要數據結構：Series和DataFrame。

Series是一種類似於一維數組的對象，它由 一組數據 （各種NumPy數據類型）以及一組與之相關的 數據標簽（即索引） 組成，即index和values兩部分，可以通過索引的方式選取Series中的單個或一組值。

pd.Series(list,index=[ ]) ，第二個參數是Series中數據的索引，可以省略。

Series類型索引、切片、運算的操作類似於ndarray，同樣的類似Python字典類型的操作，包括保留字in操作、使用.get()方法。
Series和ndarray之間的主要區別在於Series之間的操作會根據索引自動對齊數據。

DataFrame是一個表格型的數據類型，每列值類型可以不同，是最常用的pandas對象。DataFrame既有行索引也有列索引，它可以被看做由Series組成的字典（共用同一個索引）。DataFrame中的數據是以一個或多個二維塊存放的（而不是列表、字典或別的一維數據結構）。

pd.DataFrame(data,columns = [ ],index = [ ]) ：columns和index為指定的列、行索引，並按照順序排列。

如果創建時指定了columns和index索引，則按照索引順序排列，並且如果傳入的列在數據中找不到，就會在結果中產生缺失值：

數據索引 ：Series和DataFrame的索引是Index類型，Index對象是不可修改，可通過索引值或索引標簽獲取目標數據，也可通過索引使序列或數據框的計算、操作實現自動化對齊。索引類型index的常用方法：

重新索引 ：能夠改變、重排Series和DataFrame索引，會創建一個新對象，如果某個索引值當前不存在，就引入缺失值。
df.reindex(index, columns ,fill_value, method, limit, ) ：index/columns為新的行列自定義索引；fill_value為用於填充缺失位置的值；method為填充方法，ffill當前值向前填充，bfill向後填充；limit為最大填充量； 默認True，生成新的對象，False時，新舊相等不復制。

刪除指定索引 ：默認返回的是一個新對象。
.drop() ：能夠刪除Series和DataFrame指定行或列索引。
刪除一行或者一列時，用單引號指定索引，刪除多行時用列表指定索引。
如果刪除的是列索引，需要增加axis=1或axis='columns'作為參數。
增加inplace=True作為參數，可以就地修改對象，不會返回新的對象。

在pandas中，有多個方法可以選取和重新組合數據。對於DataFrame，表5-4進行了總結

適用於Series和DataFrame的基本統計分析函數 ：傳入axis='columns'或axis=1將會按行進行運算。
.describe() ：針對各列的多個統計匯總，用統計學指標快速描述數據的概要。
.sum() ：計算各列數據的和
.count() ：非NaN值的數量
.mean( )/.median() ：計算數據的算術平均值、算術中位數
.var()/.std() ：計算數據的方差、標准差
.corr()/.cov() ：計算相關系數矩陣、協方差矩陣，是通過參數對計算出來的。Series的corr方法用於計算兩個Series中重疊的、非NA的、按索引對齊的值的相關系數。DataFrame的corr和cov方法將以DataFrame的形式分別返回完整的相關系數或協方差矩陣。
.corrwith() ：利用DataFrame的corrwith方法，可以計算其列或行跟另一個Series或DataFrame之間的相關系數。傳入一個Series將會返回一個相關系數值Series（針對各列進行計算），傳入一個DataFrame則會計算按列名配對的相關系數。
.min()/.max() ：計算數據的最小值、最大值
.diff() ：計算一階差分，對時間序列很有效
.mode() ：計算眾數，返回頻數最高的那（幾）個
.mean() ：計算均值
.quantile() ：計算分位數（0到1）
.isin() ：用於判斷矢量化集合的成員資格，可用於過濾Series中或DataFrame列中數據的子集
適用於Series的基本統計分析函數，DataFrame[列名]返回的是一個Series類型。
.unique() ：返回一個Series中的唯一值組成的數組。
.value_counts() ：計算一個Series中各值出現的頻率。
.argmin()/.argmax() ：計算數據最大值、最小值所在位置的索引位置（自動索引）
.idxmin()/.idxmax() ：計算數據最大值、最小值所在位置的索引（自定義索引）

pandas提供了一些用於將表格型數據讀取為DataFrame對象的函數。下表對它們進行了總結，其中read_csv()、read_table()、to_csv()是用得最多的。

在數據分析和建模的過程中，相當多的時間要用在數據准備上：載入、清理、轉換以及重塑。

在許多數據分析工作中，缺失數據是經常發生的。對於數值數據，pandas使用浮點值NaN（np.nan）表示缺失數據，也可將缺失值表示為NA（Python內置的None值）。

替換值
.replace(old, new) ：用新的數據替換老的數據，如果希望一次性替換多個值，old和new可以是列表。默認會返回一個新的對象，傳入inplace=True可以對現有對象進行就地修改。

刪除重復數據

利用函數或字典進行數據轉換

df.head()：查詢數據的前五行
df.tail()：查詢數據的末尾5行
pandas.cut()
pandas.qcut() 基於分位數的離散化函數。基於秩或基於樣本分位數將變數離散化為等大小桶。
pandas.date_range() 返回一個時間索引
df.apply() 沿相應軸應用函數
Series.value_counts() 返回不同數據的計數值
df.aggregate()
df.reset_index() 重新設置index，參數drop = True時會丟棄原來的索引，設置新的從0開始的索引。常與groupby()一起用
numpy.zeros()