python數據分析工具
㈠ python工具有哪些
第一款：最強終端 Upterm
它是一個全平台的終端，可以說是終端里的IDE，有著強大的自動補全功能，之前的名字叫作：BlackWindow。有人跟他說這個名字不利於社區推廣，改名叫Upterm之後現在已經17000+Star了。
第二款：互動式解釋器 PtPython
一個互動式的Python解釋器，支持語法高亮、提示，甚至是VIM和emacs的鍵入模式。
第三款：包管理必備 Anaconda
強烈推薦：Anaconda。它能幫你安裝許多麻煩的東西，包括：Python環境、pip包管理工具、常用的庫、配置好環境路徑等等。這些小事情小白自己一個個去做的話，容易遇到各種問題，也容易造成挫敗感。如果你想用Python搞數據方面的事情，安裝它就可以了，它甚至開發了一套JIT的解釋器Numba。所以Anaconda有了JIT之後，對線上科學計算效率要求比較高的東西也可以搞定了。
第四款：編輯器 Sublime3
如果你是小白的話，推薦從PyCharm開始上手，但是有時候寫一些輕量的小腳本，就會想到輕量級一點的工具。Sublime3很多地方都有了極大的提升，並且用起來比原來還要簡單，配合安裝Anaconda或CodeIntel插件，可以讓Sublime3擁有近乎IDE的體驗。
第五款：前端在線編輯器 CodeSandbox
雖然這個不算是真正意義上的Python開發工具，但如果後端工程師想要寫前端的話，這個在線編輯器太方便了，節省了後端工程師的生命。不用安裝npm的幾千個包了，它已經在雲端完成了，才讓你直接就可以上手寫代碼、看效果。對於React、Vue這些主流前端框架都支持。
第六款：Python Tutor
Python
Tutor是一個免費教育工具，可幫助學生攻克編程學習中的基礎障礙，理解每一行源代碼在程序執行時在計算機中的過程。通過這個工具，教師或學生可以直接在web瀏覽器中編寫Python代碼，並逐步可視化地運行程序。
第七款：IPython
如何進行互動式編程?沒錯，就是通過IPython。IPython相對於Python自帶的shell要好用的多，並且能夠支持代碼縮進、TAB鍵補全代碼等功能。如果進行互動式編程，這是不可缺少的工具。
第八款：Jupyter Notebook
Jupyter
Notebook就像一個草稿本，能將文本注釋、數學方程、代碼和可視化內容全部組合到一個易於共享的文檔中，以Web頁面的方式展示，它是數據分析、機器學習的必備工具。
第九款：Pycharm
Pycharm是程序員常常使用的開發工具，簡單、易用，並且能夠設置不同的主題模式，根據自己的喜好來設置代碼風格。
第十款：Python Tutor
這個工具可能對初學者比較有用，而對於中高級程序員則用處較少。這個工具的特色是能夠清楚的理解每一行代碼是如何在計算機中執行的，中高級程序員一般通過分步調試可以實現類似的功能。這個工具對於最初接觸Python、最初來學習編程的同學還是非常有用的，初學者可以體驗一下。
㈡ 有哪些好用的Python庫
Python作為一門膠水語言，第三方庫眾多，下面我簡單介紹幾個好用的Python庫：
tensorflow
這是谷歌非常著名的一個開源機器學習框架，在業界非常受歡迎，可以靈活、快速的構建大規模機器學習應用（如神經網路等），性能和可移植性都非常不錯，支持GPU並行計算，如果你對機器學習比較感興趣，也想深入了解一下的話，可以學習一下這個框架，非常不錯：
pandas
如果你對數據分析比較感興趣，那麼pandas就是一個非常不錯的選擇，專門為數據分析而建，內置的函數和方法可以快速處理Excel，CSV等文件，而且提供了實時分析功能，代碼量更少，使用起來也更方便，對於數據處理來說，是一個非常不錯的分析工具：
matplotlib
這是Python的一個數據可視化庫，可以快速製作我們常見的圖表，如柱狀圖、餅狀圖、散點圖等，當然，也不僅僅限於這些，還有很多，如果你想畫出更多美麗的圖表，可以考慮學習一下這個庫，非常值得學習，當然，seaborn，pyecharts等這些可視化庫也非常不錯：
tushare
如果你對金融財經比較感興趣，想快速獲取股票等行情數據，也不想編寫復雜的處理代碼，那麼tushare就是一個非常不錯的選擇，自動整合了國內大部分金融財經數據，完成了數據從採集、清洗和存儲的全過程，只需簡單的幾行代碼就可以實時快速獲取到你所想要的數據，免費且開源：
PyQt
這是Python的一個GUI開發庫，如果你想快速創建一個桌面GUI程序，想直接拖拽控制項布局界面的話，那麼PyQt就是一個非常不錯的選擇，基於Qt的QtDesigner設計工具，你可以直接拖拽Qt大量的控制項快速構建出你自己的桌面應用，簡單而又快捷：
Kivy
如果你想利用Python開發一個安卓應用，那麼kivy就是一個非常不錯的選擇，這是Python的一個開源、跨平台的GUI庫，只需要編寫一套代碼，即可運行在大部分桌面及移動平台上，包括winsows，linux，ios，android等，非常不錯：
scrapy
這是Python的一個爬蟲框架，在也就非常受歡迎，如果你想快速的定製自己的爬蟲程序，又不想重復的造輪子的話，可以學習一下這個庫，只需要添加少量的代碼，就可啟動屬於自己的一個爬蟲應用，非常方便：
django
這是一個流行的PythonWeb框架，如果你想快速構建一個自己的web應用，那麼這個框架就非常值得學習，成熟穩重，基於MVC模式，使用起來非常方便，當然，也有輕量級的web框架，如flask，tornado等，也都非常不錯：
pygame
如果你想快速開發一個小型游戲，又不想低級語言的束縛，可以考慮學習一下這個庫，非常簡單，只需要少量的代碼便可構建一個游戲應用，當然，它也是一個非常不錯的GUI庫，對於桌面開發來說，也是一個不錯的選擇：
you-get
這是Python的一個視頻、音頻下載庫，如果你想免費快速下載優派卜酷、B站、騰訊等網站的視頻，安裝這個庫後，只塵豎穗需要簡單的一行命令就可直接下載，非常方便，纖嘩而且還可以在線觀看，查看視頻文件格式及清晰度等，當然，圖片也可直接下載：
就介紹這10個不錯的Python庫吧，對於日常學習開發來說，非常不錯，當然，還有許多其他好用的Python庫，這個可以到網上搜索一下，非常多，也歡迎大家留言補充。
㈢ python 數據挖掘需要用哪些庫和工具
python 數據挖掘常用的庫太多了！主要分為以下幾大類：
第一數據獲取：request,BeautifulSoup
第二基本數學庫：numpy
第三 資料庫出路 pymongo
第四 圖形可視化 matplotlib
第五 樹分析基本的庫 pandas
數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘本質上像是機器學習和人工智慧的基礎，它的主要目的是從各種各樣的數據來源中，提取出超集的信息，然後將這些信息合並讓你發現你從來沒有想到過的模式和內在關系。這就意味著，數據挖掘不是一種用來證明假說的方法，而是用來構建各種各樣的假說的方法。
想要了解更多有關python 數據挖掘的信息，可以了解一下CDA數據分析師的課程。CDA數據分析師證書的含金量是很高的，簡單從兩個方面分析一下：首先是企業對於CDA的認可，經管之家CDA LEVEL Ⅲ數據科學家認證證書，屬於行業頂尖的人才認證，已獲得IBM大數據大學，中國電信，蘇寧，德勤，獵聘，CDMS等企業的認可。CDA證書逐漸獲得各企業用人單位認可與引進，如中國電信、中國移動、德勤，蘇寧，中國銀行，重慶統計局等。點擊預約免費試聽課。
㈣ Python數據分析： 初識Pandas，理解Pandas實現和原理
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理
01 重要的前言
這段時間和一些做數據分析的同學閑聊，我發現數據分析技能入門階段存在一個普遍性的問題，很多憑著興趣入坑的同學，都能夠很快熟悉Python基礎語法，然後不約而同的一頭扎進《利用Python進行數據分析》這本經典之中，硬著頭皮啃完之後，好像自己什麼都會了一點，然而實際操作起來既不知從何操起，又漏洞百出。
至於原因嘛，理解不夠，實踐不夠是兩條老牌的攔路虎，只能靠自己來克服。還有一個非常有意思且經常被忽視的因素——陷入舉三反一的懵逼狀態。
什麼意思呢？假如我是個旱鴨子，想去學游泳，教練很認真的給我剖析了蛙泳的動作，扶著我的腰讓我在水裡劃拉了5分鍾，接著馬上給我講解了蝶泳，又是劃拉了5分鍾，然後又硬塞給我潛泳的姿勢，依然是劃拉5分鍾。最後，教練一下子把我丟進踩不到底的泳池，給我吶喊助威。
作為一個還沒入門的旱鴨子，教練傾囊授了我3種游泳技巧，讓我分別實踐了5分鍾。這樣做的結果就是我哪一種游泳技巧也沒學會，只學會了喝水。當一個初學者一開始就陷入針對單個問題的多種解決方法，而每一種方法的實踐又淺嘗輒止，在面對具體問題時往往會手忙腳亂。
拿Pandas來說，它的多種構造方式，多種索引方式以及類似效果的多種實現方法，很容易把初學者打入舉三反一的懵逼狀態。所以，盡量避開這個坑也是我寫Pandas基礎系列的初衷，希望通過梳理和精簡知識點的方式，給需要的同學一些啟發。目前暫定整個基礎系列分為4篇，基礎篇過後便是有趣的實戰篇。
下面開始進入正題（我真是太嘮叨了）。
02 Pandas簡介
江湖上流傳著這么一句話——分析不識潘大師（PANDAS），縱是老手也枉然。
Pandas是基於Numpy的專業數據分析工具，可以靈活高效的處理各種數據集，也是我們後期分析案例的神器。它提供了兩種類型的數據結構，分別是DataFrame和Series，我們可以簡單粗暴的把DataFrame理解為Excel裡面的一張表，而Series就是表中的某一列，後面學習和用到的所有Pandas騷操作，都是基於這些表和列進行的操作（關於Pandas和Excel的形象關系，這里推薦我的好朋友張俊紅寫的《對比EXCEL，輕松學習Python數據分析》)。
這里有一點需要強調，Pandas和Excel、SQL相比，只是調用和處理數據的方式變了，核心都是對源數據進行一系列的處理，在正式處理之前，更重要的是謀定而後動，明確分析的意義，理清分析思路之後再處理和分析數據，往往事半功倍。
03 創建、讀取和存儲
1、創建
在Pandas中我們想要構造下面這一張表應該如何操作呢？
別忘了，第一步一定是先導入我們的庫——import pandas as pd
構造DataFrame最常用的方式是字典+列表，語句很簡單，先是字典外括，然後依次打出每一列標題及其對應的列值（此處一定要用列表），這里列的順序並不重要：
左邊是jupyter notebook中dataframe的樣子，如果對應到excel中，他就是右邊表格的樣子，通過改變columns,index和values的值來控制數據。
PS,如果我們在創建時不指定index，系統會自動生成從0開始的索引。
2、 讀取
更多時候，我們是把相關文件數據直接讀進PANDAS中進行操作，這里介紹兩種非常接近的讀取方式，一種是CSV格式的文件，一種是EXCEL格式（.xlsx和xls後綴）的文件。
讀取csv文件：
engine是使用的分析引擎，讀取csv文件一般指定python避免中文和編碼造成的報錯。而讀取Excel文件，則是一樣的味道：
非常easy，其實read_csv和read_excel還有一些參數，比如header、sep、names等，大家可以做額外了解。實踐中數據源的格式一般都是比較規整的，更多情況是直接讀取。
3、存儲
存儲起來一樣非常簡單粗暴且相似：
04 快速認識數據
這里以我們的案例數據為例，迅速熟悉查看N行，數據格式概覽以及基礎統計數據。
1、查看數據，掐頭看尾
很多時候我們想要對數據內容做一個總覽，用df.head()函數直接可以查看默認的前5行，與之對應，df.tail()就可以查看數據尾部的5行數據，這兩個參數內可以傳入一個數值來控制查看的行數，例如df.head(10)表示查看前10行數據。
2、 格式查看
df.info()幫助我們一步摸清各列數據的類型，以及缺失情況：
從上面直接可以知道數據集的行列數，數據集的大小，每一列的數據類型，以及有多少條非空數據。
3、統計信息概覽
快速計算數值型數據的關鍵統計指標，像平均數、中位數、標准差等等。
我們本來有5列數據，為什麼返回結果只有兩列？那是因為這個操作只針對數值型的列。其中count是統計每一列的有多少個非空數值，mean、std、min、max對應的分別是該列的均值、標准差、最小值和最大值，25%、50%、75%對應的則是分位數。
05 列的基本處理方式
這里，我們採用SQL四大法寶的邏輯來簡單梳理針對列的基本處理方式——增、刪、選、改。
溫馨提示：使用Pandas時，盡量避免用行或者EXCEL操作單元格的思維來處理數據，要逐漸養成一種列向思維，每一列是同宗同源，處理起來是嗖嗖的快。
1、增
增加一列，用df[『新列名』] = 新列值的形式，在原數據基礎上賦值即可：
2、刪：
我們用drop函數制定刪除對應的列，axis = 1表示針對列的操作，inplace為True，則直接在源數據上進行修改，否則源數據會保持原樣。
3、選：
想要選取某一列怎麼辦？df[『列名』]即可：
選取多列呢？需要用列表來傳遞：df[[『第一列』,『第二列』,『第三列』…]]
4、 改：
好事多磨，復雜的針對特定條件和行列的篩選、修改，放在後面結合案例細講，這里只講一下最簡單的更改：df[『舊列名』] = 某個值或者某列值，就完成了對原列數值的修改。
06 常用數據類型及操作
1、字元串
字元串類型是最常用的格式之一了，Pandas中字元串的操作和原生字元串操作幾乎一毛一樣，唯一不同的是需要在操作前加上".str"。
小Z溫馨提示：我們最初用df2.info()查看數據類型時，非數值型的列都返回的是object格式，和str類型深層機制上的區別就不展開了，在常規實際應用中，我們可以先理解為object對應的就是str格式，int64對應的就是int格式，float64對應的就是float格式即可。
在案例數據中，我們發現來源明細那一列，可能是系統導出的歷史遺留問題，每一個字元串前面都有一個「-」符號，又丑又無用，所以把他給拿掉：
一般來說清洗之後的列是要替換掉原來列的：
2、 數值型
數值型數據，常見的操作是計算，分為與單個值的運算，長度相等列的運算。
以案例數據為例，源數據訪客數我們是知道的，現在想把所有渠道的訪客都加上10000，怎麼操作呢？
只需要選中訪客數所在列，然後加上10000即可，pandas自動將10000和每一行數值相加，針對單個值的其他運算（減乘除）也是如此。
列之間的運算語句也非常簡潔。源數據是包含了訪客數、轉化率和客單價，而實際工作中我們對每個渠道貢獻的銷售額更感興趣。（銷售額 = 訪客數 X 轉化率 X 客單價）
對應操作語句：df[『銷售額』] = df[『訪客數』] * df[『轉化率』] * df[『客單價』]
但為什麼瘋狂報錯？
導致報錯的原因，是數值型數據和非數值型數據相互計算導致的。PANDAS把帶「%」符號的轉化率識別成字元串類型，我們需要先拿掉百分號，再將這一列轉化為浮點型數據：
要注意的是，這樣操作，把9.98%變成了9.98，所以我們還需要讓支付轉化率除以100，來還原百分數的真實數值：
然後，再用三個指標相乘計算銷售額：
3、時間類型
PANDAS中時間序列相關的水非常深，這里只對日常中最基礎的時間格式進行講解，對時間序列感興趣的同學可以自行查閱相關資料，深入了解。
以案例數據為例，我們這些渠道數據，是在2019年8月2日提取的，後面可能涉及到其他日期的渠道數據，所以需要加一列時間予以區分，在EXCEL中常用的時間格式是』2019-8-3』或者』2019/8/3』，我們用PANDAS來實現一下：
在實際業務中，一些時候PANDAS會把文件中日期格式的欄位讀取為字元串格式，這里我們先把字元串』2019-8-3』賦值給新增的日期列，然後用to_datetime()函數將字元串類型轉換成時間格式：
轉換成時間格式（這里是datetime64）之後，我們可以用處理時間的思路高效處理這些數據，比如，我現在想知道提取數據這一天離年末還有多少天（『2019-12-31』），直接做減法（該函數接受時間格式的字元串序列，也接受單個字元串）：
㈤ 如何利用python進行數據分析
利用python進行數據分析
鏈接: https://pan..com/s/15VdW4dcuPuIUEPrY3RehtQ
本書也可以作為利用Python實現數據密集型應用的科學計算實踐指南。本書適合剛剛接觸Python的分析人員以及剛剛接觸科學計算的Python程序員。
㈥ 如何用python寫 數據分析工具
數據導入
導入本地的或者web端的CSV文件；
數據變換；
數據統計描述；
假設檢驗
單樣本t檢驗；
可視化；
創建自定義函數。
t : 浮點或數組類型
t統計量prob : 浮點或數組類型
two-tailed p-value 雙側概率值重復100次; 然後
計算出置信區間包含真實均值的百分比
數據導入
這是很關鍵的一步，為了後續的分析我們首先需要導入數據。通常來說，數據是CSV格式，就算不是，至少也可以轉換成CSV格式。在Python中，我們的操作如下：
Python
1
2
3
4
5
6
7
8
import pandas as pd
# Reading data locally
df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')
# Reading data from web
data_url = "t/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"
df = pd.read_csv(data_url)
為了讀取本地CSV文件，我們需要pandas這個數據分析庫中的相應模塊。其中的read_csv函數能夠讀取本地和web數據。
數據變換
既然在工作空間有了數據，接下來就是數據變換。統計學家和科學家們通常會在這一步移除分析中的非必要數據。我們先看看數據：
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# Head of the data
print df.head()
# OUTPUT
0 12432934148330010553
1 41589235 4287806335257
2 17871922 19551074 4544
317152 14501 3536 1960731687
4 12662385 25303315 8520
# Tail of the data
print df.tail()
# OUTPUT
74 2505 20878 3519 1973716513
7560303 40065 7062 1942261808
76 63116756 3561 1591023349
7713345 38902 2583 1109668663
78 2623 18264 3745 1678716900
對R語言程序員來說，上述操作等價於通過print(head(df))來列印數據的前6行，以及通過print(tail(df))來列印數據的後6行。當然Python中，默認列印是5行，而R則是6行。因此R的代碼head(df, n = 10)，在Python中就是df.head(n = 10)，列印數據尾部也是同樣道理。
在R語言中，數據列和行的名字通過colnames和rownames來分別進行提取。在Python中，我們則使用columns和index屬性來提取，如下：
Python
1
2
3
4
5
6
7
8
9
10
11
# Extracting column names
print df.columns
# OUTPUT
Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')
# Extracting row names or the index
print df.index
# OUTPUT
Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')
數據轉置使用T方法，
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# Transpose data
print df.T
# OUTPUT
01 23 45 67 89
Abra1243 41581787171521266 5576 927215401039 5424
Apayao2934 92351922145012385 7452109917038138210588
Benguet148 42871955 353625307712796 24632592 1064
Ifugao3300
... 69 70 71 72 73 74 75 76 77
Abra ...12763 247059094 620913316 250560303 631113345
Apayao ...376251953235126 6335386132087840065 675638902
Benguet... 2354 4045 5987 3530 2585 3519 7062 3561 2583
Ifugao ... 9838171251894015560 774619737194221591011096
Kalinga...
78
Abra2623
Apayao 18264
Benguet 3745
Ifugao 16787
Kalinga16900
Other transformations such as sort can be done using<code>sort</code>attribute. Now let's extract a specific column. In Python, we do it using either<code>iloc</code>or<code>ix</code>attributes, but<code>ix</code>is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have
其他變換，例如排序就是用sort屬性。現在我們提取特定的某列數據。Python中，可以使用iloc或者ix屬性。但是我更喜歡用ix，因為它更穩定一些。假設我們需數據第一列的前5行，我們有：
Python
1
2
3
4
5
6
7
8
9
print df.ix[:, 0].head()
# OUTPUT
0 1243
1 4158
2 1787
317152
4 1266
Name: Abra, dtype: int64
順便提一下，Python的索引是從0開始而非1。為了取出從11到20行的前3列數據，我們有：
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
print df.ix[10:20, 0:3]
# OUTPUT
AbraApayaoBenguet
109811311 2560
1127366 15093 3039
12 11001701 2382
13 7212 11001 1088
14 10481427 2847
1525679 15661 2942
16 10552191 2119
17 54376461734
18 10291183 2302
1923710 12222 2598
20 10912343 2654
上述命令相當於df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。
為了舍棄數據中的列，這里是列1(Apayao)和列2(Benguet)，我們使用drop屬性，如下：
Python
1
2
3
4
5
6
7
8
9
print df.drop(df.columns[[1, 2]], axis = 1).head()
# OUTPUT
AbraIfugaoKalinga
0 1243330010553
1 4158806335257
2 17871074 4544
317152 1960731687
4 12663315 8520
axis參數告訴函數到底舍棄列還是行。如果axis等於0，那麼就舍棄行。
統計描述
下一步就是通過describe屬性，對數據的統計特性進行描述：
Python
1
2
3
4
5
6
7
8
9
10
11
12
print df.describe()
# OUTPUT
AbraApayaoBenguetIfugao Kalinga
count 79.000000 79.00000079.000000 79.000000 79.000000
mean 12874.37974716860.6455703237.39240512414.62025330446.417722
std16746.46694515448.1537941588.536429 5034.28201922245.707692
min927.000000401.000000 148.000000 1074.000000 2346.000000
25% 1524.000000 3435.5000002328.000000 8205.000000 8601.500000
50% 5790.00000010588.0000003202.00000013044.00000024494.000000
75%13330.50000033289.0000003918.50000016099.50000052510.500000
max60303.00000054625.0000008813.00000021031.00000068663.000000
假設檢驗
Python有一個很好的統計推斷包。那就是scipy裡面的stats。ttest_1samp實現了單樣本t檢驗。因此，如果我們想檢驗數據Abra列的稻穀產量均值，通過零假設，這里我們假定總體稻穀產量均值為15000，我們有：
Python
1
2
3
4
5
6
7
from scipy import stats as ss
# Perform one sample t-test using 1500 as the true mean
print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)
# OUTPUT
(-1.1281738488299586, 0.26270472069109496)
返回下述值組成的元祖：
通過上面的輸出，看到p值是0.267遠大於α等於0.05，因此沒有充分的證據說平均稻穀產量不是150000。將這個檢驗應用到所有的變數，同樣假設均值為15000，我們有：
Python
1
2
3
4
5
6
print ss.ttest_1samp(a = df, popmean = 15000)
# OUTPUT
(array([ -1.12817385, 1.07053437, -65.81425599,-4.564575, 6.17156198]),
array([2.62704721e-01, 2.87680340e-01, 4.15643528e-70,
1.83764399e-05, 2.82461897e-08]))
第一個數組是t統計量，第二個數組則是相應的p值。
可視化
Python中有許多可視化模塊，最流行的當屬matpalotlib庫。稍加提及，我們也可選擇bokeh和seaborn模塊。之前的博文中，我已經說明了matplotlib庫中的盒須圖模塊功能。
;
Python中，程序如下：
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import numpy as np
import scipy.stats as ss
def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):
m = np.zeros((rep, 4))
for i in range(rep):
norm = np.random.normal(loc = mu, scale = sigma, size = n)
xbar = np.mean(norm)
low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))
up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))
if (mu > low) & (mu < up):
rem = 1
else:
rem = 0
m[i, :] = [xbar, low, up, rem]
inside = np.sum(m[:, 3])
per = inside / rep
desc = "There are " + str(inside) + " confidence intervals that contain "
"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"
return {"Matrix": m, "Decision": desc}
上述代碼讀起來很簡單，但是循環的時候就很慢了。下面針對上述代碼進行了改進，這多虧了Python專家，看我上篇博文的15條意見吧。
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import numpy as np
import scipy.stats as ss
def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):
scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))
norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))
xbar = norm.mean(1)
low = xbar - scaled_crit
up = xbar + scaled_crit
rem = (mu > low) & (mu < up)
m = np.c_[xbar, low, up, rem]
inside = np.sum(m[:, 3])
per = inside / rep
desc = "There are " + str(inside) + " confidence intervals that contain "
"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"
return {"Matrix": m, "Decision": desc}
更新
那些對於本文ipython notebook版本感興趣的，請點擊這里。這篇文章由Nuttens Claude負責轉換成ipython notebook 。
㈦ python(pandas模塊)
Pandas是Python的一個數據分析包，最初由AQR Capital
Management於2008年4月開發，並於2009年底開源出來，目前由專注於Python數據包開發的Pydata開發team繼續開發和維護，屬於PyData項目的一部分，pandas最初被作為金融數據分析工具而開發出來，因此pandas為時間序列分析提供了很好的支持。
Pandas的名稱來自於面板數據和python數據分析。panel
data是經濟學中關於多維數據集的一個術語，在Pandas中也提供了panel的數據類型。
Pandas數據結構：
Series：一維數組，與numpy中的一維array類似。二者與Python基本的數據結構list相近，Series如今能保存不同種數據類型，字元串、boolean值、數字等都能保存在series中。
Time-series：以時間為索引的series。
DataFrame：二維的表格型數據結構，很多功能與R中的data.frame類似，可以將DataFrame理解為Series的容器。
Panel ：三維的數組，可以理解為DataFrame的容器。
Panel4D：是像Panel一樣的4維數據容器。
PanelND：擁有factory集合，可以創建像Panel4D一樣N維命名容器的模塊。
㈧ python數據分析用什麼軟體
Python是數據處理常用工具，可以處理數量級從幾K至幾T不等的數據，具有較高的開發效率和可維護性，還具有較強的通用性和跨平台性，這里就為大家分享幾個不錯的數據分析工具。Python數據分析需要安裝的第三方擴展庫有：Numpy、Pandas、SciPy、Matplotpb、Scikit-Learn、Keras、Gensim、Scrapy等，以下是第三方擴展庫的簡要介紹：（推薦學習：Python視頻教程）
1. Pandas
Pandas是Python強大、靈活的數據分析和探索工具，包含Series、DataFrame等高級數據結構和工具，安裝Pandas可使Python中處理數據非常快速和簡單。
Pandas是Python的一個數據分析包，Pandas最初被用作金融數據分析工具而開發出來，因此Pandas為時間序列分析提供了很好的支持。
Pandas是為了解決數據分析任務而創建的，Pandas納入了大量的庫和一些標準的數據模型，提供了高效的操作大型數據集所需要的工具。Pandas提供了大量是我們快速便捷的處理數據的函數和方法。Pandas包含了高級數據結構，以及讓數據分析變得快速、簡單的工具。它建立在Numpy之上，使得Numpy應用變得簡單。
帶有坐標軸的數據結構，支持自動或明確的數據對齊。這能防止由於數據結構沒有對齊，以及處理不同來源、採用不同索引的數據而產生的常見錯誤。
使用Pandas更容易處理丟失數據。合並流行資料庫（如：基於SQL的資料庫）Pandas是進行數據清晰/整理的最好工具。
2. Numpy
Python沒有提供數組功能，Numpy可以提供數組支持以及相應的高效處理函數，是Python數據分析的基礎，也是SciPy、Pandas等數據處理和科學計算庫最基本的函數功能庫，且其數據類型對Python數據分析十分有用。
Numpy提供了兩種基本的對象：ndarray和ufunc。ndarray是存儲單一數據類型的多維數組，而ufunc是能夠對數組進行處理的函數。Numpy的功能：
N維數組，一種快速、高效使用內存的多維數組，他提供矢量化數學運算。可以不需要使用循環，就能對整個數組內的數據進行標准數學運算。非常便於傳送數據到用低級語言編寫(CC++)的外部庫,也便於外部庫以Numpy數組形式返回數據。
Numpy不提供高級數據分析功能，但可以更加深刻的理解Numpy數組和面向數組的計算。
3. Matplotpb
Matplotpb是強大的數據可視化工具和作圖庫，是主要用於繪制數據圖表的Python庫，提供了繪制各類可視化圖形的命令字型檔、簡單的介面，可以方便用戶輕松掌握圖形的格式，繪制各類可視化圖形。
Matplotpb是Python的一個可視化模塊，他能方便的只做線條圖、餅圖、柱狀圖以及其他專業圖形。 使用Matplotpb，可以定製所做圖表的任一方面。他支持所有操作系統下不同的GUI後端，並且可以將圖形輸出為常見的矢量圖和圖形測試，如PDF SVG JPG PNG BMP GIF.通過數據繪圖，我們可以將枯燥的數字轉化成人們容易接收的圖表。 Matplotpb是基於Numpy的一套Python包，這個包提供了吩咐的數據繪圖工具，主要用於繪制一些統計圖形。 Matplotpb有一套允許定製各種屬性的默認設置，可以控制Matplotpb中的每一個默認屬性：圖像大小、每英寸點數、線寬、色彩和樣式、子圖、坐標軸、網個屬性、文字和文字屬性。
4. SciPy
SciPy是一組專門解決科學計算中各種標准問題域的包的集合，包含的功能有最優化、線性代數、積分、插值、擬合、特殊函數、快速傅里葉變換、信號處理和圖像處理、常微分方程求解和其他科學與工程中常用的計算等，這些對數據分析和挖掘十分有用。
Scipy是一款方便、易於使用、專門為科學和工程設計的Python包，它包括統計、優化、整合、線性代數模塊、傅里葉變換、信號和圖像處理、常微分方程求解器等。Scipy依賴於Numpy，並提供許多對用戶友好的和有效的數值常式，如數值積分和優化。
Python有著像Matlab一樣強大的數值計算工具包Numpy；有著繪圖工具包Matplotpb;有著科學計算工具包Scipy。 Python能直接處理數據，而Pandas幾乎可以像SQL那樣對數據進行控制。Matplotpb能夠對數據和記過進行可視化，快速理解數據。Scikit-Learn提供了機器學習演算法的支持，Theano提供了升讀學習框架（還可以使用CPU加速）。
5. Keras
Keras是深度學習庫，人工神經網路和深度學習模型，基於Theano之上，依賴於Numpy和Scipy，利用它可以搭建普通的神經網路和各種深度學習模型，如語言處理、圖像識別、自編碼器、循環神經網路、遞歸審計網路、卷積神經網路等。
6. Scikit-Learn
Scikit-Learn是Python常用的機器學習工具包，提供了完善的機器學習工具箱，支持數據預處理、分類、回歸、聚類、預測和模型分析等強大機器學習庫，其依賴於Numpy、Scipy和Matplotpb等。
Scikit-Learn是基於Python機器學習的模塊，基於BSD開源許可證。 Scikit-Learn的安裝需要Numpy S Matplotpb等模塊，Scikit-Learn的主要功能分為六個部分，分類、回歸、聚類、數據降維、模型選擇、數據預處理。
Scikit-Learn自帶一些經典的數據集，比如用於分類的iris和digits數據集，還有用於回歸分析的boston house prices數據集。該數據集是一種字典結構，數據存儲在.data成員中，輸出標簽存儲在.target成員中。Scikit-Learn建立在Scipy之上，提供了一套常用的機器學習演算法，通過一個統一的介面來使用，Scikit-Learn有助於在數據集上實現流行的演算法。 Scikit-Learn還有一些庫，比如：用於自然語言處理的Nltk、用於網站數據抓取的Scrappy、用於網路挖掘的Pattern、用於深度學習的Theano等。
7. Scrapy
Scrapy是專門為爬蟲而生的工具，具有URL讀取、HTML解析、存儲數據等功能，可以使用Twisted非同步網路庫來處理網路通訊，架構清晰，且包含了各種中間件介面，可以靈活的完成各種需求。
8. Gensim
Gensim是用來做文本主題模型的庫，常用於處理語言方面的任務，支持TF-IDF、LSA、LDA和Word2Vec在內的多種主題模型演算法，支持流式訓練，並提供了諸如相似度計算、信息檢索等一些常用任務的API介面。
更多Python相關技術文章，請訪問Python教程欄目進行學習！以上就是小編分享的關於python數據分析用什麼軟體的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！