python數據表
❶ python可以做哪些數據分析
Python可以做的事情有很多,比如:檢查數據表、數據清洗、數據提取、數據篩選等。
❷ python數據類型有哪些
Python基本數據類型一般分為:數字、字元串、列表、元組、字典、集合這六種基本數據類型。
其中數字又包含整型(整型又包括標准整型、長整型(Python2.7及之前版本有))、浮點型、復數類型、布爾型(布爾型就是只有兩個值的整型)、這幾種數字類型。列表、元組、字元串都是序列。
1、數字
數字類型是不可更改的對象。對變數改變數字值就是生成/創建新的對象。Python支持多種數字類型:
整型(標准整型和長整型(Python2.7及之前的有這種類型))、布爾型、雙精度浮點型、十進制浮點型、復數。
2、標准整型
int,標准整型,在大多數32位機器上標准整型取值范圍是-2^31到2^31-1,也就是-2147483648~2147483647,如果在64位機器使用64位編譯器,那麼這個系統的標准整型將是64位。
3、布爾型
bool,從Python2.3開始Python中添加了布爾類型。布爾類型有兩種True和False。對於沒有__nozero__方法的對象默認是True。
對於值為0的數字、空集(空列表、空元組、空字典等)在Python中的布爾類型中都是False。
>>>bool(1)
True
>>>bool('a')
True
>>>bool(0)
False
>>>bool('')
False
4、浮點型
float,每個浮點型佔8個位元組(64位),完全遵守IEEE754號規范(52M/11E/1S),其中52個位用於表示底,11個位用於表示指數(可表示的范圍大約是±10**308.25),剩下的一個位表示符號。這看上去相當完美,然而,實際精度依賴於機器架構和創建Python解釋器的編譯器。
浮點型值通常都有一個小數點和一個可選的後綴e(大寫或小寫,表示科學計數法)。在e和指數之間可以用正(+)或負(-)表示指數的正負(正數的話可以省略符號)。
以上是Python核心編程的對浮點型(雙精度浮點型)的說明。經過Python實測浮點型默認長度是24位元組如果超出這個范圍會自動
5、復數類型
complex,在復數中虛數不能單獨存在,它們總是和一個值為0.0的實數部分一起來構成一個復數。復數由實數部分和虛數部分構成。表示虛數的語法:real+imagj。
實數部分和虛數部分都是浮點型。虛數部分必須有後綴j或J。
❸ python對比兩張EXCEL表,將不同的數據生成新表
import pandas as pd
# 數據表 a
df1 = pd.read_excel('C:/Users/Jelly/Desktop/a.xlsx')['名稱']
# 數據表 b
df2 = pd.read_excel('C:/Users/Jelly/Desktop/b.xlsx')
# 篩選標記為2的名稱
df2 = df2[df2['標記'] == 2]['名稱']
# 數據表 a 轉換為列表
aList = list(df1)
# 表頭
columns = ['名稱']
cList = []
# 遍歷數據表 b
for k in df2:
# 判斷 標記為2的名稱是否在數據表中
if k not in aList:
# 輸出
print(k)
cList.append(k)
df3 = pd.DataFrame(cList, columns=columns)
# 保存新數據表
df3.to_excel('c.xlsx', index=0)
c
❹ 如何用Python進行數據分析除了動物書,這二十張表也能幫到你
《用Python進行數據分析第一版》 :
《用Python進行數據分析第二版》
這里分享一份由 DataCamp大佬 整理的Python科學速查表。
英文版
中文翻譯版:
一共二十餘份的內容,足以讓你的學習生涯變得輕松幾分。
❺ python數據分析干什麼
第一、檢查數據表
Python中使用shape函數來查看數據表的維度,也就是行數以及列數。你可以使用info函數來查看數據表的整體信息,使用dtype函數來返回數據格式;lsnull是Python中檢驗空值的函數,可以對整個數據表進行檢查,也可以單獨對某一行進行空值檢查,返回的結構是邏輯值,包含空值返回true,不包含則返回false。
第二、數據清洗
Python可以進行數據清洗,Python中處理空值的方法比較靈活,可以使用Dropna函數用來刪除數據表中包含空值的數據,也可以使用fillna函數對空值進行填充;Python中dtype是查看數據格式的函數,與之對應的是astype函數,用來更改數據格式,Rename是更改列名稱的函數,drop_plicates函數刪除重復值,replace函數實現數據替換。
第三、數據提取
進行數據提取時,主要使用三個函數:loc、iloc以及ix。Loc函數按標簽進行提取,iloc按位置進行提取,ix可以同時按照標簽和位置進行提取。除了按標簽和位置提取數據之外,還可以按照具體的條件進行提取,比如使用loc和isin兩個函數配合使用。
第四、數據篩選
Python數據分析還可以進行數據篩選,Python中使用loc函數配合篩選條件來完成篩選功能,配合sum和count函數還能實現Excel中sumif和countif函數的功能。使用的主要函數是groupby和pivot_table;groupby是進行分類匯總的函數,使用方法比較簡單,groupby按列名稱出現的順序進行分組。
❻ python中如何將表中的數據做成一張表,然後再從中取出數據
第一部分是生成數據表,常見的生成方法有兩種,第一種是導入外部數據,第二種是直接寫入數據。 Excel 中的文件菜單中提供了獲取外部數據的功能,支持資料庫和文本文件和頁面的多種數據源導入。
獲取外部數據
python 支持從多種類型的數據導入。在開始使用 python 進行數據導入前需要先導入 pandas 庫,為了方便起見,我們也同時導入 numpy 庫。
1 import numpy as np
2 import pandas as pd
導入數據表
下面分別是從 excel 和 csv 格式文件導入數據並創建數據表的方法。代碼是最簡模式,裡面有很多可選參數設置,例如列名稱,索引列,數據格式等等。感興趣的朋友可以參考 pandas 的
官方文檔。
1 df=pd.DataFrame(pd.read_csv(『name.csv』,header=1))
2 df=pd.DataFrame(pd.read_excel(『name.xlsx』))
創建數據表
另一種方法是通過直接寫入數據來生成數據表,excel 中直接在單元格中輸入數據就可以,python 中通過下面的代碼來實現。生成數據表的函數是 pandas 庫中的 DateFrame 函數,數據表一共有 6 行數據,每行有 6 個欄位。在數據中我們特意設置了一些 NA 值和有問題的欄位,例如包含空格等。後面將在數據清洗步驟進行處理。後面我們將統一以 DataFrame 的簡稱 df 來命名數據表。
1 df = pd.DataFrame({『id』:[1001,1002,1003,1004,1005,1006],
2 『date』:pd.date_range(『20130102』, periods=6),
3 『city』:['Beijing ', 『SH』, 』 guangzhou ', 『Shenzhen』, 『shanghai』, 'BEIJING '],
4 『age』:[23,44,54,32,34,32],
5 『category』:[『100-A』,『100-B』,『110-A』,『110-C』,『210-A』,『130-F』],
6 『price』:[1200,np.nan,2133,5433,np.nan,4432]},
7 columns =[『id』,『date』,『city』,『category』,『age』,『price』])
這是剛剛創建的數據表,我們沒有設置索引列,price 欄位中包含有 NA 值,city 欄位中還包含了一些臟數據。
數據表檢查
python 中處理的數據量通常會比較大,所以就需要我們對數據表進行檢查。比如我們之前的文章中介紹的紐約計程車數據和 Citibike 的騎行數據,數據量都在千萬級,我們無法一目瞭然的了解數據表的整體情況,必須要通過一些方法來獲得數據表的關鍵信息。數據表檢查的另一個目的是了解數據的概況,例如整個數據表的大小,所佔空間,數據格式,是否有空值和重復項和具體的數據內容。為後面的清洗和預處理做好准備。
數據維度(行列)
Excel 中可以通過 CTRL 向下的游標鍵,和 CTRL 向右的游標鍵來查看行號和列號。Python 中使用 shape 函數來查看數據表的維度,也就是行數和列數,函數返回的結果(6,6)表示數據表有 6 行,6 列。下面是具體的代碼。
1 #查看數據表的維度
2 df.shape
3 (6, 6)
數據表信息
使用 info 函數查看數據表的整體信息,這里返回的信息比較多,包括數據維度,列名稱,數據格式和所佔空間等信息。
1 #數據表信息
2 df.info()
4 <class 『pandas.core.frame.DataFrame』>
5 RangeIndex: 6 entries, 0 to 5
6 Data columns (total 6 columns):
7 id 6 non-null int64
8 date 6 non-null datetime64[ns]
9 city 6 non-null object
10 category 6 non-null object
11 age 6 non-null int64
12 price 4 non-null float64
13 dtypes: datetime64ns, float64(1), int64(2), object(2)
14 memory usage: 368.0 bytes
查看數據格式
Excel 中通過選中單元格並查看開始菜單中的數值類型來判斷數據的格式。Python 中使用 dtypes 函數來返回數據格式。
Dtypes 是一個查看數據格式的函數,可以一次性查看數據表中所有數據的格式,也可以指定一列來單獨查看。
1#查看數據表各列格式
2df.dtypes
3
4id int64
5date datetime64[ns]
6city object
7category object
8age int64
9price float64
10dtype: object
11
12#查看單列格式
13df[『B』].dtype
14
15dtype(『int64』)
查看空值
Excel 中查看空值的方法是使用「定位條件」功能對數據表中的空值進行定位。「定位條件」在「開始」目錄下的「查找和選擇」目錄中。
Isnull 是 Python 中檢驗空值的函數,返回的結果是邏輯值,包含空值返回 True,不包含則返回 False。可以對整個數據表進行檢查,也可以單獨對某一列進行空值檢查。
df_isnull
1#檢查特定列空值
2df[『price』].isnull()
3
40 False
51 True
62 False
73 False
84 True
95 False
10Name: price, dtype: bool
查看唯一值
Excel 中查看唯一值的方法是使用「條件格式」對唯一值進行顏色標記。Python 中使用 unique 函數查看唯一值。
Unique 是查看唯一值的函數,只能對數據表中的特定列進行檢查。下面是代碼,返回的結果是該列中的唯一值。類似與 Excel 中刪除重復項後的結果。
1 #查看 city 列中的唯一值
2 df[『city』].unique()34array(['Beijing ', 『SH』, 』 guangzhou ', 『Shenzhen』, 『shanghai』, 'BEIJING '], dtype=object)
查看數據表數值
Python 中的 Values 函數用來查看數據表中的數值。以數組的形式返回,不包含表頭信息。
1#查看數據表的值
2df.values
3
4array([[1001, Timestamp(『2013-01-02 00:00:00』), 'Beijing ', 『100-A』, 23,
5 1200.0],
6 [1002, Timestamp(『2013-01-03 00:00:00』), 『SH』, 『100-B』, 44, nan],
7 [1003, Timestamp(『2013-01-04 00:00:00』), 』 guangzhou ', 『110-A』, 54,
8 2133.0],
9 [1004, Timestamp(『2013-01-05 00:00:00』), 『Shenzhen』, 『110-C』, 32,
10 5433.0],
11 [1005, Timestamp(『2013-01-06 00:00:00』), 『shanghai』, 『210-A』, 34,
12 nan],
13 [1006, Timestamp(『2013-01-07 00:00:00』), 'BEIJING ', 『130-F』, 32,
14 4432.0]], dtype=object)
查看列名稱
Colums 函數用來單獨查看數據表中的列名稱。
1 #查看列名稱
2 df.columns
3
4 Index([『id』, 『date』, 『city』, 『category』, 『age』, 『price』], dtype=『object』)
查看前 10 行數據
Head 函數用來查看數據表中的前 N 行數據,默認 head()顯示前 10 行數據,可以自己設置參數值來確定查看的行數。下面的代碼中設置查看前 3 行的數據。
1#查看前 3 行數據``df.head(``3``)
Tail 行數與 head 函數相反,用來查看數據表中後 N 行的數據,默認 tail()顯示後 10 行數據,可以自己設置參數值來確定查看的行數。下面的代碼中設置查看後 3 行的數據。
1#查看最後 3 行df.tail(3)
❼ 用python求數據表中數據的均值與方差
以下為代碼:
numstr = input("請輸入全部數據:用英文逗號(,),中文逗號(,),
空格( ),製表符(tab鍵)或換行(請一次性復制過來)中的一種統一分隔數據:")
if "," in numstr:
numlist = numstr.split(",")
elif "," in numstr:
numlist = numstr.split(",")
elif " " in numstr:
numlist = numstr.split(" ")
elif " " in numstr:
numlist = numstr.split(" ")
elif " " in numstr:
numlist = numstr.split(" ")
else:
numlist = [numstr]
numlist = list(map(lambda x:x.strip(",").strip(",").
strip(" ").strip(" ").strip(" "), numlist))
for i in numlist.():
try:
a = float(i)
except:
numlist.remove(i)
print("已過濾字元串:%s"%i)
#好了,上面很多隻是方便用戶而已(但還是有一些有用的),主要是下面
numlist = list(map(lambda x:float(x), numlist))#所有字元串轉為浮點
print("最終數列:",numlist)#輸出最終數列,進行核對
average = sum(numlist)/len(numlist)#用數列和除以出列長度得到平均數
variance = 0#方差,先記為0
for i in numlist:#遍歷列表
variance += (i - average) ** 2#反正就是公式對吧,先加進去
variance /= len(numlist)#還是公式,那一長串還得除以一個數列長度
print("均值:%.2f 方差:%.2f"%(average, variance))#分兩行輸出
以下為輸出效果:
請輸入全部數據:用英文逗號(,),中文逗號(,),空格( ),製表符(tab鍵)或換行(請一次性復制過來)中的一種統一分隔數據:38,22,99,10,99,7, 25,,40
已過濾字元串:
最終數列: [38.0, 22.0, 99.0, 10.0, 99.0, 7.0, 25.0, 40.0]
均值:42.50
方差:1181.75
以下為解析:
平均值的思路就是總和除以列表長度,方差的思路就是把所有的(x-均值)²加起來,最後再除以一個長度即可。
本程序的優點:輸入時逗號後出現空格與不小心多打逗號等情況都不會出問題,可以接受小數,可以先輸出最終數列以供核對。
❽ 想學python進行數據分析,請問要學多久
Python是大家進入編程世界的理想選擇,也是最適合零基礎學習的編程語言,Python涉及多個領域,不同領域的技術要求是不同,雖然確定了自己的發展方向,但是在學習Python的時候,不能只針對一個方向去學習,依然需要從頭開始,再到精通,一般情況下來說,報名培訓班學習入門到精通5-6個月左右。
❾ python可以做數據分析,好處是什麼呢怎麼學習
鏈接:https://pan..com/s/1FJZAznKSbwv-X52AM7uSfg
煉數成金:Python數據分析。Python是一種面向對象、直譯式計算機程序設計語言。也是一種功能強大而完善的通用型語言,已經具有十多年的發展歷史,成熟且穩定。Python 具有腳本語言中最豐富和強大的類庫,足以支持絕大多數日常應用。 Python語法簡捷而清晰,具有豐富和強大的類庫。它常被昵稱為膠水語言,它能夠很輕松的把用其他語言製作的各種模塊(尤其是C/C++)輕松地聯結在一起。
課程將從Python的基本使用方法開始,一步步講解,從ETL到各種數據分析方法的使用,並結合實例,讓學員能從中借鑒學習。
課程目錄:
Python基礎
Python的概覽——Python的基本介紹、安裝與基本語法、變數類型與運算符
了解Python流程式控制制——條件、循環語句與其他語句
常用函數——函數的定義與使用方法、主要內置函數的介紹
.....