python缺失值

❶ python數據處理：篩選、統計、連表、拼接、拆分、缺失值處理

file1_path ='E:/Users/lenovo/Desktop/中視/622召回.csv' # 源數據

格式：file1=pd.read_csv(file1_path)

pd.read_csv(file1_path,encoding='gbk')

pd.read_csv(file1_path,encoding='gbk',skiprows=[2,3])

pd.read_csv(file1_path,encoding='gbk',skiprows=lambda x:x%2==1)

pd.read_csv(file1_path,encoding='gbk',keep_default_na=False)

new=pd.DataFrame()

new.new[[0,1,2]]

new.new[0:2]

查詢結果同上

new.loc[new['激活數']>1000]

loc和iloc的區別：

     loc：純標簽篩選

     iloc：純數字篩選

#篩選出new的某兩列

new=new.loc[:,['phone','收件人姓名']]

#篩選new的第0，1列

new.iloc[:,[0,1]]

使用『==』篩選-篩查「崔旭」的人（只能篩查指定明確的）

#new=file1.loc[(file1['收件人姓名']=='崔旭')|(file1['收件人姓名']=='崔霞')]

#print(new)

#使用loc函數篩選-str.contains函數-篩查名字中包含'亮'和'海'的人

#new=file1.loc[file1['收件人姓名'].str.contains('亮|海')]

#print(new)

#使用loc函數篩選-str.contains函數-篩查'崔'姓的人

#new=file1.loc[file1['收件人姓名'].str.startswitch('崔')]

#print(new)

df = df[(df['DEPOSIT_PAY_TIME_x'] .notnull() ) & (df['DEPOSIT_PAY_TIME_x'] != "" )]

print("ring_time(number)=0的個數：",newdata[newdata['ring_time(number)'] ==0].count()['ring_time(number)'])

print("ring_time(number)=1,2,3的個數：",newdata[(newdata['ring_time(number)'] >0) & (newdata['ring_time(number)'] <4)].count()['ring_time(number)'])

print(newdata[newdata['ring_time(number)'] ==0])

newdata[newdata['Team']. isin (['England','Italy','Russia'])][['Team','Shooting Accuracy']]

df.年齡.value_counts()

1.修改指定位置數據的值（修改第0行，』創建訂單數『列的值為3836）

new.loc[0,'創建訂單數']=3836

2.替換『小明』-『xiaoming』

df.replace({'name':{'小明':'xiaoming'}})

3.批量替換某一列的值（把『性別』列里的男-male，女-felmale）

方法一：df['性別']=df['性別'].map({'男':'male','女':'female'})

方法二：df['性別'].replace('female','女',inplace=True)

               或df['性別']=df['性別'].replace('female','女')                這就是inplace的作用

                +df['性別'].replace('male','男',inplace=True)

4.替換列索引

df.columns=['sex','name','height','age']

或者：df.rename(columns={'性別':'sex','姓名':'name','身高':'height','年齡':'age'})

5.刪除某一列

del df['player']

6. 刪除某一列（方法二），刪除某一行（默認axis=0刪除行，為1則刪除列）

刪除某一列（方法二）

df.drop('性別',axis=1)

刪除某一行

df.drop(1,axis=0)

file1=pd.read_csv(file1_path)

file2=pd.read_csv(file2_path)

new1=pd.DataFrame()

new1['phone']=file1['phone']

new1['contact_time']=file1['contact_time']

new2=pd.DataFrame()

new2['phone']=file2['phone']

new2['submission_audit_time']=file2['提交審核時間']

newdata=pd.merge(new1,new2,on='phone',how='left')

df=pd.concat([df1,df2],axis=0)

4.2.2 橫向表連接

df=pd.concat([df1,df2],axis=1)

df1['地區'].str.split('·',3,expand=True)

df1:

df1[['城市', '城區','地址']] = df1['地區'].str.split('·', 3, expand = True)

5.1 缺失值刪除

data.dropna(axis=0,subset = ["Age", "Sex"])   # 丟棄『Age』和『Sex』這兩列中有缺失值的行

data.dropna(how = 'all')    # 傳入這個參數後將只丟棄全為缺失值的那些行

data.dropna(axis = 1)       # 丟棄有缺失值的列（一般不會這么做，這樣會刪掉一個特徵）

data.dropna(axis=1,how="all")   # 丟棄全為缺失值的那些列

5.2 缺失值填充：pandas.DataFrame.fillna()函數

DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

功能：使用指定方法填充NA/NaN值

其中inplace=True就是直接在原有基礎上填滿

5.3 缺失值查詢：

缺失值數量查詢：df.isnull().sum()

缺失值行查詢：df[df.isnull().T.any()]

newdata['ring_time']=pd.to_datetime(newdata['submission_audit_time'])-pd.to_datetime(newdata['contact_time'])

newdata['ring_time(number)']=(pd.to_datetime(newdata['submission_audit_time'])-pd.to_datetime(newdata['contact_time'])).apply(lambda x: x.days)

new=pd.DataFrame()

new=newdata[newdata['ring_time(number)'] ==0]

new.to_csv(save_path,encoding='utf-8-sig')

將數據按行拆分並存儲到不同的csv文件中：

path='C:/Users/EDZ/Desktop/工作/2021.08.19/'

for i in range(0,30):

    df.loc[[i]].to_csv(path+str(i)+'.csv',encoding='gbk')

df = df[['購葯日期', '星期','社保卡號','商品編碼', '商品名稱', '銷售數量', '應收金額', '實收金額' ]]

❷ python中利用pandas怎麼處理預設值

null/None/NaN
null經常出現在資料庫中
None是Python中的缺失值，類型是NoneType
NaN也是python中的缺失值，意思是不是一個數字，類型是float
在pandas和Numpy中會將None替換為NaN，而導入資料庫中的時候則需要把NaN替換成None
找出空值
isnull()
notnull()
添加空值
numeric容器會把None轉換為NaN
In [20]: s = pd.Series([1, 2, 3])

In [21]: s.loc[0] = None

In [22]: s
Out[22]:
0 NaN
1 2.0
2 3.0
dtype: float641234567891012345678910

object容器會儲存None
In [23]: s = pd.Series(["a", "b", "c"])

In [24]: s.loc[0] = None

In [25]: s.loc[1] = np.nan

In [26]: s
Out[26]:
0 None
1 NaN
2 c
dtype:

空值計算
arithmetic operations(數學計算)
NaN運算的結果是NaN
statistics and computational methods(統計計算)
NaN會被當成空置
GroupBy
在分組中會忽略空值
清洗空值
填充空值
fillna
DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)
參數
value : scalar, dict, Series, or DataFrame
method : {『backfill』, 『bfill』, 『pad』, 『ffill』, None}, default None(bfill使用後面的值填充,ffill相反）
axis : {0 or 『index』, 1 or 『columns』}
inplace : boolean, default False
limit : int, default None
downcast : dict, default is None
返回值
filled : DataFrame
Interpolation
replace
刪除空值行或列
DataFrame.dropna(axis=0, how=』any』, thresh=None, subset=None, inplace=False)
參數
axis : {0 or 『index』, 1 or 『columns』}, or tuple/list thereof
how : {『any』, 『all』}
thresh : int, default None
subset : array-like
inplace : boolean, default False
返回
dropped : DataFrame

❸ python dataframe 如何去除缺失值

1、導入需要的庫。import pandas as pd，import numpy as np，from sklearn.preprocessing import Imputer。

(3)python缺失值擴展閱讀

Python在執行時，首先會將py文件中的源代碼編譯成Python的byte code（位元組碼），然後再由Python Virtual Machine（Python虛擬機）來執行這些編譯好的byte code。這種機制的基本思想跟Java，NET是一致的。

然而，Python Virtual Machine與Java或.NET的Virtual Machine不同的是，Python的Virtual Machine是一種更高級的Virtual Machine。

這里的高級並不是通常意義上的高級，不是說Python的Virtual Machine比Java或.NET的功能更強大；

說和Java 或NET相比，Python的Virtual Machine距離真實機器的距離更遠。或者可以這么說，Python的Virtual Machine是一種抽象層次更高的Virtual Machine。

基於C的Python編譯出的位元組碼文件，通常是pyc格式。除此之外，Python還可以以交互模式運行，比如主流操作系統Unix/Linux、Mac、Windows都可以直接在命令模式下直接運行Python交互環境。直接下達操作指令即可實現交互操作。

Python的設計目標之一是讓代碼具備高度的可閱讀性。它設計時盡量使用其它語言經常使用的標點符號和英文單字，讓代碼看起來整潔美觀。

它不像其他的靜態語言如C、Pascal那樣需要重復書寫聲明語句，也不像它們的語法那樣經常有特殊情況和意外。

Python開發者有意讓違反了縮進規則的程序不能通過編譯，以此來強製程序員養成良好的編程習慣。

並且Python語言利用縮進表示語句塊的開始和退出（Off-side規則），而非使用花括弧或者某種關鍵字。增加縮進表示語句塊的開始，而減少縮進則表示語句塊的退出。縮進成為了語法的一部分。