pythonnannone

① python中利用pandas怎麼處理預設值

null/None/NaN
null經常出現在資料庫中
None是Python中的缺失值，類型是NoneType
NaN也是python中的缺失值，意思是不是一個數字，類型是float
在pandas和Numpy中會將None替換為NaN，而導入資料庫中的時候則需要把NaN替換成None
找出空值
isnull()
notnull()
添加空值
numeric容器會把None轉換為NaN
In [20]: s = pd.Series([1, 2, 3])

In [21]: s.loc[0] = None

In [22]: s
Out[22]:
0 NaN
1 2.0
2 3.0
dtype: float641234567891012345678910

object容器會儲存None
In [23]: s = pd.Series(["a", "b", "c"])

In [24]: s.loc[0] = None

In [25]: s.loc[1] = np.nan

In [26]: s
Out[26]:
0 None
1 NaN
2 c
dtype:

空值計算
arithmetic operations(數學計算)
NaN運算的結果是NaN
statistics and computational methods(統計計算)
NaN會被當成空置
GroupBy
在分組中會忽略空值
清洗空值
填充空值
fillna
DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)
參數
value : scalar, dict, Series, or DataFrame
method : {『backfill』, 『bfill』, 『pad』, 『ffill』, None}, default None(bfill使用後面的值填充,ffill相反）
axis : {0 or 『index』, 1 or 『columns』}
inplace : boolean, default False
limit : int, default None
downcast : dict, default is None
返回值
filled : DataFrame
Interpolation
replace
刪除空值行或列
DataFrame.dropna(axis=0, how=』any』, thresh=None, subset=None, inplace=False)
參數
axis : {0 or 『index』, 1 or 『columns』}, or tuple/list thereof
how : {『any』, 『all』}
thresh : int, default None
subset : array-like
inplace : boolean, default False
返回
dropped : DataFrame

② 資料庫中的空值與NULL的區別以及python中的NaN和None

資料庫中空字元和null的區別在於：
在做count計算的時候，空字元也會被計算在裡面，而null不會。有些同學在使用where
is
null
和is
not
null
的時候也要注意資料庫中的「空值」是空字元還是null。不然統計結果可能並不是你想要的。
python有兩種方式獲取數據：
1.
一種是把數據從mysql
中導出到txt或者csv，然後本地讀取；
2.
另一種是python直接鏈接資料庫，讀取數據；
第一種把數據從mysql導出後，python讀取時，空值即為null；
第二種鏈接資料庫後，python能讀取表結構，資料庫的null對應列表中的none以及pandas中的nan（如果欄位類型是時間，則為nat）。而資料庫中的空字元，則被識別為空字元。
望採納！

③ 資料庫中的空值與NULL的區別以及python中的NaN和None

• NULL表示：不可用、未賦值、不知道、不適用，它既不是0也不是空格。記住：一個數值與NULL進行四則運算，其結果是NULL

• 空值和NULL的區別在於，在做count計算的時候：count(field_name)，field_name的值為空值也會被計算在裡面（這一行統計有效），而NULL不會

• python有兩種方式獲取數據：
  1. 一種是把數據從MySQL中導出到txt或者csv，然後本地讀取；
  2. 另一種是python直接鏈接資料庫，讀取數據；

• 第一種把數據從MYSQL導出後，python讀取時，空值和NULL在文件中都為NULL；Python讀取之後為NaN

• 第二種鏈接資料庫後，python能讀取表結構，資料庫的NULL對應列表中的None以及pandas中的NaN（如果欄位類型是時間，則為NaT）。而資料庫中的空字元，則被識別為空字元。

④ 資料庫中的空值與NULL的區別以及python中的NaN和None

null表示：不可用、未賦值、不知道、不適用，它既不是0也不是空格。記住：一個數值與null進行四則運算，其結果是null
空值和null的區別在於，在做count計算的時候：count(field_name)，field_name的值為空值也會被計算在裡面（這一行統計有效），而null不會
python有兩種方式獲取數據：
1.
一種是把數據從mysql
中導出到txt或者csv，然後本地讀取；
2.
另一種是python直接鏈接資料庫，讀取數據；
第一種把數據從mysql導出後，python讀取時，空值和null在文件中都為null；python讀取之後為nan
第二種鏈接資料庫後，python能讀取表結構，資料庫的null對應列表中的none以及pandas中的nan（如果欄位類型是時間，則為nat）。而資料庫中的空字元，則被識別為空字元。

⑤ python數據處理怎麼篩選掉nan空值

既然我們認為空值和空格都代表無數據，那麼可以先得到這兩種情況下的布爾數組。
這里，我們的DataFrame類型的數據集為df，其中有一個變數VIN，那麼取得空值和空格的布爾數組為NONE_VIN。然後通過該布爾數組，就能得到我們要的數據了
NONE_VIN = (df["VIN"].isnull()) | (df["VIN"].apply(lambda x: str(x).isspace()))
df_null = df[NONE_VIN]
df_not_null = df[~NONE_VIN]

⑥ Python pandas用法

在Python中，pandas是基於NumPy數組構建的，使數據預處理、清洗、分析工作變得更快更簡單。pandas是專門為處理表格和混雜數據設計的，而NumPy更適合處理統一的數值數組數據。
使用下面格式約定，引入pandas包：

pandas有兩個主要數據結構：Series和DataFrame。

Series是一種類似於一維數組的對象，它由 一組數據 （各種NumPy數據類型）以及一組與之相關的 數據標簽（即索引） 組成，即index和values兩部分，可以通過索引的方式選取Series中的單個或一組值。

pd.Series(list,index=[ ]) ，第二個參數是Series中數據的索引，可以省略。

Series類型索引、切片、運算的操作類似於ndarray，同樣的類似Python字典類型的操作，包括保留字in操作、使用.get()方法。
Series和ndarray之間的主要區別在於Series之間的操作會根據索引自動對齊數據。

DataFrame是一個表格型的數據類型，每列值類型可以不同，是最常用的pandas對象。DataFrame既有行索引也有列索引，它可以被看做由Series組成的字典（共用同一個索引）。DataFrame中的數據是以一個或多個二維塊存放的（而不是列表、字典或別的一維數據結構）。

pd.DataFrame(data,columns = [ ],index = [ ]) ：columns和index為指定的列、行索引，並按照順序排列。

如果創建時指定了columns和index索引，則按照索引順序排列，並且如果傳入的列在數據中找不到，就會在結果中產生缺失值：

數據索引 ：Series和DataFrame的索引是Index類型，Index對象是不可修改，可通過索引值或索引標簽獲取目標數據，也可通過索引使序列或數據框的計算、操作實現自動化對齊。索引類型index的常用方法：

重新索引 ：能夠改變、重排Series和DataFrame索引，會創建一個新對象，如果某個索引值當前不存在，就引入缺失值。
df.reindex(index, columns ,fill_value, method, limit, ) ：index/columns為新的行列自定義索引；fill_value為用於填充缺失位置的值；method為填充方法，ffill當前值向前填充，bfill向後填充；limit為最大填充量； 默認True，生成新的對象，False時，新舊相等不復制。

刪除指定索引 ：默認返回的是一個新對象。
.drop() ：能夠刪除Series和DataFrame指定行或列索引。
刪除一行或者一列時，用單引號指定索引，刪除多行時用列表指定索引。
如果刪除的是列索引，需要增加axis=1或axis='columns'作為參數。
增加inplace=True作為參數，可以就地修改對象，不會返回新的對象。

在pandas中，有多個方法可以選取和重新組合數據。對於DataFrame，表5-4進行了總結

適用於Series和DataFrame的基本統計分析函數 ：傳入axis='columns'或axis=1將會按行進行運算。
.describe() ：針對各列的多個統計匯總，用統計學指標快速描述數據的概要。
.sum() ：計算各列數據的和
.count() ：非NaN值的數量
.mean( )/.median() ：計算數據的算術平均值、算術中位數
.var()/.std() ：計算數據的方差、標准差
.corr()/.cov() ：計算相關系數矩陣、協方差矩陣，是通過參數對計算出來的。Series的corr方法用於計算兩個Series中重疊的、非NA的、按索引對齊的值的相關系數。DataFrame的corr和cov方法將以DataFrame的形式分別返回完整的相關系數或協方差矩陣。
.corrwith() ：利用DataFrame的corrwith方法，可以計算其列或行跟另一個Series或DataFrame之間的相關系數。傳入一個Series將會返回一個相關系數值Series（針對各列進行計算），傳入一個DataFrame則會計算按列名配對的相關系數。
.min()/.max() ：計算數據的最小值、最大值
.diff() ：計算一階差分，對時間序列很有效
.mode() ：計算眾數，返回頻數最高的那（幾）個
.mean() ：計算均值
.quantile() ：計算分位數（0到1）
.isin() ：用於判斷矢量化集合的成員資格，可用於過濾Series中或DataFrame列中數據的子集
適用於Series的基本統計分析函數，DataFrame[列名]返回的是一個Series類型。
.unique() ：返回一個Series中的唯一值組成的數組。
.value_counts() ：計算一個Series中各值出現的頻率。
.argmin()/.argmax() ：計算數據最大值、最小值所在位置的索引位置（自動索引）
.idxmin()/.idxmax() ：計算數據最大值、最小值所在位置的索引（自定義索引）

pandas提供了一些用於將表格型數據讀取為DataFrame對象的函數。下表對它們進行了總結，其中read_csv()、read_table()、to_csv()是用得最多的。

在數據分析和建模的過程中，相當多的時間要用在數據准備上：載入、清理、轉換以及重塑。

在許多數據分析工作中，缺失數據是經常發生的。對於數值數據，pandas使用浮點值NaN（np.nan）表示缺失數據，也可將缺失值表示為NA（Python內置的None值）。

替換值
.replace(old, new) ：用新的數據替換老的數據，如果希望一次性替換多個值，old和new可以是列表。默認會返回一個新的對象，傳入inplace=True可以對現有對象進行就地修改。

刪除重復數據

利用函數或字典進行數據轉換

df.head()：查詢數據的前五行
df.tail()：查詢數據的末尾5行
pandas.cut()
pandas.qcut() 基於分位數的離散化函數。基於秩或基於樣本分位數將變數離散化為等大小桶。
pandas.date_range() 返回一個時間索引
df.apply() 沿相應軸應用函數
Series.value_counts() 返回不同數據的計數值
df.aggregate()
df.reset_index() 重新設置index，參數drop = True時會丟棄原來的索引，設置新的從0開始的索引。常與groupby()一起用
numpy.zeros()

⑦ 在使用python中的concat 函數時,有一個數據顯示nan 是怎麼回事

說明你的樣本數據中有nan值，通常是因為原始數據中包含空字元串或None值引起的。
解決辦法是把樣本數據中包含nan值的數據剔除，
或者如果樣本數據都是數值的話可以把nan值都改成0。

⑧ 資料庫中的空值與NULL的區別以及python中的NaN和None

NULL表示：不可用、未賦值、不知道、不適用，它既不是0也不是空格。記住：一個數值與NULL進行四則運算，其結果是NULL
空值和NULL的區別在於，在做count計算的時候：count(field_name)，field_name的值為空值也會被計算在裡面（這一行統計有效），而NULL不會
python有兩種方式獲取數據：
1.
一種是把數據從MySQL
中導出到txt或者csv，然後本地讀取；
2.
另一種是python直接鏈接資料庫，讀取數據；
第一種把數據從MYSQL導出後，python讀取時，空值和NULL在文件中都為NULL；Python讀取之後為NaN
第二種鏈接資料庫後，python能讀取表結構，資料庫的NULL對應列表中的None以及pandas中的NaN（如果欄位類型是時間，則為NaT）。而資料庫中的空字元，則被識別為空字元。