pythonforpandas

A. python使用pandas后如何利用DataFrame拆分列

#有很多种方法，假如你的date是string类型
list_temp=[]
fori,jinenumerate(df['date']):
list_temp=j.split('/')
df.loc[i,'year']=list_temp[0]
df.loc[i,'month']=list_temp[1]
df.loc[i,'day']=list_temp[2]

df.drop('date',axis=1)
#如果你的date是datetime类型，python有专门的方法拆分，你可以查一查

B. 新手关于python中pandas函数的使用

利用Python的pandas数据结构来读取excel表格的数据，部分代码如下：

#-*- coding:utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt

catering_data="catering_sale.xls"
data=pd.read_excel(catering_data,index_col=u'日期')
#读取数据，指定"日期"列为索引列

大多数书上都是这样写的，但是在Python2.7上运行时出现错误。（没有在Python3.x版本试过）
出现了如下问题：
这里写图片描述
使用help（pd.read_excel）发现参数中有必选参数sheetname,加入到函数中，代码如下：

#-*- coding:utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt

catering_data="catering_sale.xls"
data=pd.read_excel(catering_data,sheetname=0,index_col=u'日期')

运行成功。
sheetname=0 的意思是：读取xls文件中的第一个表格。（假设文件中有很多个表格）
另外，也可以将文件转换成csv格式，就不需要这个参数了。代码如下：

catering_data="catering_sale.csv"
data=pd.read_csv(catering_data)

C. python(pandas模块)

Pandas是Python的一个数据分析包，最初由AQR Capital
Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的Pydata开发team继续开发和维护，属于PyData项目的一部分，pandas最初被作为金融数据分析工具而开发出来，因此pandas为时间序列分析提供了很好的支持。

Pandas的名称来自于面板数据和python数据分析。panel
data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。

Pandas数据结构：

Series：一维数组，与numpy中的一维array类似。二者与Python基本的数据结构list相近，Series如今能保存不同种数据类型，字符串、boolean值、数字等都能保存在series中。

Time-series：以时间为索引的series。

DataFrame：二维的表格型数据结构，很多功能与R中的data.frame类似，可以将DataFrame理解为Series的容器。

Panel ：三维的数组，可以理解为DataFrame的容器。

Panel4D：是像Panel一样的4维数据容器。

PanelND：拥有factory集合，可以创建像Panel4D一样N维命名容器的模块。

D. 如何利用Python中的Pandas库绘制柱形图

我们利用Python的Pandas库可以绘制很多图形，那么如何绘制柱形图呢？下面我给大家分享演示一下。

工具/材料

Pycharm

• 01

  首先我们打开Excel文件，准备要生成柱形图的数据表，如下图所示

• 02

  接下来在Python文件中导入pandas库，然后将Excel文件加载到缓存对象中，如下图所示

• 03

  然后我们导入matplotlib下面的pyplot库，如下图所示，导入以后给它起一个别名

• 04

  接下来我们通过pandas库下面的bar来设置柱形图的X，Y坐标轴，如下图所示

• 05

  然后通过pyplot的show方法将柱形图进行展示出来，如下图所示

• 06

  接下来运行程序以后我们就看到柱形图生成出来了，如下图所示

• 07

  然后如果我们想将柱形图中的数据排序的话可以利用sort_values实现，如下图所示

• 08

  最后运行排序好后的程序，我们就可以看到柱形图中的数据已经排序好了，如下图所示

E. python pandas 高效的分析两列数据，并生成结果到三列。

首先，为了以后在处理大量数据的效率，一定要养成【不】使用循环的方式处理pandas或者numpy数据的习惯， 最好使用包内置的方法或者被重载过的通用方法来实现。以前刚接触pandas的时候，处理10W+的是数据的时候，用循环处理，等了半天都没有结果。
对于你的代码，发现虽然有if了， 但却没有else哈，也就是说你只考虑到匹配的情况下的逻辑， 但对于没匹配的处理却没有写出来。

F. Python pandas用法

在Python中，pandas是基于NumPy数组构建的，使数据预处理、清洗、分析工作变得更快更简单。pandas是专门为处理表格和混杂数据设计的，而NumPy更适合处理统一的数值数组数据。
使用下面格式约定，引入pandas包：

pandas有两个主要数据结构：Series和DataFrame。

Series是一种类似于一维数组的对象，它由 一组数据 （各种NumPy数据类型）以及一组与之相关的 数据标签（即索引） 组成，即index和values两部分，可以通过索引的方式选取Series中的单个或一组值。

pd.Series(list,index=[ ]) ，第二个参数是Series中数据的索引，可以省略。

Series类型索引、切片、运算的操作类似于ndarray，同样的类似Python字典类型的操作，包括保留字in操作、使用.get()方法。
Series和ndarray之间的主要区别在于Series之间的操作会根据索引自动对齐数据。

DataFrame是一个表格型的数据类型，每列值类型可以不同，是最常用的pandas对象。DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共用同一个索引）。DataFrame中的数据是以一个或多个二维块存放的（而不是列表、字典或别的一维数据结构）。

pd.DataFrame(data,columns = [ ],index = [ ]) ：columns和index为指定的列、行索引，并按照顺序排列。

如果创建时指定了columns和index索引，则按照索引顺序排列，并且如果传入的列在数据中找不到，就会在结果中产生缺失值：

数据索引 ：Series和DataFrame的索引是Index类型，Index对象是不可修改，可通过索引值或索引标签获取目标数据，也可通过索引使序列或数据框的计算、操作实现自动化对齐。索引类型index的常用方法：

重新索引 ：能够改变、重排Series和DataFrame索引，会创建一个新对象，如果某个索引值当前不存在，就引入缺失值。
df.reindex(index, columns ,fill_value, method, limit, ) ：index/columns为新的行列自定义索引；fill_value为用于填充缺失位置的值；method为填充方法，ffill当前值向前填充，bfill向后填充；limit为最大填充量； 默认True，生成新的对象，False时，新旧相等不复制。

删除指定索引 ：默认返回的是一个新对象。
.drop() ：能够删除Series和DataFrame指定行或列索引。
删除一行或者一列时，用单引号指定索引，删除多行时用列表指定索引。
如果删除的是列索引，需要增加axis=1或axis='columns'作为参数。
增加inplace=True作为参数，可以就地修改对象，不会返回新的对象。

在pandas中，有多个方法可以选取和重新组合数据。对于DataFrame，表5-4进行了总结

适用于Series和DataFrame的基本统计分析函数 ：传入axis='columns'或axis=1将会按行进行运算。
.describe() ：针对各列的多个统计汇总，用统计学指标快速描述数据的概要。
.sum() ：计算各列数据的和
.count() ：非NaN值的数量
.mean( )/.median() ：计算数据的算术平均值、算术中位数
.var()/.std() ：计算数据的方差、标准差
.corr()/.cov() ：计算相关系数矩阵、协方差矩阵，是通过参数对计算出来的。Series的corr方法用于计算两个Series中重叠的、非NA的、按索引对齐的值的相关系数。DataFrame的corr和cov方法将以DataFrame的形式分别返回完整的相关系数或协方差矩阵。
.corrwith() ：利用DataFrame的corrwith方法，可以计算其列或行跟另一个Series或DataFrame之间的相关系数。传入一个Series将会返回一个相关系数值Series（针对各列进行计算），传入一个DataFrame则会计算按列名配对的相关系数。
.min()/.max() ：计算数据的最小值、最大值
.diff() ：计算一阶差分，对时间序列很有效
.mode() ：计算众数，返回频数最高的那（几）个
.mean() ：计算均值
.quantile() ：计算分位数（0到1）
.isin() ：用于判断矢量化集合的成员资格，可用于过滤Series中或DataFrame列中数据的子集
适用于Series的基本统计分析函数，DataFrame[列名]返回的是一个Series类型。
.unique() ：返回一个Series中的唯一值组成的数组。
.value_counts() ：计算一个Series中各值出现的频率。
.argmin()/.argmax() ：计算数据最大值、最小值所在位置的索引位置（自动索引）
.idxmin()/.idxmax() ：计算数据最大值、最小值所在位置的索引（自定义索引）

pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。下表对它们进行了总结，其中read_csv()、read_table()、to_csv()是用得最多的。

在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理、转换以及重塑。

在许多数据分析工作中，缺失数据是经常发生的。对于数值数据，pandas使用浮点值NaN（np.nan）表示缺失数据，也可将缺失值表示为NA（Python内置的None值）。

替换值
.replace(old, new) ：用新的数据替换老的数据，如果希望一次性替换多个值，old和new可以是列表。默认会返回一个新的对象，传入inplace=True可以对现有对象进行就地修改。

删除重复数据

利用函数或字典进行数据转换

df.head()：查询数据的前五行
df.tail()：查询数据的末尾5行
pandas.cut()
pandas.qcut() 基于分位数的离散化函数。基于秩或基于样本分位数将变量离散化为等大小桶。
pandas.date_range() 返回一个时间索引
df.apply() 沿相应轴应用函数
Series.value_counts() 返回不同数据的计数值
df.aggregate()
df.reset_index() 重新设置index，参数drop = True时会丢弃原来的索引，设置新的从0开始的索引。常与groupby()一起用
numpy.zeros()

G. Python+Pandas入门2——导出csv

1、to_csv()

1、path_or_buf =None： string or file handle, default None
   File path or object, if None is provided the result is returned as a string.
字符串或文件句柄，默认无文件
路径或对象，如果没有提供，结果将返回为字符串。

2、sep : character, default ‘,’
   Field delimiter for the output file.
  默认字符 ‘ ，’
  输出文件的字段分隔符。

3、na_rep : string, default ‘’
   Missing data representation
  字符串，默认为 ‘’
  浮点数格式字符串

4、float_format : string, default None
   Format string for floating point numbers
  字符串，默认为 None
  浮点数格式字符串

5、columns : sequence, optional Columns to write
   顺序，可选列写入

6、header : boolean or list of string, default True
Write out the column names. If a list of strings is given it is assumed to be aliases for the column names
   字符串或布尔列表，默认为true
   写出列名。如果给定字符串行表，则假定为列名的别名。

7、index : boolean, default True
   Write row names (index)
  布尔值，默认为Ture
  写入行名称（索引）

8、index_label : string or sequence, or False, default None
  *Column label for index column(s) if desired. If None is given, and header and index are True, then the index names are used. A sequence should be given if the DataFrame uses MultiIndex. If False do not print fields for index names. Use index_label=False for easier importing in R
  字符串或序列，或False,默认为None
  如果需要，可以使用索引列的列标签。如果没有给出，且标题和索引为True，则使用索引名称。如果数据文件使用多索引，则应该使用这个序列。如果值为False，不打印索引字段。在R中使用  index_label=False 更容易导入索引.

9、encoding : string, optional
   编码：字符串，可选
  表示在输出文件中使用的编码的字符串，Python 2上默认为“ASCII”和Python 3上默认为“UTF-8”。

10、compression : string, optional
   字符串，可选项
  表示在输出文件中使用的压缩的字符串，允许值为“gzip”、“bz2”、“xz”，仅在第一个参数是文件名时使用。

11、line_terminator : string, default ‘ ’
   字符串，默认为 ‘ ’
  在输出文件中使用的换行字符或字符序列

12、quoting : optional constant from csv mole
  *CSV模块的可选常量
  输出是否用引号，默认参数值为0，表示不加双引号，参数值为1，则每个字段都会加上引号，数值也会被当作字符串看待

13、quotechar : string (length 1), default ‘”’
  *字符串（长度1），默认"
  当quoting=1可以指定引号字符为双引号"或单引号'

14、doublequote : boolean, default True
   布尔，默认为Ture
  控制一个字段内的quotechar

15、escapechar : string (length 1), default None
   字符串（长度为1），默认为None
  在适当的时候用来转义sep和quotechar的字符

16、chunksize : int or None
   int或None
  一次写入行

17、tupleize_cols : boolean, default False
   布尔值 ，默认为False
从版本0.21.0中删除：此参数将被删除，并且总是将多索引的每行写入CSV文件中的单独行
  （如果值为false）将多索引列作为元组列表（如果TRUE）或以新的、扩展的格式写入，其中每个多索引列是CSV中的一行。

18、date_format : string, default None
   字符串，默认为None
  字符串对象转换为日期时间对象

19、decimal : string, default ‘.’
   字符串，默认’。’
  字符识别为小数点分隔符。例如。欧洲数据使用 ​​’，’

20、mode : str
   模式：值为‘str’，字符串
  Python写模式，默认“w”

H. 如何安装python pandas

1、首先去官网下载一个indivial edition个人版安装文件。anaconda

2、安装anaconda3，以下过程中勾选两项并安装直到完成：

3、配置默认保存目录

在cmd下，首先输入jupyter notebook –generate-config，此命令会在C:UsersAdministrator.jupyter目录下生产一个jupyter_notebook_config.py文件，打开此文件，找到#c.NotebookApp.notebook_dir=’’改为自己要保存文件的目录，并将前面的#去掉。

在cmd中运行jupyter notebook，会在浏览器中显示jupyter的界面，浏览器中地址是：http://localhost:8888/tree

I. python pandas怎么输出结果

本文是对pandas官方网站上《10 Minutes to pandas》的一个简单的翻译，原文在这里。这篇文章是对pandas的一个简单的介绍，详细的介绍请参考：Cookbook 。习惯上，我们会按下面格式引入所需要的包：

一、 创建对象
可以通过 Data Structure Intro Setion 来查看有关该节内容的详细信息。
1、可以通过传递一个list对象来创建一个Series，pandas会默认创建整型索引：

2、通过传递一个numpy array，时间索引以及列标签来创建一个DataFrame：

3、通过传递一个能够被转换成类似序列结构的字典对象来创建一个DataFrame：

4、查看不同列的数据类型：

5、如果你使用的是IPython，使用Tab自动补全功能会自动识别所有的属性以及自定义的列，下图中是所有能够被自动识别的属性的一个子集：

二、 查看数据
详情请参阅：Basics Section

1、 查看frame中头部和尾部的行：

2、 显示索引、列和底层的numpy数据：

3、 describe()函数对于数据的快速统计汇总：

4、 对数据的转置：

5、 按轴进行排序

6、 按值进行排序

三、 选择
虽然标准的Python/Numpy的选择和设置表达式都能够直接派上用场，但是作为工程使用的代码，我们推荐使用经过优化的pandas数据访问方式： .at, .iat, .loc, .iloc 和 .ix详情请参阅Indexing and Selecing Data 和 MultiIndex / Advanced Indexing。
l 获取
1、 选择一个单独的列，这将会返回一个Series，等同于df.A：

2、 通过[]进行选择，这将会对行进行切片

l 通过标签选择
1、 使用标签来获取一个交叉的区域

2、 通过标签来在多个轴上进行选择

3、 标签切片

4、 对于返回的对象进行维度缩减

5、 获取一个标量

6、 快速访问一个标量（与上一个方法等价）

l 通过位置选择
1、 通过传递数值进行位置选择（选择的是行）

2、 通过数值进行切片，与numpy/python中的情况类似

3、 通过指定一个位置的列表，与numpy/python中的情况类似

4、 对行进行切片

5、 对列进行切片

6、 获取特定的值

l 布尔索引
1、 使用一个单独列的值来选择数据：

2、 使用where操作来选择数据：

3、 使用isin()方法来过滤：

l 设置
1、 设置一个新的列：

2、 通过标签设置新的值：

3、 通过位置设置新的值：

4、 通过一个numpy数组设置一组新值：

上述操作结果如下：

5、 通过where操作来设置新的值：

四、 缺失值处理
在pandas中，使用np.nan来代替缺失值，这些值将默认不会包含在计算中，详情请参阅：Missing Data Section。
1、 reindex()方法可以对指定轴上的索引进行改变/增加/删除操作，这将返回原始数据的一个拷贝：、

2、 去掉包含缺失值的行：

3、 对缺失值进行填充：

4、 对数据进行布尔填充：

五、 相关操作
详情请参与 Basic Section On Binary Ops
统计（相关操作通常情况下不包括缺失值）
1、 执行描述性统计：

2、 在其他轴上进行相同的操作：

3、 对于拥有不同维度，需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播：

Apply
1、 对数据应用函数：

直方图
具体请参照：Histogramming and Discretization

字符串方法
Series对象在其str属性中配备了一组字符串处理方法，可以很容易的应用到数组中的每个元素，如下段代码所示。更多详情请参考：Vectorized String Methods.

六、 合并
Pandas提供了大量的方法能够轻松的对Series，DataFrame和Panel对象进行各种符合各种逻辑关系的合并操作。具体请参阅：Merging section
Concat

Join 类似于SQL类型的合并，具体请参阅：Database style joining

Append 将一行连接到一个DataFrame上，具体请参阅Appending：

七、 分组
对于”group by”操作，我们通常是指以下一个或多个操作步骤：
（Splitting）按照一些规则将数据分为不同的组；
（Applying）对于每组数据分别执行一个函数；
（Combining）将结果组合到一个数据结构中；
详情请参阅：Grouping section

1、 分组并对每个分组执行sum函数：

2、 通过多个列进行分组形成一个层次索引，然后执行函数：

八、 Reshaping
详情请参阅 Hierarchical Indexing 和 Reshaping。
Stack

数据透视表，详情请参阅：Pivot Tables.

可以从这个数据中轻松的生成数据透视表：

九、 时间序列
Pandas在对频率转换进行重新采样时拥有简单、强大且高效的功能（如将按秒采样的数据转换为按5分钟为单位进行采样的数据）。这种操作在金融领域非常常见。具体参考：Time Series section。

1、 时区表示：

2、 时区转换：

3、 时间跨度转换：

4、 时期和时间戳之间的转换使得可以使用一些方便的算术函数。

十、 Categorical
从0.15版本开始，pandas可以在DataFrame中支持Categorical类型的数据，详细 介绍参看：categorical introction和API documentation。

1、 将原始的grade转换为Categorical数据类型：

2、 将Categorical类型数据重命名为更有意义的名称：

3、 对类别进行重新排序，增加缺失的类别：

4、 排序是按照Categorical的顺序进行的而不是按照字典顺序进行：

5、 对Categorical列进行排序时存在空的类别：

十一、 画图
具体文档参看：Plotting docs

对于DataFrame来说，plot是一种将所有列及其标签进行绘制的简便方法：

十二、 导入和保存数据
CSV，参考：Writing to a csv file
1、 写入csv文件：

2、 从csv文件中读取：

HDF5，参考：HDFStores
1、 写入HDF5存储：

2、 从HDF5存储中读取：

Excel，参考：MS Excel
1、 写入excel文件：

2、 从excel文件中读取：

来自为知笔记(Wiz)

J. python(pandas模块)

1.什么是pandas? numpy模块和pandas模块都是用于处理数据的模块。 numpy主要用于针对数组进行统计计算,处理数字数据比较方便。 pandas除了可以处理数字数据,还可...