python统计包

‘壹’ 如何用python将dataframe更新原来的sql表

pandas是python环境下最有名的数据统计包，而DataFrame翻译为数据框，是一种数据组织方式，这么说你可能无法从感性上认识它，举个例子，你大概用过Excel，而它也是一种数据组织和呈现的方式，简单说就是表格，而在在pandas中用DataFrame组织数据，如果你不print DataFrame，你看不到这些数据，下面我们来看看DataFrame是如何使用的。
首先是引入pandas和numpy，这是经常配合使用的两个包，pandas依赖于numpy，引入以后我们可以直接使用np/pd来表示这个两个模块
先创建一个时间索引，所谓的索引（index)就是每一行数据的id，可以标识每一行的唯一值
为了快速入门，我们看一下如何创建一个6X4的数据：randn函数用于创建随机数，参数表示行数和列数，dates是上一步创建的索引列
我们还可以使用字典来创建数据框，例如创建一个列名为A的数据框，索引是自动创建的整数
这又是一个字典创建DataFrame的例子
假如字典内的数据长度不同，以最长的数据为准，比如B列有4行：
可以使用dtypes来查看各行的数据格式
接着看一下如何查看数据框中的数据，看一下所有的数据
使用head查看前几行数据（默认是前5行），不过你可以指定前几行
查看前三行数据
使用tail查看后5行数据
查看数据框的索引
查看列名用columns
查看数据值，用values
查看描述性统计，用describe
使用type看一下输出的描述性统计是什么样的数据类型——DataFrame数据
使用T来转置数据，也就是行列转换
对数据进行排序，用到了sort，参数可以指定根据哪一列数据进行排序。
好了，这篇入门教程到这里，后面还有很多，希望有志同道合的朋友一起交流学习，有什么说的不对的地方，请批评指正。

‘贰’ python数据分析需要哪些库

1、Numpy
Numpy是Python科学计算的基础包，它提供了很多功能：快速高效的多维数组对象ndarray、用于对数组执行元素级计算以及直接对数组执行数学运算的函数、用于读写硬盘上基于数组的数据集的工具、线性代数运算、傅里叶变换以及随机数生成等。NumPy在数据分析方面还有另外一个主要作用，即作为在算法和库之间传递数据的容器。
2、Pandas
Pandas提供了快速便捷处理结构化数据的大量数据结构和函数。自从2010年出现以来，它助使Python成为强大而高效的数据分析环境。其中用得最多的Pandas对象是DataFrame，它是一个面向列的二维表结构，另一个是Series，一个一维的标签化数组对象。Pandas兼具Numpy高性能的数组计算功能以及电子表格和关系型数据库灵活的数据处理功能。还提供了复杂精细的索引功能，能更加便捷地完成重塑、切片和切块、聚合以及选取数据子集等操作。
3、matplotlib
matplotlib是最流行的用于绘制图表和其他二维数据可视化的Python库。它最初由John
D.Hunter(JDH)创建，目前由一个庞大的开发团队维护。它非常适合创建出版物上用的图表。虽然还有其他的Python可视化库，但matplotlib应用最为广泛。
4、SciPy
SciPy是一组专门解决科学计算中各种标准问题域的包的集合，它与Numpy结合使用，便形成了一个相当完备和成熟的计算平台，可以处理多种传统的科学计算问题。
5、scikit-learn
2010年诞生以来，scikit-learn成为了Python通用机器学习工具包。它的子模块包括：分类、回归、聚类、降维、选型、预处理等。与pandas、statsmodels和IPython一起，scikit-learn对于Python成为高效数据科学编程语言起到了关键作用。
6、statsmodels
statsmodels是一个统计分析包，起源于斯坦福大学统计学教授，他设计了多种流行于R语言的回归分析模型。Skipper Seabold和Josef
Perktold在2010年正式创建了statsmodels项目，随后汇聚了大量的使用者和贡献者。与scikit-learn比较，statsmodels包含经典统计学和经济计量学的算法。

‘叁’ 用Python怎么统计一个列表的元素种类和各个种类的个数

统计一个列表中每一个元素的个数在Python里有两种实现方式，

第一种是新建一个dict，键是列表中的元素，值是统计的个数，然后遍历list。

items=["cc","cc","ct","ct","ac"]

count={}
foriteminitems:
count[item]=count.get(item,0)+1
print(count)
#{'ac':1,'ct':2,'cc':2}

之中用到了一个小技巧，当dict中不还没有统计过一个元素时，直接索引count[item]会报错，而使用get方法count.get(item, 0)能够设置索引不存在的键时返回0。

第二种是使用Python内置的函数。统计元素的个数是一种非常常见的操作，Python的collection包里已经有一个Counter的类，大致实现了上面的功能。

fromcollectionsimportCounter

items=["cc","cc","ct","ct","ac"]
count=Counter(items)
print(count)
#Counter({'ct':2,'cc':2,'ac':1})

‘肆’ python包含数据包用的什么命令

python包含数据包命令如下。
easy_insert包名。
其中python有多种数据包以下为常用数据包，Numpy提供了两种基本的对象：ndarray和ufunc。ndarray是存储单一数据类型的多维数组，而ufunc是能够对数组进行处理的函数。N维数组，一种快速、高效使用内存的多维数组，他提供矢量化数学运算。可以不需要使用循环，就能对整个数组内的数据进行标准数学运算。非常便于传送数据到用低级语言编写(CC++)的外部库，也便于外部库以Numpy数组形式返回数据。Numpy不提供高级数据分析功能，但可以更加深刻的理解Numpy数组和面向数组的计算，可以进行：数组的算数和逻辑运算。傅立叶变换和用于图形操作的例程。与线性代数有关的操作。NumPy拥有线性代数和随机数生成的内置函数。2，Scipy是一款方便、易于使用、专门为科学和工程设计的Python包，它包括统计、优化、整合、线性代数模块、傅里叶变换、信号和图像处理、常微分方程求解器等。Scipy依赖于Numpy，并提供许多对用户友好的和有效的数值例程，如数值积分和优化。3、PPandas是Python的一个数据分析包，Pandas最初被用作金融数据分析工具而开发出来，因此Pandas为时间序列分析提供了很好的支持。Pandas是为了解决数据分析任务而创建的，Pandas纳入了大量的库和一些标准的数据模型，提供了高效的操作大型数据集所需要的工具。Pandas提供了大量是我们快速便捷的处理数据的函数和方法。Pandas包含了高级数据结构，以及让数据分析变得快速、简单的工具。它建立在Numpy之上，使得Numpy应用变得简单。

‘伍’ java中如何让使用Python的统计包绘图

看来是同道。你提到的这个问题很难。
java调用python容易。 java甚至可以直接调用python的类。python调用java更容易了。
不过GUI要想融合，据目前20年的技术来看，只有本土的可以。 比如以前的微软件ActiveX，不管你是什么语言开发的都可以在windows下用OLE方式嵌入。

java的制图功能，因为它的设计理念 ，它是封闭的。也就是说，除非你使用了它本地化的GUI方法，否则就不可能实现。

那么说，如果我一定要实现怎么办呢？只能走很长的弯路。方法还是有几个的。
方法1：
在java的panel里嵌入一个浏览器，然后在浏览器里显示统计图表。这个真是不要太容易了。 不管是你是python生成的本地图片，还是直接用javascript生成的图都可以嵌入进去。美观不用说

方法2：
绘图使用开源的，比如plt之类的。不过它被本地化成java版本的。然后用java调用python，再用python产生数据后，通过jython调用java本地化的绘图工具。

表面上看，这个东西就是没有价值的，为什么不直接用java调用绘图。关键在于python本身对于数据处理的优势太明显。轻松就可以完成复杂的数据结构处理。所以还是有价值的

方法3：
浮动窗口方式。这个就不说了。如果你的java是固定在窗口特定位置的。这个就容易了。怎么浮动窗口要根据操作系统而定。

方法4：简单方案
python生成图片后，输出成JPEG或者是PNG或者是GIF，然后让JAVA显示这个图片。这个可能是最最简单的。

方法5：windows专用，不知道可否使用
仅限于特定场景，在要显示图片的地方，显示一个品红色的纯色图。然后让python的图形输出转到directshow之类的API，直接写显卡。这样就可以显示动画效果。

‘陆’ python数据统计分析

1. 常用函数库

  scipy包中的stats模块和statsmodels包是python常用的数据分析工具，scipy.stats以前有一个models子模块，后来被移除了。这个模块被重写并成为了现在独立的statsmodels包。

 scipy的stats包含一些比较基本的工具，比如：t检验，正态性检验，卡方检验之类，statsmodels提供了更为系统的统计模型，包括线性模型，时序分析，还包含数据集，做图工具等等。

2. 小样本数据的正态性检验

(1) 用途

 夏皮罗维尔克检验法 (Shapiro-Wilk) 用于检验参数提供的一组小样本数据线是否符合正态分布，统计量越大则表示数据越符合正态分布，但是在非正态分布的小样本数据中也经常会出现较大的W值。需要查表来估计其概率。由于原假设是其符合正态分布，所以当P值小于指定显着水平时表示其不符合正态分布。

 正态性检验是数据分析的第一步，数据是否符合正态性决定了后续使用不同的分析和预测方法，当数据不符合正态性分布时，我们可以通过不同的转换方法把非正太态数据转换成正态分布后再使用相应的统计方法进行下一步操作。

(2) 示例

(3) 结果分析

 返回结果 p-value=0.029035290703177452，比指定的显着水平（一般为5%）小，则拒绝假设：x不服从正态分布。

3. 检验样本是否服务某一分布

(1) 用途

 科尔莫戈罗夫检验(Kolmogorov-Smirnov test)，检验样本数据是否服从某一分布，仅适用于连续分布的检验。下例中用它检验正态分布。

(2) 示例

(3) 结果分析

 生成300个服从N(0,1)标准正态分布的随机数，在使用k-s检验该数据是否服从正态分布，提出假设：x从正态分布。最终返回的结果，p-value=0.9260909172362317，比指定的显着水平（一般为5%）大，则我们不能拒绝假设：x服从正态分布。这并不是说x服从正态分布一定是正确的，而是说没有充分的证据证明x不服从正态分布。因此我们的假设被接受，认为x服从正态分布。如果p-value小于我们指定的显着性水平，则我们可以肯定地拒绝提出的假设，认为x肯定不服从正态分布，这个拒绝是绝对正确的。

4.方差齐性检验

(1) 用途

 方差反映了一组数据与其平均值的偏离程度，方差齐性检验用以检验两组或多组数据与其平均值偏离程度是否存在差异，也是很多检验和算法的先决条件。

(2) 示例

(3) 结果分析

 返回结果 p-value=0.19337536323599344, 比指定的显着水平（假设为5%）大，认为两组数据具有方差齐性。

5. 图形描述相关性

(1) 用途

 最常用的两变量相关性分析，是用作图描述相关性，图的横轴是一个变量，纵轴是另一变量，画散点图，从图中可以直观地看到相关性的方向和强弱，线性正相关一般形成由左下到右上的图形；负面相关则是从左上到右下的图形，还有一些非线性相关也能从图中观察到。

(2) 示例

(3) 结果分析

 从图中可以看到明显的正相关趋势。

6. 正态资料的相关分析

(1) 用途

 皮尔森相关系数（Pearson correlation coefficient）是反应两变量之间线性相关程度的统计量，用它来分析正态分布的两个连续型变量之间的相关性。常用于分析自变量之间，以及自变量和因变量之间的相关性。

(2) 示例

(3) 结果分析

 返回结果的第一个值为相关系数表示线性相关程度，其取值范围在[-1,1]，绝对值越接近1，说明两个变量的相关性越强，绝对值越接近0说明两个变量的相关性越差。当两个变量完全不相关时相关系数为0。第二个值为p-value，统计学上，一般当p-value<0.05时，可以认为两变量存在相关性。

7. 非正态资料的相关分析

(1) 用途

 斯皮尔曼等级相关系数(Spearman’s correlation coefficient for ranked data )，它主要用于评价顺序变量间的线性相关关系，在计算过程中，只考虑变量值的顺序（rank, 值或称等级），而不考虑变量值的大小。常用于计算类型变量的相关性。

(2) 示例

(3) 结果分析

 返回结果的第一个值为相关系数表示线性相关程度，本例中correlation趋近于1表示正相关。第二个值为p-value，p-value越小，表示相关程度越显着。

8. 单样本T检验

(1) 用途

 单样本T检验，用于检验数据是否来自一致均值的总体，T检验主要是以均值为核心的检验。注意以下几种T检验都是双侧T检验。

(2) 示例

(3) 结果分析

 本例中生成了2列100行的数组，ttest_1samp的第二个参数是分别对两列估计的均值，p-value返回结果，第一列1.47820719e-06比指定的显着水平（一般为5%）小，认为差异显着，拒绝假设；第二列2.83088106e-01大于指定显着水平，不能拒绝假设：服从正态分布。

9. 两独立样本T检验

(1) 用途

 由于比较两组数据是否来自于同一正态分布的总体。注意：如果要比较的两组数据不满足方差齐性， 需要在ttest_ind()函数中添加参数equal_var = False。

(2) 示例

(3) 结果分析

 返回结果的第一个值为统计量，第二个值为p-value，pvalue=0.19313343989106416，比指定的显着水平（一般为5%）大，不能拒绝假设，两组数据来自于同一总结，两组数据之间无差异。

10. 配对样本T检验

(1) 用途

 配对样本T检验可视为单样本T检验的扩展，检验的对象由一群来自正态分布独立样本更改为二群配对样本观测值之差。它常用于比较同一受试对象处理的前后差异，或者按照某一条件进行两两配对分别给与不同处理的受试对象之间是否存在差异。

(2) 示例

(3) 结果分析

 返回结果的第一个值为统计量，第二个值为p-value，pvalue=0.80964043445811551，比指定的显着水平（一般为5%）大，不能拒绝假设。

11. 单因素方差分析

(1) 用途

 方差分析(Analysis of Variance，简称ANOVA)，又称F检验，用于两个及两个以上样本均数差别的显着性检验。方差分析主要是考虑各组之间的平均数差别。

 单因素方差分析（One-wayAnova），是检验由单一因素影响的多组样本某因变量的均值是否有显着差异。

 当因变量Y是数值型，自变量X是分类值，通常的做法是按X的类别把实例成分几组，分析Y值在X的不同分组中是否存在差异。

(2) 示例

(3) 结果分析

 返回结果的第一个值为统计量，它由组间差异除以组间差异得到，上例中组间差异很大，第二个返回值p-value=6.2231520821576832e-19小于边界值（一般为0.05）,拒绝原假设, 即认为以上三组数据存在统计学差异，并不能判断是哪两组之间存在差异 。只有两组数据时，效果同 stats.levene 一样。

12. 多因素方差分析

(1) 用途

 当有两个或者两个以上自变量对因变量产生影响时，可以用多因素方差分析的方法来进行分析。它不仅要考虑每个因素的主效应，还要考虑因素之间的交互效应。

(2) 示例

(3) 结果分析

 上述程序定义了公式，公式中，"~"用于隔离因变量和自变量，”+“用于分隔各个自变量， ":"表示两个自变量交互影响。从返回结果的P值可以看出，X1和X2的值组间差异不大，而组合后的T:G的组间有明显差异。

13. 卡方检验

(1) 用途

 上面介绍的T检验是参数检验，卡方检验是一种非参数检验方法。相对来说，非参数检验对数据分布的要求比较宽松，并且也不要求太大数据量。卡方检验是一种对计数资料的假设检验方法，主要是比较理论频数和实际频数的吻合程度。常用于特征选择，比如，检验男人和女人在是否患有高血压上有无区别，如果有区别，则说明性别与是否患有高血压有关，在后续分析时就需要把性别这个分类变量放入模型训练。

 基本数据有R行C列, 故通称RC列联表(contingency table), 简称RC表，它是观测数据按两个或更多属性（定性变量）分类时所列出的频数表。

(2) 示例

(3) 结果分析

 卡方检验函数的参数是列联表中的频数，返回结果第一个值为统计量值，第二个结果为p-value值，p-value=0.54543425102570975，比指定的显着水平（一般5%）大，不能拒绝原假设，即相关性不显着。第三个结果是自由度，第四个结果的数组是列联表的期望值分布。

14. 单变量统计分析

(1) 用途

 单变量统计描述是数据分析中最简单的形式，其中被分析的数据只包含一个变量，不处理原因或关系。单变量分析的主要目的是通过对数据的统计描述了解当前数据的基本情况，并找出数据的分布模型。

 单变量数据统计描述从集中趋势上看，指标有：均值，中位数，分位数，众数；从离散程度上看，指标有：极差、四分位数、方差、标准差、协方差、变异系数，从分布上看，有偏度，峰度等。需要考虑的还有极大值，极小值（数值型变量）和频数，构成比（分类或等级变量）。

 此外，还可以用统计图直观展示数据分布特征，如：柱状图、正方图、箱式图、频率多边形和饼状图。

15. 多元线性回归

(1) 用途

 多元线性回归模型（multivariable linear regression model ），因变量Y（计量资料）往往受到多个变量X的影响，多元线性回归模型用于计算各个自变量对因变量的影响程度，可以认为是对多维空间中的点做线性拟合。

(2) 示例

(3) 结果分析

 直接通过返回结果中各变量的P值与0.05比较，来判定对应的解释变量的显着性，P<0.05则认为自变量具有统计学意义，从上例中可以看到收入INCOME最有显着性。

16. 逻辑回归

(1) 用途

 当因变量Y为2分类变量（或多分类变量时）可以用相应的logistic回归分析各个自变量对因变量的影响程度。

(2) 示例

(3) 结果分析

 直接通过返回结果中各变量的P值与0.05比较，来判定对应的解释变量的显着性，P<0.05则认为自变量具有统计学意义。

‘柒’ R 和 Python 用于统计学分析，哪个更好

总的概括：R主要在学术界流行，python(numpy scipy)在工程方便比较实用。

R是S（Splus）的开源版本，或者下一代。发源地在新西兰奥克兰。这个软件的统计背景很浓烈。我这里浓烈的意思是，如果你不熟习统计知识（历史）的话，R的帮助文档看起来是很累的。由统计背景的人开发。R的维护组叫CRAN-R。在生物信息方便，有个叫bioconctor的组织，里面有很多生物信息方面可以用的软件包，他们有一套自己维护package系统。

Python是个综合语言（这里特指指CPython解释器），numpy scipy是数值计算的扩展包，pandas是主要用来做数据处理（numpy依赖），sympy做符号计算（类似mathematica？）此外还有一些不太成熟的包如sciki learn，statistical models。成熟度不如R。但是已经到了可用的水平了。是读计算机的人写的统计包。ipython 更新到1.0以后，功能基本完善，其notebook非常强大（感觉就像mathematica)而且还是基于web，在合作分享方面非常好用。

性能：
大家都说R慢，特别是CS的人。其实这里主要是两点：一个R里面数组的调用都是用复制的，二是Rscript慢。三是处理大数据慢。如果R用的好的话，R是不太慢的。具体来说就是Rscript用的少，多用命令，跑点小数据。这样的话，实际在跑的都是背后的fortran和C库。他们都有快二三十年历史了。可谓异常可靠，优化得不能再优化了（指单线程，如果去看源代码挥发先许多莫名的常数，永用了以后精度高速度快！）。比如一个自己编写一个R脚本，loop套loop的那种，那真是想死的心都会有。外加一点，R处理文本文件很慢！

Python归根揭底还是个有解释器的脚本语言，而且有致命伤——GIL，但python最难能可贵的就是它很容易变得更快。比如pypy，cython，或者直接ctypes挂C库。纯python写个原型，然后就开是不断的profiling和加速吧。很轻易可以达到和C一个数量级的速度，但是写程序、调试的时间少了很多。

并行计算：
R v15 之后有了自带的parallel包，用挺轻松的。不过其实就是不停的fork，或者mpi，内存消耗挺厉害的。parSapply，parApply什么的，真是很好用。

Python虽然有GIL——并行计算的死敌，但是有multiprocessing(fork依赖) ，是可以共享数据的什么的，估计内存消耗方面比R好点，数据零散的话overhead很多。到了MPI的话，mpi4py还是挺好用的。用cython的话结合openmp可以打破GIL，但是过程中不能调用python的对象。

学习曲线：假设什么编程都不会的同学。
R一开始还是很容易上手的，查到基本的命令，包，直接print一下就有结果了。但是如果要自己写算法、优化性能的时候，学习难度陡增。

Python么，挺好学的，绝大多数的帮助文档都比R好了许多。有些包用起来没R方便。总的来说深入吼R陡。

扩展资源：
基本上新的统计方法都会有R的package，安装实用都不麻烦。但是基本上都是搞统计的人写的计算机包。所以效能上可能有问好。比较出名的有两个包的管理网站，cran-r 和bioconctor。 所以搞生化的估计R用起来很方便。

python的统计计算包们比R少，多很年轻，还在不断的开发中。优于是计算机人写的统计包，用起来的时候要多涨个心眼。

画图：
R自带的那些工具就挺好用了，然后还有ggplot这种非常优美的得力工具。

python 有matplotlib，画出来效果感觉比R自带的好一些些，而且界面基于QT，跨平台支持。可能是R用得多了，pyplot用起来还是不太顺手，觉得其各个组建的统一性不高。

IDE：
Rstudio非常不错，提供类matlab环境。（用过vim-r-plugin，用过emacs + ess现在用vim。）

windows 下有python(x,y) 还有许多商业的工具。（本人现在的emacs环境还不是很顺手~）

建议：
如果只是处理（小）数据的，用R。结果更可靠，速度可以接受，上手方便，多有现成的命令、程序可以用。

要自己搞个算法、处理大数据、计算量大的，用python。开发效率高，一切尽在掌握。

ps：盲目地用R的包比盲目的地用python的包要更安全。起码R会把你指向一篇论文，而python只是指向一堆代码。R出问题了还有论文作者、审稿人陪葬。