python序列分析

1. 利用python进行数据分析笔记：3.1数据结构

元组是一种固定长度、不可变的Python对象序列。创建元组最简单的办法是用逗号分隔序列值：

tuple 函数将任意序列或迭代器转换为元组：

中括号 [] 可以获取元组的元素， Python中序列索引从0开始 ：

元组一旦创建，各个位置上的对象是无法被修改的，如果元组的一个对象是可变的，例如列表，你可以在它内部进行修改：

可以使用 + 号连接元组来生成更长的元组：

元组乘以整数，则会和列表一样，生成含有多份拷贝的元组：

将元组型的表达式赋值给变量，Python会对等号右边的值进行拆包：

拆包的一个常用场景就是遍历元组或列表组成的序列：

*rest 用于在函数调用时获取任意长度的位置参数列表：

count 用于计量某个数值在元组中出现的次数：

列表的长度可变，内容可以修改。可以使用 [] 或者 list 类型函数来定义列表：

append 方法将元素添加到列表尾部：

insert 方法可以将元素插入到指定列表位置：
（ 插入位置范围在0到列表长度之间 ）

pop 是 insert 的反操作，将特定位置的元素移除并返回：

remove 方法会定位第一个符合要求的值并移除它：

in 关键字可以检查一个值是否在列表中；
not in 表示不在：

+ 号可以连接两个列表：

extend 方法可以向该列表添加多个元素：

使用 extend 将元素添加到已经存在的列表是更好的方式，比 + 快。

sort 方法可以对列表进行排序：

key 可以传递一个用于生成排序值的函数，例如通过字符串的长度进行排序：

bisect.bisect 找到元素应当被插入的位置，返回位置信息
bisect.insort 将元素插入到已排序列表的相应位置保持序列排序

bisect 模块的函数并不会检查列表是否已经排序，因此对未排序列表使用bisect不会报错，但是可能导致不正确结果

切片符号可以对大多数序列类型选取子集，基本形式是 [start:stop]
起始位置start索引包含，结束位置stop索引不包含

切片还可以将序列赋值给变量：

start和stop可以省略，默认传入起始位置或结束位置，负索引可以从序列尾部进行索引：

步进值 step 可以在第二个冒号后面使用， 意思是每隔多少个数取一个值：

对列表或元组进行翻转时，一种很聪明的用法时向步进值传值-1：

dict(字典)可能是Python内建数据结构中最重要的，它更为常用的名字是 哈希表 或者 关联数组 。
字典是键值对集合，其中键和值都是Python对象。
{} 是创建字典的一种方式，字典中用逗号将键值对分隔：

你可以访问、插入或设置字典中的元素,:

in 检查字典是否含有一个键：

del 或 pop 方法删除值， pop 方法会在删除的同时返回被删的值，并删除键：

update 方法将两个字典合并：
update方法改变了字典元素位置，对于字典中已经存在的键，如果传给update方法的数据也含有相同的键，则它的值将会被覆盖。

字典的值可以是任何Python对象，但键必须是不可变的对象，比如标量类型（整数、浮点数、字符串）或元组（且元组内对象也必须是不可变对象）。
通过 hash 函数可以检查一个对象是否可以哈希化（即是否可以用作字典的键）：

集合是一种无序且元素唯一的容器。

set 函数或者是用字面值集与大括号，创建集合：

union 方法或 | 二元操作符获得两个集合的联合即两个集合中不同元素的并集：

intersection 方法或 & 操作符获得交集即两个集合中同时包含的元素：

常用的集合方法列表：

和字典类似，集合的元素必须是不可变的。如果想要包含列表型的元素，必须先转换为元组：

2. 利用Python进行数据分析(9)-重采样resample和频率转换

Python-for-data-重新采样和频率转换

重新采样指的是将时尺耐间序列从一个频率转换到另一个频率的过程。

但是也并不是所有的采样方式都是属于上面的两种

pandas中使用resample方法来实现频率转换，下面是resample方法的参数详解：

将数据聚合到一个规则的低频上，例如将时间转换为每个月，"M"或者"BM"，将数据分成一个月的时间间隔。

每个间隔是半闭合的，一个数据只能属于一个时间间隔。时间间隔的并集必须是整个时间帧

默认情况下，左箱体边界是包含的。00:00的值是00：00到00：05间隔内的值

产生的时间序列按照每个箱体左边的时间戳被标记。

传递<span class="mark">label="right"</span>可以使用右箱体边界标记时间序列

向loffset参数传递字符串或者日期偏置

在金融数据中，为每个数据桶计算4个值是常见知困物的问题：

通过<span class="girk">ohlc聚合函数</span>能够得到四种聚合值列的DF数据

低频搭液转到高频的时候会形成缺失值

ffill() ：使用前面的值填充， limit 限制填充的次数

3. python中时间序列数据的一些处理方式

datetime.timedelta对象代表两个时间之间的时间差，两个date或datetime对象相减就可以返回一个timedelta对象。
利用以下数据进行说明：

如果我们发现时间相关内容的变量为int,float,str等类型，不方便后面的分析，就需要使用该函数转化为常用的时间变量格式：pandas.to_datetime

转换得到的时间单位如下：

如果时间序列格式不统一，pd.to_datetime()的处理方式：

当然，正确的转换是这样的：

第一步：to_datetime()
第二步：astype(datetime64[D]),astype(datetime64[M])

本例中：

order_dt_diff必须是Timedelta(Ɔ days 00:00:00')格式，可能是序列使用了diff()
或者pct_change()。

前者往往要通过'/np.timedelta'去掉单位days。后者其实没有单位。

假如我们要统计某共享单车一天内不同时间点的用户使用数据，例如

还有其他维度的提取，年、月、日、周，参见：
Datetime properties

注意 ：.dt的对象必须为pandas.Series,而不可以是Series中的单个元素

4. arima模型python 怎么看平稳性

时间序列分析(一) 如何判断序列是否平稳
序列平稳不平稳，一般采用两种方法：
第一种：看图法
图是指时序图，例如(eviews画滴)：

分析：什么样的图不平稳，先说下什么是平稳，平稳就是围绕着一个常数上下波动。
看看上面这个图，很明显的增长趋势，不平稳。

第二种：自相关系数和偏相关系数
还以上面的序列为例：用eviews得到自相关和偏相关图，Q统计量和伴随概率。

分析：判断平稳与否的话，用自相关图和偏相关图就可以了。
平稳的序列的自相关图和偏相关图不是拖尾就是截尾。截尾就是在某阶之后，系数都为 0 ，怎么理解呢，看上面偏相关的图，当阶数为 1 的时候，系数值还是很大， 0.914. 二阶长的时候突然就变成了 0.050. 后面的值都很小，认为是趋于 0 ，这种状况就是截尾。再就是拖尾，拖尾就是有一个衰减的趋势，但是不都为 0 。
自相关图既不是拖尾也不是截尾。以上的图的自相关是一个三角对称的形式，这种趋势是单调趋势的典型图形。

下面是通过自相关的其他功能
如果自相关是拖尾，偏相关截尾，则用 AR 算法
如果自相关截尾，偏相关拖尾，则用 MA 算法
如果自相关和偏相关都是拖尾，则用 ARMA 算法， ARIMA 是 ARMA 算法的扩展版，用法类似 。
不平稳，怎么办？
答案是差分
还是上面那个序列，两种方法都证明他是不靠谱的，不平稳的。确定不平稳后，依次进行1阶、2阶、3阶...差分，直到平稳位置。先来个一阶差分，上图。

从图上看，一阶差分的效果不错，看着是平稳的。

5. 如何用python做舆情时间序列可视化

如何批量处理评论信息情感分析，并且在时间轴上可视化呈现？舆情分析并不难，让我们用Python来实现它吧。
痛点
你是一家连锁火锅店的区域经理，很注重顾客对餐厅的评价。从前，你苦恼的是顾客不爱写评价。最近因为餐厅火了，分店越来越多，写评论的顾客也多了起来，于是你新的痛苦来了——评论太多了，读不过来。
从我这儿，你了解到了情感分析这个好用的自动化工具，一下子觉得见到了曙光。
你从某知名点评网站上，找到了自己一家分店的页面，让助手把上面的评论和发布时间数据弄下来。因为助手不会用爬虫，所以只能把评论从网页上一条条复制粘贴到Excel里。下班的时候，才弄下来27条。（注意这里我们使用的是真实评论数据。为了避免对被评论商家造成困扰，统一将该餐厅的名称替换为“A餐厅”。特此说明。）
好在你只是想做个试验而已，将就了吧。你用我之前介绍的中文信息情感分析工具，依次得出了每一条评论的情感数值。刚开始做出结果的时候，你很兴奋，觉得自己找到了舆情分析的终极利器。
可是美好的时光总是短暂的。很快你就发现，如果每一条评论都分别运行一次程序，用机器来做分析，还真是不如自己挨条去读省事儿。
怎么办呢？
序列
办法自然是有的。我们可以利用《贷还是不贷：如何用Python和机器学习帮你决策？》一文介绍过的数据框，一次性处理多个数据，提升效率。
但是这还不够，我们还可以把情感分析的结果在时间序列上可视化出来。这样你一眼就可以看见趋势——近一段时间里，大家是对餐厅究竟是更满意了，还是越来越不满意呢？
我们人类最擅长处理的，就是图像。因为漫长的进化史逼迫我们不断提升对图像快速准确的处理能力，否则就会被环境淘汰掉。因此才会有“一幅图胜过千言万语”的说法。
准备
首先，你需要安装Anaconda套装。详细的流程步骤请参考《 如何用Python做词云 》一文。
助手好不容易做好的Excel文件restaurant-comments.xlsx，请从这里下载。
用Excel打开，如果一切正常，请将该文件移动到咱们的工作目录demo下。
因为本例中我们需要对中文评论作分析，因此使用的软件包为SnowNLP。情感分析的基本应用方法，请参考《如何用Python做情感分析？》。
到你的系统“终端”(macOS, Linux)或者“命令提示符”(Windows)下，进入我们的工作目录demo，执行以下命令。
pip install snownlp
pip install ggplot

运行环境配置完毕。
在终端或者命令提示符下键入：
jupyter notebook

如果Jupyter Notebook正确运行，下面我们就可以开始编写代码了。
代码
我们在Jupyter Notebook中新建一个Python 2笔记本，起名为time-series。
首先我们引入数据框分析工具Pandas，简写成pd以方便调用。
import pandas as pd

接着，读入Excel数据文件：
df = pd.read_excel("restaurant-comments.xlsx")

我们看看读入内容是否完整：
df.head()

结果如下：
注意这里的时间列。如果你的Excel文件里的时间格式跟此处一样，包含了日期和时间，那么Pandas会非常智能地帮你把它识别为时间格式，接着往下做就可以了。
反之，如果你获取到的时间只精确到日期，例如"2017-04-20"这样，那么Pandas只会把它当做字符串，后面的时间序列分析无法使用字符串数据。解决办法是在这里加入以下两行代码：
from dateutil import parser
df["date"] = df.date.apply(parser.parse)

这样，你就获得了正确的时间数据了。
确认数据完整无误后，我们要进行情感分析了。先用第一行的评论内容做个小实验。
text = df.comments.iloc[0]

然后我们调用SnowNLP情感分析工具。
from snownlp import SnowNLP
s = SnowNLP(text)

显示一下SnowNLP的分析结果：
s.sentiments

结果为：
0.6331975099099649

情感分析数值可以正确计算。在此基础上，我们需要定义函数，以便批量处理所有的评论信息。
def get_sentiment_cn(text):
s = SnowNLP(text) return s.sentiments

然后，我们利用Python里面强大的apply语句，来一次性处理所有评论，并且将生成的情感数值在数据框里面单独存为一列，称为sentiment。
df["sentiment"] = df.comments.apply(get_sentiment_cn)

我们看看情感分析结果：
df.head()

新的列sentiment已经生成。我们之前介绍过，SnowNLP的结果取值范围在0到1之间，代表了情感分析结果为正面的可能性。通过观察前几条数据，我们发现点评网站上，顾客对这家分店评价总体上还是正面的，而且有的评论是非常积极的。
但是少量数据的观察，可能造成我们结论的偏颇。我们来把所有的情感分析结果数值做一下平均。使用mean()函数即可。
df.sentiment.mean()

结果为：
0.7114015318571119

结果数值超过0.7，整体上顾客对这家店的态度是正面的。
我们再来看看中位数值，使用的函数为median()。
df.sentiment.median()

结果为：
0.9563139038622388

我们发现了有趣的现象——中位数值不仅比平均值高，而且几乎接近1（完全正面）。
这就意味着，大部分的评价一边倒表示非常满意。但是存在着少部分异常点，显着拉低了平均值。
下面我们用情感的时间序列可视化功能，直观查看这些异常点出现在什么时间，以及它们的数值究竟有多低。
我们需要使用ggplot绘图工具包。这个工具包原本只在R语言中提供，让其他数据分析工具的用户羡慕得流口水。幸好，后来它很快被移植到了Python平台。
我们从ggplot中引入绘图函数，并且让Jupyter Notebook可以直接显示图像。
%pylab inlinefrom ggplot import *

这里可能会报一些警告信息。没有关系，不理会就是了。
下面我们绘制图形。这里你可以输入下面这一行语句。
ggplot(aes(x="date", y="sentiment"), data=df) + geom_point() + geom_line(color = 'blue') + scale_x_date(labels = date_format("%Y-%m-%d"))

你可以看到ggplot的绘图语法是多么简洁和人性化。只需要告诉Python自己打算用哪个数据框，从中选择哪列作为横轴，哪列作为纵轴，先画点，后连线，并且可以指定连线的颜色。然后，你需要让X轴上的日期以何种格式显示出来。所有的参数设定跟自然语言很相似，直观而且易于理解。
执行后，就可以看到结果图形了。
在图中，我们发现许多正面评价情感分析数值极端的高。同时，我们也清晰地发现了那几个数值极低的点。对应评论的情感分析数值接近于0。这几条评论，被Python判定为基本上没有正面情感了。
从时间上看，最近一段时间，几乎每隔几天就会出现一次比较严重的负面评价。
作为经理，你可能如坐针毡。希望尽快了解发生了什么事儿。你不用在数据框或者Excel文件里面一条条翻找情感数值最低的评论。Python数据框Pandas为你提供了非常好的排序功能。假设你希望找到所有评论里情感分析数值最低的那条，可以这样执行：
df.sort(['sentiment'])[:1]

结果为：
情感分析结果数值几乎就是0啊！不过这里数据框显示评论信息不完全。我们需要将评论整体打印出来。
print(df.sort(['sentiment']).iloc[0].comments)

评论完整信息如下：
这次是在情人节当天过去的，以前从来没在情人节正日子出来过，不是因为没有男朋友，而是感觉哪哪人都多，所以特意错开，这次实在是馋A餐厅了，所以赶在正日子也出来了，从下午四点多的时候我看排号就排到一百多了，我从家开车过去得堵的话一个小时，我一看提前两个小时就在网上先排着号了，差不多我们是六点半到的，到那的时候我看号码前面还有才三十多号，我想着肯定没问题了，等一会就能吃上的，没想到悲剧了，就从我们到那坐到等位区开始，大约是十分二十分一叫号，中途多次我都想走了，哈哈，哎，等到最后早上九点才吃上的，服务员感觉也没以前清闲时周到了，不过这肯定的，一人负责好几桌，今天节日这么多人，肯定是很累的，所以大多也都是我自己跑腿，没让服务员给弄太多，就虾滑让服务员下的，然后环境来说感觉卫生方面是不错，就是有些太吵了，味道还是一如既往的那个味道，不过A餐厅最人性化的就是看我们等了两个多小时，上来送了我们一张打折卡，而且当次就可以使用，这点感觉还是挺好的，不愧是A餐厅，就是比一般的要人性化，不过这次就是选错日子了，以后还是得提前预约，要不就别赶节日去，太火爆了！
通过阅读，你可以发现这位顾客确实有了一次比较糟糕的体验——等候的时间太长了，以至于使用了“悲剧”一词；另外还提及服务不够周到，以及环境吵闹等因素。正是这些词汇的出现，使得分析结果数值非常低。
好在顾客很通情达理，而且对该分店的人性化做法给予了正面的评价。
从这个例子，你可以看出，虽然情感分析可以帮你自动化处理很多内容，然而你不能完全依赖它。
自然语言的分析，不仅要看表达强烈情感的关键词，也需要考虑到表述方式和上下文等诸多因素。这些内容，是现在自然语言处理领域的研究前沿。我们期待着早日应用到科学家们的研究成果，提升情感分析的准确度。
不过，即便目前的情感分析自动化处理不能达到非常准确，却依然可以帮助你快速定位到那些可能有问题的异常点(anomalies)。从效率上，比人工处理要高出许多。
你读完这条评论，长出了一口气。总结了经验教训后，你决定将人性化的服务贯彻到底。你又想到，可以收集用户等候时长数据，用数据分析为等待就餐的顾客提供更为合理的等待时长预期。这样就可以避免顾客一直等到很晚了。
祝贺你，经理！在数据智能时代，你已经走在了正确的方向上。
下面，你该认真阅读下一条负面评论了……
讨论
除了情感分析和时间序列可视化，你觉得还可以如何挖掘中文评论信息？除了点评网站之外，你还知道哪些舆情分析的数据来源？欢迎留言分享给大家，我们一起交流讨论。
如果你对我的文章感兴趣，欢迎点赞，并且微信关注和置顶我的公众号“玉树芝兰”(nkwangshuyi)。
如果你身边有好友正在做舆情分析的研究工作，也欢迎你把这篇文章转发给他们，共同学习和提高。

6. python 时间序列分析 收敛性问题

Python与R相比速度要快。Python可以直接处理上G的数据；R不行，R分析数据时需要先通过数据库把大数据转化为小数据（通过groupby）才能交给R做分析，因此R不可能直接分析行为详单，只能分析统计结果。所以有人说：Python=R+SQL/Hive，并不是没有道理的。

7. python数据分析该怎么入门呢

1.为什么选择Python进行数据分析？

Python是一门动态的、面向对象的脚本语言，同时也是一门简约，通俗易懂的编程语言。Python入门简单，代码可读性强，一段好的Python代码，阅读起来像是在读一篇外语文章。Python这种特性称为“伪代码”，它可以使你只关心完成什么样的工作任务，而不是纠结于Python的语法。

另外，Python是开源的，它拥有非常多优秀的库，可以用于数据分析及其他领域。更重要的是，Python与最受欢迎的开源大数据平台Hadoop具有很好的兼容性。因此，学习Python对于有志于向大数据分析岗位发展的数据分析师来说，是一件非常节省学习成本的事。

Python的众多优点让它成为最受欢迎的程序设计语言之一，国内外许多公司也已经在使用Python，例YouTube，Google，阿里云等等。

3.数据分析流程

Python是数据分析利器，掌握了Python的编程基础后，就可以逐渐进入数据分析的奇妙世界。CDA数据分析师认为一个完整的数据分析项目大致可分为以下五个流程：

在这一阶段，Python也具有很好的工具库支持我们的建模工作：

scikit-learn-适用Python实现的机器学习算法库。scikit-learn可以实现数据预处理、分类、回归、降维、模型选择等常用的机器学习算法。

Tensorflow-适用于深度学习且数据处理需求不高的项目。这类项目往往数据量较大，且最终需要的精度更高。

5)可视化分析

数据分析最后一步是撰写数据分析报告，这也是数据可视化的一个过程。在数据可视化方面，Python目前主流的可视化工具有：

Matplotlib-主要用于二维绘图，它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。

Seaborn-是基于matplotlib产生的一个模块，专攻于统计可视化，可以和Pandas进行无缝链接。

从上图我们也可以得知，在整个数据分析流程，无论是数据提取、数据预处理、数据建模和分析，还是数据可视化，Python目前已经可以很好地支持我们的数据分析工作。

8. python数据分析时间序列如何提取一个月的数据

Pandas中，最基本的时间序列类型就是以时间戳为索引的Series对象。

时间戳使用Timestamp（Series派生的子类）对象表示，该对象与datetime具有高度的兼容性，可以直接通过to_datetime()函数将datetime转换为TimeStamp对象。

import pandas as pd # 导入pandas模块，并起个别名pd from datetime import datetime import numpy as np pd.to_datetime('20200828') # 将datetime转换为Timestamp对象
Timestamp('2020-08-28 00:00:00')
当传入的是多个datetime组成的列表，则Pandas会将其强制转换为DatetimeIndex类对象。

# 传入多个datetime字符串 date_index = pd.to_datetime(['20200820', '20200828', '20200908']) date_index
DatetimeIndex(['2020-08-20', '2020-08-28', '2020-09-08'],
dtype='datetime64[ns]', freq=None)
如何取出第一个时间戳

date_index[0] # 取出第一个时间戳
Timestamp('2020-08-20 00:00:00')
2.在Pandas中，最基本的时间序列类型就是以时间戳为索引的Series对象。

# 创建时间序列类型的Series对象 date_ser = pd.Series([11, 22, 33], index=date_index) date_ser
2020-08-20 11
2020-08-28 22
2020-09-08 33
dtype: int64
也可将包含多个datetime对象的列表传给index参数，同样能创建具有时间戳索引的Series对象。

# 指定索引为多个datetime的列表 date_list = [datetime(2020, 1, 1), datetime(2020, 1, 15), datetime(2020, 2, 20), datetime(2020, 4, 1), datetime(2020,