python建模

① 怎样用python数据建模

最近，我从孙子（指《孙子兵法》——译者注）那里学到了一些策略：速度和准备
“兵之情主速，乘人之不及，由不虞之道，攻其所不戒也。”（《孙子兵法•九地篇》）无备为战之大患，有备无患，其乃至德也。（哈哈，译者自己写了这句，想必大家能明白。）
这与数据科学博客有什么关系呢？这是你赢得竞争和编程马拉松的关键。如果你比竞争对手准备得更充分，你学习、迭代执行的速度越快，那么你就取得更好的名次，带来更好的结果。
由于近几年来，Python用户数量上涨及其本身的简洁性，使得这个工具包对数据科学世界的Python专家们变得有意义。本文将帮助你更快更好地建立第一个预测模型。绝大多数优秀的数据科学家和kagglers建立自己的第一个有效模型并快速提交。这不仅仅有助于他们领先于排行榜，而且提供了问题的基准解决方案。
预测模型的分解过程
我总是集中于投入有质量的时间在建模的初始阶段，比如，假设生成、头脑风暴、讨论或理解可能的结果范围。所有这些活动都有助于我解决问题，并最终让我设计出更强大的商业解决方案。为什么你要在前面花费这段时间，这有充分的理由：
你有足够的时间投入并且你是无经验的（这是有影响的）
你不带有其它数据观点或想法的偏见（我总是建议，在深入研究数据之前做假设生成）
在后面的阶段，你会急于完成该项目而没有能力投入有质量的时间了。
这个阶段需要投入高质量时间，因此我没有提及时间表，不过我建议你把它作为标准的做法。这有助于你建立建立更好地预测模型，在后面的阶段的只需较少的迭代工作。让我们来看看建立第一个模型的剩余阶段的时间表：
数据描述性分析——50%的时间
数据预处理（缺失值和异常值修复）——40%的时间
数据建模——4%的时间
性能预测——6%的时间
让我们一步一步完成每个过程（每一步投入预测的时间）：
阶段1：描述性分析/数据探索
在我刚开始成为数据科学家的时候，数据探索占据了我大量的时间。不过，随着时间的推移，我已经把大量的数据操作自动化了。由于数据准备占据建立第一个模型工作量的50%，自动化的好处是显而易见的。
这是我们的第一个基准模型，我们去掉任何特征设计。因此，描述分析所需的时间仅限于了解缺失值和直接可见的大的特征。在我的方法体系中，你将需要2分钟来完成这一步（假设，100000个观测数据集）。
我的第一个模型执行的操作：
确定ID，输入特征和目标特征
确定分类和数值特征
识别缺失值所在列
阶段2：数据预处理（缺失值处理）
有许多方法可以解决这个问题。对于我们的第一个模型，我们将专注于智能和快速技术来建立第一个有效模型。
为缺失值创建假标志：有用，有时缺失值本身就携带了大量的信息。
用均值、中位数或其它简单方法填补缺失值：均值和中位数填补都表现良好，大多数人喜欢用均值填补但是在有偏分布的情况下我建议使用中位数。其它智能的方法与均值和中位数填补类似，使用其它相关特征填补或建立模型。比如，在Titanic生存挑战中，你可以使用乘客名字的称呼，比如：“Mr.”, “Miss.”,”Mrs.”,”Master”，来填补年龄的缺失值，这对模型性能有很好的影响。
填补缺失的分类变量：创建一个新的等级来填补分类变量，让所有的缺失值编码为一个单一值比如，“New_Cat”，或者，你可以看看频率组合，使用高频率的分类变量来填补缺失值。
由于数据处理方法如此简单，你可以只需要3到4分钟来处理数据。
阶段3：数据建模
根据不同的业务问题，我推荐使用GBM或RandomForest技术的任意一种。这两个技术可以极其有效地创建基准解决方案。我已经看到数据科学家通常把这两个方法作为他们的第一个模型同时也作为最后一个模型。这最多用去4到5分钟。

② 想用python建模，哪些包比较好用

1、 软件推荐：python

常用的量化软件有python、matlab、java、C++。从开发难度而言python和matlab都比较容易，java和C++麻烦一些。从运行速度而言，C++、java要快于matlab和python。不过对于大部分人而言，尤其是初学者，开发占用的时间远大于运行时间。如果追求运行速度的话，先将策略开发出来，再用C重写也不迟。另外，从量化资源而言，python资源多于matlab，而且matlab是商业软件，python是免费的。因此我推荐大家用python。
使用python的话，最好下载一个anaconda。这个软件将常用的库都集成好了，免去自己安装的烦恼。下载地址：Download Anaconda Now!
python教程推荐这个网站：Table of Contents，只需要看第一部分就可以了。该教程不仅介绍了python,而且介绍了numpy,scipy,pandas,matplotlib等科学计算库。
2、 数据源推荐：tushare
Tushare支持的数据很全面，相比wind个人版量化接口，tushare更友好。因此推荐tushare。下载地址：TuShare -财经数据接口包
3、 量化框架：推荐使用量化平台
量化平台可以看成是一个已经搭建好的框架。用户只需添加一些自己的买卖条件，即可回测策略，免去了自己从无到有搭建基础框架的过程。
这里推荐一下咱们的京东平台。首先京东的数据和撮合机制还是很专业的，比如交易考虑到了涨停不能买、跌停不能卖的问题，另外京东在回测速度方面目前也具有优势。
以上是做量化的一些基础工具。另外根据策略类型的不同，也会用到一些其他工具。

③ python定义模型

学python的人都知道，python中一切皆是对象，如class生成的对象是对象，class本身也是对象，int是对象，str是对象，dict是对象...。所以，我很好奇，python是怎样实现这些对象的？带着这份好奇，我决定去看看python的源码，毕竟源码才是满足自己好奇心最直接的方法。

在object.h文件中，定义了两种数据结构PyObject和PyVarObject，代码如下：

1 #define PyObject_HEAD 2 Py_ssize_t ob_refcnt; 3 struct _typeobject *ob_type; 4 5 #define PyObject_VAR_HEAD 6 PyObject_HEAD 7 Py_ssize_t ob_size; 8 9 typedef struct _object {10 PyObject_HEAD11 } PyObject;12 13 typedef struct {14 PyObject_VAR_HEAD15 } PyVarObject;

这两种数据结构分别对应python的两种对象：固定长度对象和可变长度对象。python中的所有对象都属于这两种对象中的一种，如int，float是固定长度对象，list，str，dict是可变长度对象。从上面两种对象数据结构定义来看，可变长度对象和固定长度对象的头都是PyObject结构体，也就是说python中所有对象的开头都包含这个结构体，并且可以用PyObject *指针来访问任何对象，这种访问对象的方法在python的源码中随处可见。PyObject结构体包含两个成员，ob_refcnt和ob_type指针。ob_refcnt用来表示对象被引用的次数，当ob_refcnt == 0时，这个对象会被立即销毁；ob_type指针指向了一个_typeobject类型的结构体，表示对象所属的类型，也就是生成该对象的类型，这其实很类似于面向对象中类与实例的关系，PyObject是某个类的实例，ob_type表示这个类。但与面向对象不同的是，ob_type本身也是个对象，我们来看下_typeobject的定义：

1 typedef struct _typeobject { 2 PyObject_VAR_HEAD 3 const char *tp_name; /*类型名 */ 4 Py_ssize_t tp_basicsize, tp_itemsize; /* 实例化对象的大小 */ 5 6 /* 标准方法 */ 7 8 destructor tp_dealloc; 9 printfunc tp_print;10 getattrfunc tp_getattr;11 setattrfunc tp_setattr;12 cmpfunc tp_compare;13 reprfunc tp_repr;14 15 /* 标准类（数值类，列表类，dict类）方法*/16 17 PyNumberMethods *tp_as_number;18 PySequenceMethods *tp_as_sequence;19 PyMappingMethods *tp_as_mapping;20 21 /* 其它标准方法*/22 23 hashfunc tp_hash;24 ternaryfunc tp_call;25 reprfunc tp_str;26 getattrofunc tp_getattro;27 setattrofunc tp_setattro;28 ...
29 } PyTypeObject;

从上面定义来看，_typeobject的开头也包含了PyObject结构体，所以它也是一个对象，既然它也是一个对象，那么按照面向对象的理解，它又是谁来生成的呢？答案是所有PyTypeObject对象都是通过PyType_Type来生成的，包括PyType_Type本身，因为PyType_Type也是PyTypeObject对象，有点绕。PyType_Type的定义是通过将PyType_Type声明为全局静态变量实现的，具体如下：

1 PyTypeObject PyType_Type = { 2 PyVarObject_HEAD_INIT(&PyType_Type, 0) 3 "type", /* tp_name */ 4 sizeof(PyHeapTypeObject), /* tp_basicsize */ 5 sizeof(PyMemberDef), /* tp_itemsize */ 6 (destructor)type_dealloc, /* tp_dealloc */ 7 0, /* tp_print */ 8 0, /* tp_getattr */ 9 0, /* tp_setattr */10 0, /* tp_compare */11 (reprfunc)type_repr, /* tp_repr */12 0, /* tp_as_number */13 0, /* tp_as_sequence */14 0, /* tp_as_mapping */15 (hashfunc)_Py_HashPointer, /* tp_hash */16 (ternaryfunc)type_call, /* tp_call */17 0, /* tp_str */18 (getattrofunc)type_getattro, /* tp_getattro */19 (setattrofunc)type_setattro, /* tp_setattro */20 0, /* tp_as_buffer */21 ...22 }

从PyType_Type定义来看，ob_type被初始化为它自己的地址，所以PyType_Type的类型就是自己。从python源码实现来看，所有PyTypeObject的ob_type都会指向PyType_Type对象，所以PyType_Type是所有类型的类型，称之为元类。python中定义了很多内建的类型对象，如PyInt_Type （int类型），PyStr_Type （str类型），PyDict_Type（dict类型） 类型对象，下面看下PyInt_Type类型的定义：

1 PyTypeObject PyInt_Type = { 2 PyVarObject_HEAD_INIT(&PyType_Type, 0) 3 "int", 4 sizeof(PyIntObject), 5 0, 6 (destructor)int_dealloc, /* tp_dealloc */ 7 (printfunc)int_print, /* tp_print */ 8 0, /* tp_getattr */ 9 0, /* tp_setattr */10 (cmpfunc)int_compare, /* tp_compare */11 (reprfunc)int_to_decimal_string, /* tp_repr */12 &int_as_number, /* tp_as_number */13 0, /* tp_as_sequence */14 0, /* tp_as_mapping */15 (hashfunc)int_hash, /* tp_hash */16 0, /* tp_call */17 ...18 };

从PyInt_Type定义来看，它主要包含了int数据类型相关的方法。PyInt_Type类型对象的初始化和PyType_Type类型类似，PyInt_Type类型的定义也是通过全局静态变量的方式实现的，除了PyInt_Type了下，所有python内建类型都是以这种方式定义的。这些类型产生的对象都会共享这些类型对象，包括这些类型定义的方法。

在python中，怎样查看对象的类型呢？有两种方法，一种是直接type：

1 >>> x = 12 >>> type(x)3 <type 'int'>

另一种是通过对象的__class__属性：

1 >>> x = 12 >>> type(x)3 <type 'int'>4 >>> x.__class__5 <type 'int'>

现在来看看int，str，dict这些类型的类型：1 <type 'int'>2 >>> type(int)3 <type 'type'>4 >>> type(str)5 <type 'type'>6 >>> type(dict)7 <type 'type'>8 >>> type(type)9 <type 'type'>从这个输出来看，int，str，dict这些类型的类型都是type，这也印证了前面说的，所有类型都是通过元类type生成的。

④ 怎么用python的numpy模块和matplotlib模块把下面这些文本做一个3d的数据建模

你好，你现在那个图是一个连续的波形图，因为你提供的是具体的数据，没有xyz之间的关系公式，所以只能是画一个散点图。假设你已经将xyz都读进来了，下面是一个画三d散点图的例子。
from mpl_toolkits.mplot3d.axes3d import Axes3D
#绘制3维的散点图
x = np.random.randint(0,10,size=100) #用你X的数据来代替
y = np.random.randint(-20,20,size=100) #用你Y的数据来代替
z = np.random.randint(0,30,size=100) #用你的Z的数据来代替

# 此处fig是二维
fig = plt.figure()

# 将二维转化为三维
axes3d = Axes3D(fig)

# axes3d.scatter3D(x,y,z)
# 效果相同
axes3d.scatter(x,y,z)

⑤ python和3D建模那个好就业

你可以先去【绘学霸】网站找“3d建模”板块的【免费】视频教程-【点击进入】完整入门到精通视频教程列表： www.huixueba.net/web/AppWebClient/AllCourseAndResourcePage?type=1&tagid=307&zdhhr-11y04r-1388993911625247380

想要系统的学习可以考虑报一个网络直播课，推荐CGWANG的网络课。老师讲得细，上完还可以回看，还有同类型录播课可以免费学（赠送终身VIP）。

自制能力相对较弱的话，建议还是去好点的培训机构，实力和规模在国内排名前几的大机构，推荐行业龙头：王氏教育。
王氏教育全国直营校区面授课程试听【复制后面链接在浏览器也可打开】： www.huixueba.com.cn/school/3dmodel?type=2&zdhhr-11y04r-1388993911625247380

在“3d建模”领域的培训机构里，【王氏教育】是国内的老大，且没有加盟分校，都是总部直营的连锁校区。跟很多其它同类型大机构不一样的是：王氏教育每个校区都是实体面授，老师是手把手教，而且有专门的班主任从早盯到晚，爆肝式的学习模式，提升会很快，特别适合基础差的学生。

大家可以先把【绘学霸】APP下载到自己手机，方便碎片时间学习——绘学霸APP下载： www.huixueba.com.cn/Scripts/download.html

⑥ Python可以用来建模么

可以的，目前最火的建模编程语言就是python了，单机的话使用 scikit learn， 集群的话使用 spark MLlib （提供了python 接口，所以也可以用python 写）

⑦ 怎么用Python数学建模

数学建模的重点是数学，不是计算机或编程语言，重点是要有强大的数学功底，及对欲建模问题的深刻理解和分析，计算机只是一个辅助工具。当你在数学层面对要建模问题分析清楚了，然后用计算机编程语言去把它表达出来即可。
选python 做这事还是不错的。python 是开源的，开源的东西生机勃勃，众人拾柴火焰高，全世界的编程高手都在为 python 增砖添瓦，目前官方(pypi.org)显示有10多万个第3方库，而且貌似每天以数百个新库的速度在增加，如此庞大的第3方库，几乎涉及各行各业各领域，你想做点什么事情，随便找找一般总有适合你的基础库别人已经做好了，你直接拿来用事半功倍。python 的庞大生态库，大概只有 java 可与之一拼了，其它没有哪种语言有这么庞大的库。python 在 tiobe 琅琊榜上稳步上升，目前已超越 C++排第3了。
你要做数学建模，以下这些基础库或许会用到：
numpy, pandas, scipy, matplotlib , sympy .....
更多的你自己去了解一下。

⑧ 建模时用matlab和Python有什么区别

是不同的软件。前者是商业数学软件，用于算法开发等；后者是编程语言。

⑨ 机器学习建模用matlab和Python的区别是什么

matlab偏学术应用，python也能学术用，同时工作上也能用。所以，总体来看还是用py比较好

⑩ 如何利用python实现多元ARIMAX建模

可以在Python中将其实现为一个新的独立函数，名为evaluate_arima_model（），它将时间序列数据集作为输入，以及具有p，d和q参数的元组作为输入。
数据集分为两部分：初始训练数据集为66％，测试数据集为剩余的34％。