pythonnode

⑴ Node.js 与 python 作为后端服务的编程语言各有什么优劣

一. NodeJS的特点

我们先来看看NodeJS官网上的介绍：

Node.jsis a platform built on Chrome’sjavaScriptruntime for easily building fast, scalable network applications.node.jsuses an event-driven, non-blocking I/O model that makes it lightweight and efficient, perfect for data-intensive real-time applications that run across distributed devices.

其特点为：
1. 它是一个Javascript运行环境

2. 依赖于Chrome V8引擎进行代码解释

3. 事件驱动

4. 非阻塞I/O

5. 轻量、可伸缩，适于实时数据交互应用

6. 单进程，单线程

二. NodeJS带来的对系统瓶颈的解决方案

它的出现确实能为我们解决现实当中系统瓶颈提供了新的思路和方案，下面我们看看它能解决什么问题。

1. 并发连接

举个例子，想象一个场景，我们在银行排队办理业务，我们看看下面两个模型。

（1）系统线程模型：

这种模型的问题显而易见，服务端只有一个线程，并发请求（用户）到达只能处理一个，其余的要先等待，这就是阻塞，正在享受服务的请求阻塞后面的请求了。

（2）多线程、线程池模型：

这个模型已经比上一个有所进步，它调节服务端线程的数量来提高对并发请求的接收和响应，但并发量高的时候，请求仍然需要等待，它有个更严重的问题。到代码层面上来讲，我们看看客户端请求与服务端通讯的过程：

服务端与客户端每建立一个连接，都要为这个连接分配一套配套的资源，主要体现为系统内存资源，以PHP为例，维护一个连接可能需要20M的内存。这就是为什么一般并发量一大，就需要多开服务器。

那么NodeJS是怎么解决这个问题的呢？我们来看另外一个模型，想象一下我们在快餐店点餐吃饭的场景。

（3）异步、事件驱动模型

我们同样是要发起请求，等待服务器端响应；但是与银行例子不同的是，这次我们点完餐后拿到了一个号码，拿到号码，我们往往会在位置上等待，而在我们后面的请求会继续得到处理，同样是拿了一个号码然后到一旁等待，接待员能一直进行处理。

等到饭菜做号了，会喊号码，我们拿到了自己的饭菜，进行后续的处理（吃饭）。这个喊号码的动作在NodeJS中叫做回调（Callback），能在事件（烧菜，I/O）处理完成后继续执行后面的逻辑（吃饭），这体现了NodeJS的显着特点，异步机制、事件驱动整个过程没有阻塞新用户的连接（点餐），也不需要维护已经点餐的用户与厨师的连接。

基于这样的机制，理论上陆续有用户请求连接，NodeJS都可以进行响应，因此NodeJS能支持比Java、PHP程序更高的并发量虽然维护事件队列也需要成本，再由于NodeJS是单线程，事件队列越长，得到响应的时间就越长，并发量上去还是会力不从心。

总结一下NodeJS是怎么解决并发连接这个问题的：更改连接到服务器的方式，每个连接发射（emit）一个在NodeJS引擎进程中运行的事件（Event），放进事件队列当中，而不是为每个连接生成一个新的OS线程（并为其分配一些配套内存）。

2. I/O阻塞

NodeJS解决的另外一个问题是I/O阻塞，看看这样的业务场景：需要从多个数据源拉取数据，然后进行处理。

（1）串行获取数据，这是我们一般的解决方案，以PHP为例

假如获取profile和timeline操作各需要1S，那么串行获取就需要2S。

（2）NodeJS非阻塞I/O，发射/监听事件来控制执行过程

NodeJS遇到I/O事件会创建一个线程去执行，然后主线程会继续往下执行的，因此，拿profile的动作触发一个I/O事件，马上就会执行拿timeline的动作，两个动作并行执行，假如各需要1S，那么总的时间也就是1S。它们的I/O操作执行完成后，发射一个事件，profile和timeline，事件代理接收后继续往下执行后面的逻辑，这就是NodeJS非阻塞I/O的特点。

总结一下：Java、PHP也有办法实现并行请求（子线程），但NodeJS通过回调函数（Callback）和异步机制会做得很自然。

三. NodeJS的优缺点

优点：1. 高并发（最重要的优点）

2. 适合I/O密集型应用

缺点：1. 不适合CPU密集型应用；CPU密集型应用给Node带来的挑战主要是：由于JavaScript单线程的原因，如果有长时间运行的计算（比如大循环），将会导致CPU时间片不能释放，使得后续I/O无法发起；

解决方案：分解大型运算任务为多个小任务，使得运算能够适时释放，不阻塞I/O调用的发起；

2. 只支持单核CPU，不能充分利用CPU

3. 可靠性低，一旦代码某个环节崩溃，整个系统都崩溃

原因：单进程，单线程

解决方案：（1）Nnigx反向代理，负载均衡，开多个进程，绑定多个端口；

（2）开多个进程监听同一个端口，使用cluster模块；

4. 开源组件库质量参差不齐，更新快，向下不兼容

5. Debug不方便，错误没有stack trace

四. 适合NodeJS的场景

1. RESTful API

这是NodeJS最理想的应用场景，可以处理数万条连接，本身没有太多的逻辑，只需要请求API，组织数据进行返回即可。它本质上只是从某个数据库中查找一些值并将它们组成一个响应。由于响应是少量文本，入站请求也是少量的文本，因此流量不高，一台机器甚至也可以处理最繁忙的公司的API需求。

2. 统一Web应用的UI层

目前MVC的架构，在某种意义上来说，Web开发有两个UI层，一个是在浏览器里面我们最终看到的，另一个在server端，负责生成和拼接页面。

不讨论这种架构是好是坏，但是有另外一种实践，面向服务的架构，更好的做前后端的依赖分离。如果所有的关键业务逻辑都封装成REST调用，就意味着在上层只需要考虑如何用这些REST接口构建具体的应用。那些后端程序员们根本不操心具体数据是如何从一个页面传递到另一个页面的，他们也不用管用户数据更新是通过Ajax异步获取的还是通过刷新页面。

3. 大量Ajax请求的应用

例如个性化应用，每个用户看到的页面都不一样，缓存失效，需要在页面加载的时候发起Ajax请求，NodeJS能响应大量的并发请求。总而言之，NodeJS适合运用在高并发、I/O密集、少量业务逻辑的场景。

Python的优缺点

优点

简单————Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样，尽管这个英语的要求非常严格！Python的这种伪代码本质是它最大的优点之一。它使你能够专注于解决问题而不是去搞明白语言本身。

易学————就如同你即将看到的一样，Python极其容易上手。前面已经提到了，Python有极其简单的语法。

免费、开源————Python是FLOSS（自由/开放源码软件）之一。简单地说，你可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS是基于一个团体分享知识的概念。这是为什么Python如此优秀的原因之一——它是由一群希望看到一个更加优秀的Python的人创造并经常改进着的。

高层语言————当你用Python语言编写程序的时候，你无需考虑诸如如何管理你的程序使用的内存一类的底层细节。

可移植性————由于它的开源本质，Python已经被移植在许多平台上（经过改动使它能够工作在不同平台上）。如果你小心地避免使用依赖于系统的特性，那么你的所有Python程序无需修改就可以在下述任何平台上面运行。这些平台包括linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/390、z/OS、Palm OS、QNX、VMS、Psion、Acom RISC OS、VxWorks、PlayStation、Sharp Zaurus、Windows CE甚至还有PocketPC、Symbian以及Google基于linux开发的Android平台！

解释性————这一点需要一些解释。一个用编译性语言比如C或C++写的程序可以从源文件（即C或C++语言）转换到一个你的计算机使用的语言（二进制代码，即0和1）。这个过程通过编译器和不同的标记、选项完成。当你运行你的程序的时候，连接/转载器软件把你的程序从硬盘复制到内存中并且运行。而Python语言写的程序不需要编译成二进制代码。你可以直接从源代码 运行 程序。在计算机内部，Python解释器把源代码转换成称为字节码的中间形式，然后再把它翻译成计算机使用的机器语言并运行。事实上，由于你不再需要担心如何编译程序，如何确保连接转载正确的库等等，所有这一切使得使用Python更加简单。由于你只需要把你的Python程序拷贝到另外一台计算机上，它就可以工作了，这也使得你的Python程序更加易于移植。

面向对象————Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中，程序是由数据和功能组合而成的对象构建起来的。与其他主要的语言如C++和Java相比，Python以一种非常强大又简单的方式实现面向对象编程。

可扩展性————如果你需要你的一段关键代码运行得更快或者希望某些算法不公开，你可以把你的部分程序用C或C++编写，然后在你的Python程序中使用它们。

可嵌入性————你可以把Python嵌入你的C/C++程序，从而向你的程序用户提供脚本功能。

丰富的库————Python标准库确实很庞大。它可以帮助你处理各种工作，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI（图形用户界面）、Tk和其他与系统有关的操作。记住，只要安装了Python，所有这些功能都是可用的。这被称作Python的“功能齐全”理念。除了标准库以外，还有许多其他高质量的库，如wxPython、Twisted和Python图像库等等。

概括————Python确实是一种十分精彩又强大的语言。它合理地结合了高性能与使得编写程序简单有趣的特色。

规范的代码————Python采用强制缩进的方式使得代码具有极佳的可读性。

缺点

强制缩进

这也许不应该被称为局限，但是它用缩进来区分语句关系的方式还是给很多初学者带来了困惑。即便是很有经验的Python程序员，也可能陷入陷阱当中。最常见的情况是tab和空格的混用会导致错误，而这是用肉眼无法分别的。

单行语句和命令行输出问题

很多时候不能将程序连写成一行，如import sys;for i in sys.path:print i。而perl和awk就无此限制，可以较为方便的在shell下完成简单程序，不需要如Python一样，必须将程序写入一个.py文件。（对很多用户而言这也不算是限制）

NO.1 运行速度，有速度要求的话，用C++改写关键部分吧。

NO.2 国内市场较小（国内以python来做主要开发的，目前只有一些web2.0公司）。但时间推移，目前很多国内软件公司，尤其是游戏公司，也开始规模使用他。

No.3 中文资料匮乏（好的python中文资料屈指可数）。托社区的福，有几本优秀的教材已经被翻译了，但入门级教材多，高级内容还是只能看英语版。

NO.4 构架选择太多（没有像C#这样的官方.net构架，也没有像ruby由于历史较短，构架开发的相对集中。Ruby on Rails 构架开发中小型web程序天下无敌）。不过这也从另一个侧面说明，python比较优秀，吸引的人才多，项目也多。

⑵ nodejs 还是python

简短的回答，这取决于你的情况。继续阅读以确定Django或Node是否更适合您的后端应用程序。
Node.js（GitHub上的55,432★）和Django（GitHub上的37,614★ ）是构建Web应用程序的两个强大工具。
Node.js有一个“JavaScript无处不在”的动机，以确保在Web应用程序的服务器端和客户端使用JavaScript，Django有一个“完美主义者框架，有最后期限”的动机，以帮助开发人员快速构建应用程序。
它们正在许多大型项目中实施，它们拥有庞大的用户社区，并且正在定期升级。这两种工具的质量使开发人员对于为他们的项目选择哪种工具感到困惑。本文旨在清除空气并帮助您做出决定。
Node.js
JavaScript的主要优势在于它在客户端开发方面的优势，但Node.js正在通过在服务器端创建奇迹来完全相反。
Node是一个开源JavaScript运行时环境，用C，C ++和JavaScript编写，构建于Google V8 JavaScript引擎上，并于2009年发布.Node.js基于事件驱动的非阻塞I / O模型。
可以使用Windows Installer在Windows上安装节点。安装很简单，只需按照从官方网站下载安装程序后的提示即可完成。
可以从Windows命令提示符或PowerShell确认成功安装：
node-v
对于Linux（Ubuntu）用户，可以从终端安装Node.js：
sudo apt-get updatsudo apt-get install nodejssudo apt-get install npm
可以在终端上通过以下方式确认在Linux（Ubuntu）上的成功安装：
nodejs-v
Node Package Manager（npm）用于安装与Node.js一起使用的包。
优点
伟大图书馆的可用性。高性能。非常适合构建API。它有一个很棒的包管理器。庞大的用户社区。轻松处理并发请求。缺点
异步编程可能难以使用。由于其单线程，CPU密集型应用程序不是很好。回调导致大量嵌套回调。Django
Django是一个非常强大的开源Python Web框架。它是非常高级的，因为大多数低级别的东西都被抽象出来了。众所周知，它具有“包含电池”的理念，因此它可以开箱即用。
Django可以实现快速开发项目，对于已经了解Python的人来说，它是初学友好的。
Django是以实用和干净的设计为基础构建的，并且具有构建复杂Web应用程序所需的所有主要组件。
安装非常简单，可以使用Python的包管理工具（称为pip）完成。如果安装了pip，则从终端开始，以下命令是Windows和Linux操作系统所需的全部操作。
pip install django
要确认其安装，只需激活Python shell并导入Django。在终端中键入“python”，如：
python
得到类似的东西：
Python 3.6.6 (default, Sep 12 2018, 18:26:19)[GCC 8.0.1 20180414 (experimental) [trunk revision 259383]] on linuxType "help", "right", "credits" or "license" for more information.>>>
然后使用以下方法导入Django：
importdjango
如果没有错误，那么一切正常。
优点
几乎没有安全漏洞。适用于关系数据库。简单易学。快速的发展过程。非常可扩展。庞大的用户社区。有很棒的文档。缺点
Django是单片的，即单层软件应用程序。对于小规模的应用来说并不是很好。需要充分了解该框架。两者都是开源的
Node.js和Django都可以免费使用。使用商业软件时，您不会遇到任何许可问题。它们也是开源的，因此当您发现要处理的功能或错误时，您可以为项目做出贡献。
查看Node.js 存储库和Django 存储库。
学习曲线
Node.js是一个从客户端浏览器环境中取出的JavaScript运行时，Django是一个Python框架。为了能够学习这两种工具，您需要熟悉使用他们的主要编程语言。
要使用Node.js，您需要了解异步编程，Node的本机方法和体系结构。
Node.js有很多在线教程，但是很多例子都很糟糕，这可能会让学习变得更加困难。
要使用Django，需要了解这些方法以及开箱即用的功能。还需要了解框架的MTV（模型模板视图）架构的完整理解。
虽然Django在网上有很多很好的教程，但你会发现有大量过时的教程教授旧的做事方式。
虽然学习Node.js和Django需要了解他们的基础语言，但Node引入了一些复杂的概念，这使得初学者与Django相比有点困难。
语法
Node.js只是在客户端浏览器环境之外的JavaScript。因此，它的语法更像是常规的JavaScript语法。
这是Node.js中的“hello world”应用程序：
var http = require('http');http.createServer(function (req, res) res.writeHead(200, {'Content-Type': 'text/plain'}); res.end('Hello World!');}).listen(8080);
Django是基于Python构建的，因此它也使用Python语法。Python中的“Hello world！”就是：
print(“HelloWorld”)
但是，由于Django是一个框架，它强制您使用一个标识MTV模式的特定结构，因此我们需要编写不同的脚本来在Web应用程序上生成“Hello World”。
以下是Hello World的基本views.py文件：
from django.http import HttpResponsedef hello(request):return HttpResponse("Hello world")
这是urls.py文件：
from django.conf.urlsimport include, urlfrom django.contribimport adminfrom mysite.viewsimport hellourlpatterns = [url(r '^admin/', include(admin.site.urls)),url(r '^hello/, hello),]
可扩展性和性能
这两种工具都具有很好的可扩展性和性能 然而，虽然Django似乎具有可扩展性的优势，但Node.js具有性能优势。
可以使用群集模块使用负载均衡器克隆应用程序工作负载的不同实例来扩展Node.js应用程序。但是由于Node.js使用单线程，它在CPU密集型条件下表现不佳。
Django具有高度可扩展性，因为应用程序的缓存非常简单，可以使用MemCache等工具完成。NGINX还可用于确保提供压缩的静态资产，并且即使数据变得更加健壮，它也可用于成功处理数据迁移。
用户社区
Node.js和Django都有大型用户社区。这样做的主要因素是开发人员利用服务器端的JavaScript风格来处理Node.js的Web应用程序的后端，并利用Python易于使用的Django语法。与Django相比，网上有许多与网络相关的教程，有更多的公司将Node作为他们的后端网络技术。
Uber，Twitter，eBay，Netflix，DuckDuckGo，PayPal，LinkedIn，Trello，PayPal，Mozilla和GoDaddy都是使用Node.js作为后端技术的大牌。
Pinterest，Instagram，Eventbrite，Sentry，Zapier，Dropbox，Spotify和YouTube也是使用Django作为后端技术的一些大牌。
结论
这两种工具都非常适合构建Web应用程序，但是，每种工具都很突出。
例如，当您考虑使用关系数据库，许多外部库，将安全性作为列表中的最高优先级，并且需要快速构建应用程序时，Django是一个很好的选择。当您从服务器获得异步堆栈时需要使用Node.js，需要很好的性能，打算从头开始构建功能，并希望有一个应用程序来完成客户端处理的繁重工作。
选择最适合您需求的工具，这两种工具对Web开发都很有用。

⑶ Python，Node.js 哪个比较适合写爬虫

简单的定向爬取：
Python + urlib2 + RegExp + bs4
或者
Node.js + co，任一一款dom框架或者html parser + Request + RegExp 撸起来也是很顺手。
对我来说上面两个选择差不多是等价的，但主要我JS比较熟，现在选择Node平台会多一些。

上规模的整站爬取：
Python + Scrapy
如果说上面两个方案里DIY 的 spider是小米加步枪，那Scrapy简直就是重工加农炮，好用到不行，自定义爬取规则，http错误处理，XPath，RPC，Pipeline机制等等等。而且，由于Scrapy是基于Twisted实现的，所以同时兼顾有非常好的效率，相对来说唯一的缺点就是安装比较麻烦，依赖也比较多，我还算是比较新的osx，一样没办法直接pip install scrapy

另外如果在spider中引入xpath的话，再在chrome上安装xpath的插件，那么解析路径一目了然，开发效率奇高。

⑷ web自动化测试，使用node.js 与python哪个语言更合适

Node.js是现在WEBAPP快速开发的标配。python的WEB框架还有模板很多。这个取决于你习惯什么方式开发。

如果熟悉 python使用node.js没有压力，可以完美融合。 如果对python不熟悉，node.js可以给你惊喜。

不过就我个人而言python很熟练，python给我的自由度与支撑力度远远大于node.js。 node.js是一些喜欢javascript的极客做的js的后台执行程序。 支持力度显然远远比不上有10几年WEB开发历史的python。

node.js有一个最大的好处是前端与后端的融合比较好。都是JS开发的。有利于前端人员快速开发后台服务器。

再加上node.js大量爆发的各种工具。所以node.js很有前途。 相对python的架构不温不火。

从开发速度来看。两者差不多。从系统维护性上。 python要好很多。

从最高性能上看，python也要好很多。 着名的某团队聊天软件就是node.js架构。

但是限于javascript语言本身的性能以及执行方式，支持力度。 后台开发还是不建议用node.js，除非你有足够的理由 。比如快速开发，比如缺少足够 的后台开发人员，或者是团队成员整体偏前端等。

node.js真的很适合初学者。 特别是正在学习javascript人。 不过node.js想做好就不容易，特别是团队规模超过10个人时，代码很难维护。

v8引擎很强大，大多数测试结果显示node.js比python性能高。这个感觉挺无语。 js在v8上的优化效果的的确确比python解释器要强。这是事实。 不过python如果你用得很熟练的情况下，有很多技巧可以将这些差距缩小，以至于超过，完全没有压力。

比如我这边做一个服务器，通常性能要求很高的情况下，不会使用python做前端，而是使用java+cache做后台服务器前端。 这样性能就远远超过其它的WEB后端服务器了。

python在后处理，批处理，数据处理，快速开发很强大。 WEB方面就当是玩具吧。 算是一种快速 开发的补偿。 做做胶水，连接不同系统的接口还是可以的。

⑸ Python和nodeJS哪个更适合做爬虫

Python更加适合用做爬虫，只要几行代码就可以实现大部分的功能。