pythonnode

⑴ Node.js 與 python 作為後端服務的編程語言各有什麼優劣

一. NodeJS的特點

我們先來看看NodeJS官網上的介紹：

Node.jsis a platform built on Chrome』sjavaScriptruntime for easily building fast, scalable network applications.node.jsuses an event-driven, non-blocking I/O model that makes it lightweight and efficient, perfect for data-intensive real-time applications that run across distributed devices.

其特點為：
1. 它是一個Javascript運行環境

2. 依賴於Chrome V8引擎進行代碼解釋

3. 事件驅動

4. 非阻塞I/O

5. 輕量、可伸縮，適於實時數據交互應用

6. 單進程，單線程

二. NodeJS帶來的對系統瓶頸的解決方案

它的出現確實能為我們解決現實當中系統瓶頸提供了新的思路和方案，下面我們看看它能解決什麼問題。

1. 並發連接

舉個例子，想像一個場景，我們在銀行排隊辦理業務，我們看看下面兩個模型。

（1）系統線程模型：

這種模型的問題顯而易見，服務端只有一個線程，並發請求（用戶）到達只能處理一個，其餘的要先等待，這就是阻塞，正在享受服務的請求阻塞後面的請求了。

（2）多線程、線程池模型：

這個模型已經比上一個有所進步，它調節服務端線程的數量來提高對並發請求的接收和響應，但並發量高的時候，請求仍然需要等待，它有個更嚴重的問題。到代碼層面上來講，我們看看客戶端請求與服務端通訊的過程：

服務端與客戶端每建立一個連接，都要為這個連接分配一套配套的資源，主要體現為系統內存資源，以PHP為例，維護一個連接可能需要20M的內存。這就是為什麼一般並發量一大，就需要多開伺服器。

那麼NodeJS是怎麼解決這個問題的呢？我們來看另外一個模型，想像一下我們在快餐店點餐吃飯的場景。

（3）非同步、事件驅動模型

我們同樣是要發起請求，等待伺服器端響應；但是與銀行例子不同的是，這次我們點完餐後拿到了一個號碼，拿到號碼，我們往往會在位置上等待，而在我們後面的請求會繼續得到處理，同樣是拿了一個號碼然後到一旁等待，接待員能一直進行處理。

等到飯菜做號了，會喊號碼，我們拿到了自己的飯菜，進行後續的處理（吃飯）。這個喊號碼的動作在NodeJS中叫做回調（Callback），能在事件（燒菜，I/O）處理完成後繼續執行後面的邏輯（吃飯），這體現了NodeJS的顯著特點，非同步機制、事件驅動整個過程沒有阻塞新用戶的連接（點餐），也不需要維護已經點餐的用戶與廚師的連接。

基於這樣的機制，理論上陸續有用戶請求連接，NodeJS都可以進行響應，因此NodeJS能支持比Java、PHP程序更高的並發量雖然維護事件隊列也需要成本，再由於NodeJS是單線程，事件隊列越長，得到響應的時間就越長，並發量上去還是會力不從心。

總結一下NodeJS是怎麼解決並發連接這個問題的：更改連接到伺服器的方式，每個連接發射（emit）一個在NodeJS引擎進程中運行的事件（Event），放進事件隊列當中，而不是為每個連接生成一個新的OS線程（並為其分配一些配套內存）。

2. I/O阻塞

NodeJS解決的另外一個問題是I/O阻塞，看看這樣的業務場景：需要從多個數據源拉取數據，然後進行處理。

（1）串列獲取數據，這是我們一般的解決方案，以PHP為例

假如獲取profile和timeline操作各需要1S，那麼串列獲取就需要2S。

（2）NodeJS非阻塞I/O，發射/監聽事件來控制執行過程

NodeJS遇到I/O事件會創建一個線程去執行，然後主線程會繼續往下執行的，因此，拿profile的動作觸發一個I/O事件，馬上就會執行拿timeline的動作，兩個動作並行執行，假如各需要1S，那麼總的時間也就是1S。它們的I/O操作執行完成後，發射一個事件，profile和timeline，事件代理接收後繼續往下執行後面的邏輯，這就是NodeJS非阻塞I/O的特點。

總結一下：Java、PHP也有辦法實現並行請求（子線程），但NodeJS通過回調函數（Callback）和非同步機制會做得很自然。

三. NodeJS的優缺點

優點：1. 高並發（最重要的優點）

2. 適合I/O密集型應用

缺點：1. 不適合CPU密集型應用；CPU密集型應用給Node帶來的挑戰主要是：由於JavaScript單線程的原因，如果有長時間運行的計算（比如大循環），將會導致CPU時間片不能釋放，使得後續I/O無法發起；

解決方案：分解大型運算任務為多個小任務，使得運算能夠適時釋放，不阻塞I/O調用的發起；

2. 只支持單核CPU，不能充分利用CPU

3. 可靠性低，一旦代碼某個環節崩潰，整個系統都崩潰

原因：單進程，單線程

解決方案：（1）Nnigx反向代理，負載均衡，開多個進程，綁定多個埠；

（2）開多個進程監聽同一個埠，使用cluster模塊；

4. 開源組件庫質量參差不齊，更新快，向下不兼容

5. Debug不方便，錯誤沒有stack trace

四. 適合NodeJS的場景

1. RESTful API

這是NodeJS最理想的應用場景，可以處理數萬條連接，本身沒有太多的邏輯，只需要請求API，組織數據進行返回即可。它本質上只是從某個資料庫中查找一些值並將它們組成一個響應。由於響應是少量文本，入站請求也是少量的文本，因此流量不高，一台機器甚至也可以處理最繁忙的公司的API需求。

2. 統一Web應用的UI層

目前MVC的架構，在某種意義上來說，Web開發有兩個UI層，一個是在瀏覽器裡面我們最終看到的，另一個在server端，負責生成和拼接頁面。

不討論這種架構是好是壞，但是有另外一種實踐，面向服務的架構，更好的做前後端的依賴分離。如果所有的關鍵業務邏輯都封裝成REST調用，就意味著在上層只需要考慮如何用這些REST介面構建具體的應用。那些後端程序員們根本不操心具體數據是如何從一個頁面傳遞到另一個頁面的，他們也不用管用戶數據更新是通過Ajax非同步獲取的還是通過刷新頁面。

3. 大量Ajax請求的應用

例如個性化應用，每個用戶看到的頁面都不一樣，緩存失效，需要在頁面載入的時候發起Ajax請求，NodeJS能響應大量的並發請求。總而言之，NodeJS適合運用在高並發、I/O密集、少量業務邏輯的場景。

Python的優缺點

優點

簡單————Python是一種代表簡單主義思想的語言。閱讀一個良好的Python程序就感覺像是在讀英語一樣，盡管這個英語的要求非常嚴格！Python的這種偽代碼本質是它最大的優點之一。它使你能夠專注於解決問題而不是去搞明白語言本身。

易學————就如同你即將看到的一樣，Python極其容易上手。前面已經提到了，Python有極其簡單的語法。

免費、開源————Python是FLOSS（自由/開放源碼軟體）之一。簡單地說，你可以自由地發布這個軟體的拷貝、閱讀它的源代碼、對它做改動、把它的一部分用於新的自由軟體中。FLOSS是基於一個團體分享知識的概念。這是為什麼Python如此優秀的原因之一——它是由一群希望看到一個更加優秀的Python的人創造並經常改進著的。

高層語言————當你用Python語言編寫程序的時候，你無需考慮諸如如何管理你的程序使用的內存一類的底層細節。

可移植性————由於它的開源本質，Python已經被移植在許多平台上（經過改動使它能夠工作在不同平台上）。如果你小心地避免使用依賴於系統的特性，那麼你的所有Python程序無需修改就可以在下述任何平台上面運行。這些平台包括linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/390、z/OS、Palm OS、QNX、VMS、Psion、Acom RISC OS、VxWorks、PlayStation、Sharp Zaurus、Windows CE甚至還有PocketPC、Symbian以及Google基於linux開發的Android平台！

解釋性————這一點需要一些解釋。一個用編譯性語言比如C或C++寫的程序可以從源文件（即C或C++語言）轉換到一個你的計算機使用的語言（二進制代碼，即0和1）。這個過程通過編譯器和不同的標記、選項完成。當你運行你的程序的時候，連接/轉載器軟體把你的程序從硬碟復制到內存中並且運行。而Python語言寫的程序不需要編譯成二進制代碼。你可以直接從源代碼 運行 程序。在計算機內部，Python解釋器把源代碼轉換成稱為位元組碼的中間形式，然後再把它翻譯成計算機使用的機器語言並運行。事實上，由於你不再需要擔心如何編譯程序，如何確保連接轉載正確的庫等等，所有這一切使得使用Python更加簡單。由於你只需要把你的Python程序拷貝到另外一台計算機上，它就可以工作了，這也使得你的Python程序更加易於移植。

面向對象————Python既支持面向過程的編程也支持面向對象的編程。在「面向過程」的語言中，程序是由過程或僅僅是可重用代碼的函數構建起來的。在「面向對象」的語言中，程序是由數據和功能組合而成的對象構建起來的。與其他主要的語言如C++和Java相比，Python以一種非常強大又簡單的方式實現面向對象編程。

可擴展性————如果你需要你的一段關鍵代碼運行得更快或者希望某些演算法不公開，你可以把你的部分程序用C或C++編寫，然後在你的Python程序中使用它們。

可嵌入性————你可以把Python嵌入你的C/C++程序，從而向你的程序用戶提供腳本功能。

豐富的庫————Python標准庫確實很龐大。它可以幫助你處理各種工作，包括正則表達式、文檔生成、單元測試、線程、資料庫、網頁瀏覽器、CGI、FTP、電子郵件、XML、XML-RPC、HTML、WAV文件、密碼系統、GUI（圖形用戶界面）、Tk和其他與系統有關的操作。記住，只要安裝了Python，所有這些功能都是可用的。這被稱作Python的「功能齊全」理念。除了標准庫以外，還有許多其他高質量的庫，如wxPython、Twisted和Python圖像庫等等。

概括————Python確實是一種十分精彩又強大的語言。它合理地結合了高性能與使得編寫程序簡單有趣的特色。

規范的代碼————Python採用強制縮進的方式使得代碼具有極佳的可讀性。

缺點

強制縮進

這也許不應該被稱為局限，但是它用縮進來區分語句關系的方式還是給很多初學者帶來了困惑。即便是很有經驗的Python程序員，也可能陷入陷阱當中。最常見的情況是tab和空格的混用會導致錯誤，而這是用肉眼無法分別的。

單行語句和命令行輸出問題

很多時候不能將程序連寫成一行，如import sys;for i in sys.path:print i。而perl和awk就無此限制，可以較為方便的在shell下完成簡單程序，不需要如Python一樣，必須將程序寫入一個.py文件。（對很多用戶而言這也不算是限制）

NO.1 運行速度，有速度要求的話，用C++改寫關鍵部分吧。

NO.2 國內市場較小（國內以python來做主要開發的，目前只有一些web2.0公司）。但時間推移，目前很多國內軟體公司，尤其是游戲公司，也開始規模使用他。

No.3 中文資料匱乏（好的python中文資料屈指可數）。托社區的福，有幾本優秀的教材已經被翻譯了，但入門級教材多，高級內容還是只能看英語版。

NO.4 構架選擇太多（沒有像C#這樣的官方.net構架，也沒有像ruby由於歷史較短，構架開發的相對集中。Ruby on Rails 構架開發中小型web程序天下無敵）。不過這也從另一個側面說明，python比較優秀，吸引的人才多，項目也多。

⑵ nodejs 還是python

簡短的回答，這取決於你的情況。繼續閱讀以確定Django或Node是否更適合您的後端應用程序。
Node.js（GitHub上的55,432★）和Django（GitHub上的37,614★ ）是構建Web應用程序的兩個強大工具。
Node.js有一個「JavaScript無處不在」的動機，以確保在Web應用程序的伺服器端和客戶端使用JavaScript，Django有一個「完美主義者框架，有最後期限」的動機，以幫助開發人員快速構建應用程序。
它們正在許多大型項目中實施，它們擁有龐大的用戶社區，並且正在定期升級。這兩種工具的質量使開發人員對於為他們的項目選擇哪種工具感到困惑。本文旨在清除空氣並幫助您做出決定。
Node.js
JavaScript的主要優勢在於它在客戶端開發方面的優勢，但Node.js正在通過在伺服器端創建奇跡來完全相反。
Node是一個開源JavaScript運行時環境，用C，C ++和JavaScript編寫，構建於Google V8 JavaScript引擎上，並於2009年發布.Node.js基於事件驅動的非阻塞I / O模型。
可以使用Windows Installer在Windows上安裝節點。安裝很簡單，只需按照從官方網站下載安裝程序後的提示即可完成。
可以從Windows命令提示符或PowerShell確認成功安裝：
node-v
對於Linux（Ubuntu）用戶，可以從終端安裝Node.js：
sudo apt-get updatsudo apt-get install nodejssudo apt-get install npm
可以在終端上通過以下方式確認在Linux（Ubuntu）上的成功安裝：
nodejs-v
Node Package Manager（npm）用於安裝與Node.js一起使用的包。
優點
偉大圖書館的可用性。高性能。非常適合構建API。它有一個很棒的包管理器。龐大的用戶社區。輕松處理並發請求。缺點
非同步編程可能難以使用。由於其單線程，CPU密集型應用程序不是很好。回調導致大量嵌套回調。Django
Django是一個非常強大的開源Python Web框架。它是非常高級的，因為大多數低級別的東西都被抽象出來了。眾所周知，它具有「包含電池」的理念，因此它可以開箱即用。
Django可以實現快速開發項目，對於已經了解Python的人來說，它是初學友好的。
Django是以實用和干凈的設計為基礎構建的，並且具有構建復雜Web應用程序所需的所有主要組件。
安裝非常簡單，可以使用Python的包管理工具（稱為pip）完成。如果安裝了pip，則從終端開始，以下命令是Windows和Linux操作系統所需的全部操作。
pip install django
要確認其安裝，只需激活Python shell並導入Django。在終端中鍵入「python」，如：
python
得到類似的東西：
Python 3.6.6 (default, Sep 12 2018, 18:26:19)[GCC 8.0.1 20180414 (experimental) [trunk revision 259383]] on linuxType "help", "right", "credits" or "license" for more information.>>>
然後使用以下方法導入Django：
importdjango
如果沒有錯誤，那麼一切正常。
優點
幾乎沒有安全漏洞。適用於關系資料庫。簡單易學。快速的發展過程。非常可擴展。龐大的用戶社區。有很棒的文檔。缺點
Django是單片的，即單層軟體應用程序。對於小規模的應用來說並不是很好。需要充分了解該框架。兩者都是開源的
Node.js和Django都可以免費使用。使用商業軟體時，您不會遇到任何許可問題。它們也是開源的，因此當您發現要處理的功能或錯誤時，您可以為項目做出貢獻。
查看Node.js 存儲庫和Django 存儲庫。
學習曲線
Node.js是一個從客戶端瀏覽器環境中取出的JavaScript運行時，Django是一個Python框架。為了能夠學習這兩種工具，您需要熟悉使用他們的主要編程語言。
要使用Node.js，您需要了解非同步編程，Node的本機方法和體系結構。
Node.js有很多在線教程，但是很多例子都很糟糕，這可能會讓學習變得更加困難。
要使用Django，需要了解這些方法以及開箱即用的功能。還需要了解框架的MTV（模型模板視圖）架構的完整理解。
雖然Django在網上有很多很好的教程，但你會發現有大量過時的教程教授舊的做事方式。
雖然學習Node.js和Django需要了解他們的基礎語言，但Node引入了一些復雜的概念，這使得初學者與Django相比有點困難。
語法
Node.js只是在客戶端瀏覽器環境之外的JavaScript。因此，它的語法更像是常規的JavaScript語法。
這是Node.js中的「hello world」應用程序：
var http = require('http');http.createServer(function (req, res) res.writeHead(200, {'Content-Type': 'text/plain'}); res.end('Hello World!');}).listen(8080);
Django是基於Python構建的，因此它也使用Python語法。Python中的「Hello world！」就是：
print(「HelloWorld」)
但是，由於Django是一個框架，它強制您使用一個標識MTV模式的特定結構，因此我們需要編寫不同的腳本來在Web應用程序上生成「Hello World」。
以下是Hello World的基本views.py文件：
from django.http import HttpResponsedef hello(request):return HttpResponse("Hello world")
這是urls.py文件：
from django.conf.urlsimport include, urlfrom django.contribimport adminfrom mysite.viewsimport hellourlpatterns = [url(r '^admin/', include(admin.site.urls)),url(r '^hello/, hello),]
可擴展性和性能
這兩種工具都具有很好的可擴展性和性能 然而，雖然Django似乎具有可擴展性的優勢，但Node.js具有性能優勢。
可以使用群集模塊使用負載均衡器克隆應用程序工作負載的不同實例來擴展Node.js應用程序。但是由於Node.js使用單線程，它在CPU密集型條件下表現不佳。
Django具有高度可擴展性，因為應用程序的緩存非常簡單，可以使用MemCache等工具完成。NGINX還可用於確保提供壓縮的靜態資產，並且即使數據變得更加健壯，它也可用於成功處理數據遷移。
用戶社區
Node.js和Django都有大型用戶社區。這樣做的主要因素是開發人員利用伺服器端的JavaScript風格來處理Node.js的Web應用程序的後端，並利用Python易於使用的Django語法。與Django相比，網上有許多與網路相關的教程，有更多的公司將Node作為他們的後端網路技術。
Uber，Twitter，eBay，Netflix，DuckDuckGo，PayPal，LinkedIn，Trello，PayPal，Mozilla和GoDaddy都是使用Node.js作為後端技術的大牌。
Pinterest，Instagram，Eventbrite，Sentry，Zapier，Dropbox，Spotify和YouTube也是使用Django作為後端技術的一些大牌。
結論
這兩種工具都非常適合構建Web應用程序，但是，每種工具都很突出。
例如，當您考慮使用關系資料庫，許多外部庫，將安全性作為列表中的最高優先順序，並且需要快速構建應用程序時，Django是一個很好的選擇。當您從伺服器獲得非同步堆棧時需要使用Node.js，需要很好的性能，打算從頭開始構建功能，並希望有一個應用程序來完成客戶端處理的繁重工作。
選擇最適合您需求的工具，這兩種工具對Web開發都很有用。

⑶ Python，Node.js 哪個比較適合寫爬蟲

簡單的定向爬取：
Python + urlib2 + RegExp + bs4
或者
Node.js + co，任一一款dom框架或者html parser + Request + RegExp 擼起來也是很順手。
對我來說上面兩個選擇差不多是等價的，但主要我JS比較熟，現在選擇Node平台會多一些。

上規模的整站爬取：
Python + Scrapy
如果說上面兩個方案里DIY 的 spider是小米加步槍，那Scrapy簡直就是重工加農炮，好用到不行，自定義爬取規則，http錯誤處理，XPath，RPC，Pipeline機制等等等。而且，由於Scrapy是基於Twisted實現的，所以同時兼顧有非常好的效率，相對來說唯一的缺點就是安裝比較麻煩，依賴也比較多，我還算是比較新的osx，一樣沒辦法直接pip install scrapy

另外如果在spider中引入xpath的話，再在chrome上安裝xpath的插件，那麼解析路徑一目瞭然，開發效率奇高。

⑷ web自動化測試，使用node.js 與python哪個語言更合適

Node.js是現在WEBAPP快速開發的標配。python的WEB框架還有模板很多。這個取決於你習慣什麼方式開發。

如果熟悉 python使用node.js沒有壓力，可以完美融合。 如果對python不熟悉，node.js可以給你驚喜。

不過就我個人而言python很熟練，python給我的自由度與支撐力度遠遠大於node.js。 node.js是一些喜歡javascript的極客做的js的後台執行程序。 支持力度顯然遠遠比不上有10幾年WEB開發歷史的python。

node.js有一個最大的好處是前端與後端的融合比較好。都是JS開發的。有利於前端人員快速開發後台伺服器。

再加上node.js大量爆發的各種工具。所以node.js很有前途。 相對python的架構不溫不火。

從開發速度來看。兩者差不多。從系統維護性上。 python要好很多。

從最高性能上看，python也要好很多。 著名的某團隊聊天軟體就是node.js架構。

但是限於javascript語言本身的性能以及執行方式，支持力度。 後台開發還是不建議用node.js，除非你有足夠的理由 。比如快速開發，比如缺少足夠 的後台開發人員，或者是團隊成員整體偏前端等。

node.js真的很適合初學者。 特別是正在學習javascript人。 不過node.js想做好就不容易，特別是團隊規模超過10個人時，代碼很難維護。

v8引擎很強大，大多數測試結果顯示node.js比python性能高。這個感覺挺無語。 js在v8上的優化效果的的確確比python解釋器要強。這是事實。 不過python如果你用得很熟練的情況下，有很多技巧可以將這些差距縮小，以至於超過，完全沒有壓力。

比如我這邊做一個伺服器，通常性能要求很高的情況下，不會使用python做前端，而是使用java+cache做後台伺服器前端。 這樣性能就遠遠超過其它的WEB後端伺服器了。

python在後處理，批處理，數據處理，快速開發很強大。 WEB方面就當是玩具吧。 算是一種快速 開發的補償。 做做膠水，連接不同系統的介面還是可以的。

⑸ Python和nodeJS哪個更適合做爬蟲

Python更加適合用做爬蟲，只要幾行代碼就可以實現大部分的功能。