python3yield

Ⅰ 說說這篇我為什麼從python轉向go

恩看了這篇我為什麼從python轉向go，
看來作者也是 KSO 輕辦公/企業快盤團隊的。作為快盤從無到有時期的工程師之一（總是被瀟灑哥說他們改我留下的 bug ），又恰好是
Python/Go 雙修（大霧其實我是 Rust 黨），其實一開始我是拒絕的，ang ang ang，那就隨手寫一點把。

一段段來吧，首先作者說 Python 是動態語言

python是一門動態語言，不是強類型系統。對於一個變數，我們有時候壓根不知道它是什麼類型，然後就可能出現int + string這樣的運行時錯誤。

在python裡面，可以允許同名函數的出現，後一個函數會覆蓋前一個函數，有一次我們系統一個很嚴重的錯誤就是因為這個導致的。

事實上，如果是靜態檢查，pylint 和 pyflakes 是可以做這件事的，雖然不能和 go
那種靜態編譯型語言比，但也足夠了。如果沒記錯的話，阿通當年是要求全組都在提交前做靜態檢查的。我認為這種問題更多的應該是人員素質上來避免，畢竟蔥頭
也說過，代碼自己寫的就要多回頭看看，看能不能重構，能不能做更好。不是說偷懶不行，但是從中得出 Python
動態特性太靈活，Python：怪我咯看

另外，函數作為第一對象，在 Python 中是 feature，Go 要寫個 mock，簡直虐得不要不要的。

其實這個一直是很多人吐槽python的地方，不過想想，python最開始是為了解決啥問題而被開發出來的看我們硬是要將他用到高性能伺服器開發上面，其實也是有點難為它。

如果沒記錯，無論是輕辦公還是快盤，是重 IO 不重 CPU，最大耗時是數據塊加密那塊，我在的時候是 java 寫的。另外高性能伺服器選 Go 也是虐得不要不要的，各種小心翼翼避免 GC。大多數極端情況下，pypy 的性能足矣勝任了，我認為這不算充分條件。

python的GIL導致導致無法真正的多線程，大家可能會說我用多進程不就完了。但如果一些計算需要涉及到多進程交互，進程之間的通訊開銷也是不得不考慮的。

其實，Python 有宏可以繞開這個 GIL，但是呢架構設計得好其實可以避免的，到非同步那塊我會說。

無狀態的分布式處理使用多進程很方便，譬如處理http請求，我們就是在nginx後面掛載了200多個django server來處理http的,但這么多個進程自然導致整體機器負載偏高。

但即使我們使用了多個django進程來處理http請求，對於一些超大量請求，python仍然處理不過來。所以我們使用openresty，將高頻次的http請求使用lua來實現。可這樣又導致使用兩種開發語言，而且一些邏輯還得寫兩份不同的代碼。

如果推測沒錯，你們現在還在用五年前寫的 Gateway看那個基於 django route
的流量分發層看四年前我離開的時候已經小范圍的使用 Flask+Gevent Demo 測試過了，無論是性能還是負載都比同步模型的 django
有優勢。如果還是 django
這套的話，我只能說比較遺憾，畢竟當年金山新員工大賽頭牌就是我和幾個小夥伴寫的實時同步在線文檔編輯系統，用的就是這套技術。

因此這是個工程問題，並非語言問題。 Python 提供給了你了這么多工具，硬要選一個傳統的，Old fashion 的，Python：怪我咯看

django的網路是同步阻塞的，也就是說，如果我們需要訪問外部的一個服務，在等待結果返回這段時間，django不能處理任何其他的邏輯（當然，多線程的除外）。如果訪問外部服務需要很長時間，那就意味著我們的整個服務幾乎在很長一段時間完全不可用。

為了解決這個問題，我們只能不斷的多開django進程，同時需要保證所有服務都能快速的處理響應，但想想這其實是一件很不靠譜的事情。

同步模型並非不行，因為 overhead 足夠低，很多業務場景下用同步模型反而會取得更好的效果，比如豆瓣。同步模型最大的問題是對於 IO 密集型業務等待時間足夠長，這時候需要的不是換語言 ，而是提醒你是不是架構要改一下了。

雖然tornado是非同步的，但是python的mysql庫都不支持非同步，這也就意味著如果我們在tornado裡面訪問資料庫，我們仍然可能面臨因為資料庫問題造成的整個服務不可用。

tornado 是有這個問題，但是 gevent 已經解決了。我在 node.js 的某問題下曾經回答過，對於 node
而言，能選擇的非同步模型只有一個，而 Python 就是太多選擇了。另外 pypy+tornado+redis
可以隨意虐各種長連接的場景，比如我給我廠寫過的一個 push service。

其實非同步模型最大的問題在於代碼邏輯的割裂，因為是事件觸發的，所以我們都是通過callback進行相關處理，於是代碼裡面就經常出現干一件事情，傳一個callback，然後callback裡面又傳callback的情況，這樣的結果就是整個代碼邏輯非常混亂。

這個還真不是，如果說沒有 ES6 的 JavaScript，可能真有 Callback hell，但這是 Python 啊！Python
早就實現了左值綁定唉，yield 那姿勢比某些天天吹的語言不知道高到哪裡去了，當然我說的是完整版的 Python3 yield。即便是不完整的
Python 2 yield 用於非同步表達式求值也是完全足夠的，tornado 的 gen.coroutine 啊。

同步形態寫非同步，在 Python 實力強的公司裡面早普及了，這是個工程問題，並非語言問題。當然把這種事怪在 Python 身上，Python：怪我咯看

python沒有原生的協程支持，雖然可以通過gevent，greenlet這種的上patch方式來支持協程，但畢竟更改了python源碼。另外，python的yield也可以進行簡單的協程模擬，但畢竟不能跨堆棧，局限性很大，不知道3.x的版本有沒有改進。

無論是 Gevent 還是 Greenlet 均沒修改 Python 源碼，事實上這貨已經成為了 Py2 coroutine 的標准，加上豆瓣開源出來的greenify，基本上所有的庫都可以平滑的非同步化，包括 MySQL 等 C 一級的 lib。自從用上這套技術後，豆瓣的 Python dev 各種爽得不要不要的。

當我第一次使用python開發項目，我是沒成功安裝上項目需要的包的，光安裝成功mysql庫就弄了很久。後來，是一位同事將他整個python目錄打包給我用，我才能正常的將項目跑起來。話說，現在有了docker，是多麼讓人幸福的一件事情。

而部署python服務的時候，我們需要在伺服器上面安裝一堆的包，光是這一點就讓人很麻煩，雖然可以通過puppet，salt這些自動化工具解決部署問題，但相比而言，靜態編譯語言只用扔一個二進制文件，可就方便太多了。

恰好我又是在開發基於 docker 的平台， docker 還真不是用來做部署這事的。首先， Python 是有 virtualenv
這個工具的，事實上對比包管理和包隔離，Python 比 Go 高得不知道哪裡去了。Python 跟 Git 談笑風生的時候， Go 的 dev
們還得考慮我怎樣才能使得 import 的包穩定在一個版本上（當然現在有很多第三方方案）。Virtualenv + Pip 完全可以實現
Python 部署自動化，所以這個問題我認為是，工具鏈選取問題。畢竟是個十幾年的老妖怪了，Python
啥情況沒見過啊，各種打包工具任君選擇，強行說 Python 部署不方便，Python：怪我咯看

python非常靈活簡單，寫c幾十行代碼才能搞定的功能，python一行代碼沒准就能解決。但是太簡單，反而導致很多
同學無法對代碼進行深層次的思考，對整個架構進行細致的考量。來了一個需求，啪啪啪，鍵盤敲完開速實現，結果就是代碼越來越混亂，最終導致了整個項目代碼
失控。

曾經知乎有個帖子問 Python 會不會降低程序員編程能力，
我只能說這真的很人有關。你不去思考深層次的東西怪語言不行是沒道理的，那好，Go 裡面 goroutine 是怎麼實現的，一個帶 socket 的
goroutine
最小能做到多少內存，思考過看任何語言都有自己的優勢和劣勢，都需要執行者自己去判斷，一味的覺得簡單就不會深入思考這是有問題的。另外，代碼混亂我認為
還是工程上的控制力不夠，豆瓣有超過10W行的 Python 實現，雖然不說很完美，大體上做到了不會混亂這么個目標。

還有，C 寫幾十行搞定的 Python 一行解決這絕對是重大 feature，生產力啊，人員配置啊，招人培養的成本啊，從工程上來說，Python 在這一塊完全是加分項，不是每個項目都要求極致的並發，極致的效率，做工程很多時候都是要取捨的。

雖然java和php都是最好的編程語言（大家都這么爭的），但我更傾向一門更簡單的語言。而openresty，雖然性
能強悍，但lua仍然是動態語言，也會碰到前面說的動態語言一些問題。最後，前金山許式偉用的go，前快盤架構師蔥頭也用的go，所以我們很自然地選擇了
go。

Openresty 用 lua 如果按照動態語言的角度去看，還真算不上，頂多是個簡單點的 C。許式偉走的時候大多數都是
CPP，蔥頭目前我還不知道他創業用的是什麼寫的，不過他肯定沒語言傾向。當年無論是 leo 還是 ufa，一個用 Python 一個用
Java， 他都是從工程實際來選擇使用什麼樣的語言。

error，好吧，如果有語言潔癖的同學可能真的受不了go的語法，尤其是約定的最後一個返回值是error。

這其實是 Go style，無論是 go fmt 還是 error style，Go 其實是想抹平不同工程師之間的風格問題。不再為了一個縮進和大括弧位置什麼的浪費時間。這種方法並不是不好，只是我個人覺得沒 rust 那種返回值處理友善。

GC，java的GC發展20年了，go才這么點時間，gc鐵定不完善。所以我們仍然不能隨心所欲的寫代碼，不然在大請求量下面gc可能會卡頓整個服務。所以有時候，該用對象池，內存池的一定要用，雖然代碼丑了點，但好歹性能上去了。

1.4 開始 go 就是 100% 精確 GC 了，另外說到卡頓啊，完全和你怎麼用對象有關，能內聯絕不傳引用大部分場景是完全足夠的，這樣 gc 的影響程度會最低。實在想用池……只能說為啥不選 Java。

天生的並行支持，因為goroutine以及channel，用go寫分布式應用，寫並發程序異常的容易。沒有了蛋疼的callback導致的代碼邏輯割裂，代碼邏輯都是順序的。

這是有代價的，goroutine 的內存消耗計算（當然1.3還是1.4開始得到了很大的改善，內存最小值限制已經沒了），channel
跨線程帶來的性能損耗（跨線程鎖），還有對 goroutine 的控制力幾乎為 0
等。總之這種嘛，算不上是殺手級特性，大家都有，是方便了一點，但也有自己的弊端。比如我們用 go 吧，經常就比較蛋疼 spawn 出去的
goroutine 怎麼優美的 shutdown，反而有時候把事情做復雜化了。

性能，go的性能可能趕不上c，c++以及openresty，但真的也挺強悍的。在我們的項目中，現在單機就部署了一個go的進程，就完全能夠勝任以前200個python進程乾的事情，而且CPU和MEM佔用更低。

我不嚴謹的實測大概 gevent+py2 能達到同樣邏輯 go 實現的 30%~40%，pypy+tornado 能達到
80%~90%，混合了一些計算和連接處理什麼的。主要還是看業務場景吧，純粹的 CPU bound 當然是 go 好，純粹的 IO bound
你就是用 C 也沒用啊。

運維部署，直接編譯成二進制，扔到伺服器上面就成，比python需要安裝一堆的環境那是簡單的太多了。當然，如果有cgo，我們也需要將對應的動態庫給扔過去。

我們現在根據 glibc 所處的 host 版本不同有2套編譯環境，看上去是部署簡單了，編譯起來坑死你。另外雖然說 disk 便宜，這幾行代碼就幾M了，集群同步部署耗時在某些情況下還真會出簍子。

開發效率，雖然go是靜態語言，但我個人感覺開發效率真的挺高，直覺上面跟python不相上下。對於我個人來說，最好的
例子就是我用go快速開發了非常多的開源組件，譬如ledisdb，go-mysql等，而這些最開始的版本都是在很短的時間裡面完成的。對於我們項目來
說，我們也是用go在一個月就重構完成了第一個版本，並發布。

Ⅱ python中yield和return究竟有什麼區別，怎麼用

常看到別人使用或討論yield語法,能搜到的中文解釋卻不多,今天決心搞定yield,把暫時的理解貼到這里.

搞定yield之前: 疊代器(iterator)

發現yield: 生成器(constructor)

使用yield: 遞歸調用

1. iterator

疊代器最簡單例子應該是數組下標了，且看下面的c++代碼：

int array[10];

for ( int i = 0; i < 10; i++ )

printf("%d ", array[i]);

疊代器工作在一個容器里(array[10])，它按一定順序(i++)從容器里取出值(array[i])並進行操作(printf("%d ", array[i])。

上面的代碼翻譯成python：

array = [i for i in range(10)]

for i in array:

print i,

for i in array幹了什麼(別亂想)？首先，array作為一個list是個容器，其次list這個內建類型有默認的next行為，python發現這些之後采 取的秘密的沒被各位看到的動作是：拿出array這丫容器的疊代器，從裡面next一下把值給i供for循環主體處置，for把這個值print了。

現在的問題是數據可以做容器疊代，代碼可以嗎？

怎麼不行，碗碟可以用來放菜，wk們不就聯想出用nt盛嗎，當然我們的yield不會那麼yellow + bt

2. constructor

怎麼把函數變成constructor？ 在函數體里有yield就行了！

def gen():
print 'enter'
yield 1
print 'next'
yield 2
print 'next again'

for i in gen():
print i

各位！python看到gen函數里出現yield，知道可以用next了，問題是怎麼對代碼這個容器玩next？

從容器里拿到iterator的時候它還什麼也不是，處在容器入口處，對於數組來說就是下標為-1的地方，對於函數來說就是函數入口嘛事沒干，但是萬事俱備就欠next。

開始for i in g，next讓itreator爬行到yield語句存在的地方並返回值,

再次next就再爬到下一個yield語句存在的地方並返回值,依次這樣直到函數返回(容器盡頭)。
您一定看出來上面代碼的輸出是：

enter
1
next
2
next again

如果沒看出來請不要往下看了免得反被yield搞定。

3. 使用yield

yield的代碼疊代能力不但能打斷函數執行還能記下斷點處的數據，下次next書接上回，這正是遞歸函數需要的。

例如中序遍歷二叉樹：

(應該是David Mertz寫的)

def inorder(t):
if t:
for x in inorder(t.left):
yield x
yield t.label
for x in inorder(t.right):
yield x

for n in inorder(tree)

print n

當然yield這種代碼next的能力還可以用在其它方面，發現拍案的在貼咯。

Ⅲ python yield怎麼實現的

yield是生成器關鍵詞，是在函數內使用的生成器語法（你也可以理解為是用在函數內的創建生成器的方法），讓函數返回的是一個生成器而不再返回函數計算得到的結果。比如：

同樣的迭代完再迭代則會報錯

Ⅳ Python 3.6 有什麼新特性

有哪些重要的新特性。

1. 格式化字元串字面量

PEP 498引入了 f-string，一種新型的字元串字面量。中文翻譯為「格式化字元串字面量」。

這種字元串以 f 為前綴，類似 str.format() 方法所接受的字元串。其中的可替換欄位用 {} 包裹起來，在運行時進行求值。

具體代碼示例：

>>> width = 10
>>> precision = 4
>>> value = decimal.Decimal("12.34567")
>>> f"result: {value:{width}.{precision}}" # nested fields
'result: 12.35'
2. 變數注釋語法

此前，Python 已加入了對函數變數類型進行注釋的標准，也就是 type hint。而 Python 3.6 中則根據PEP 526的提議，加入了對更多變數類型注釋的功能，包括類變數和實例變數。

具體代碼示例：

captain: str # 未設置初始值
class Starship:
stats: Didct[str, int] = {}
與靜態語言中的變數聲明不同，Python 中的變數聲明是為了更加方便地位第三方工具和庫提供結構化的類型元數據。會使用到新語法的工具包括：mypy，pytype，PyCharm，等等。

3. 數字字面量使用下劃線

對於較大的數字來說，位數太多可能不好判斷值到底有多大。現在新版本中將允許你在數字字面量中使用下劃線，提高可讀性。

具體代碼示例：

>>> 1_000_000_000_000_000
1000000000000000
>>> 0x_FF_FF_FF_FF
4294967295
4. 非同步生成器

在上一個版本中，Python 引入了對原生協程的支持，並可使用 async 或 await 語法，但是有一個限制是沒辦法在同一個函數體中使用 await 和 yield 。這個限制在 3.6 版中取消了，因此以後將可以定義非同步生成器。

具體代碼示例：

async def ticker(delay, to):
"""Yield numbers from 0 to *to* every *delay* seconds."""
for i in range(to): yield i
await asyncio.sleep(delay)
使用新語法，可以讓你的代碼更簡潔，運行速度更快。

5. 非同步推導

推導（Comprehension）本身就是 Python中一個很棒的語法糖。在新版本中，它將得到一次重大升級。PEP 530提出了在列表、元組、字典推導或生成器表達式中使用 async for 語法。

這樣就將原有各種推導式變成了可支持非同步。

同時，推導式中還支持使用 await 表達式。

以上就是 3.6 版本中新增的 5 大特性：

格式化字元串字面量

變數注釋語法

數字字面量使用下劃線

非同步生成器

非同步推導

Ⅳ Python的yield問題

python yield from

defgenerator2():
foriinrange(10):
yieldidefgenerator3():
forjinrange(10,20):
yieldjdefgenerator():
foriingenerator2():
yieldi
forjingenerator3():
yieldj

==

defgenerator():
yieldfromgenerator2()
yieldfromgenerator3()

Ⅵ Python yield 語句

我在2x版本下測試下顯式調用throw來拋出GeneratorExit異常是可以被捕獲的

我查了一下文檔,樓主你的理解可能錯了,文檔的意思是說迭代器調用close退出時如果處於暫停狀態就會內部產生一個GeneratorExit異常,這個異常是不能捕獲的,內部會轉換成RuntimeError拋出

正常退出的話則產生StopIteration異常

測試代碼如下

defmy_generator():
try:
yield'dosomething'
exceptValueError:
yield'dealingwiththeexceptions'
exceptGeneratorExit:
yield"Yes,Icanyieldavalue"
finally:
print"Ok,let'sclean"

gen=my_generator()
gen.next()#這行注釋掉後則不會拋出異常
try:
gen.close()
exceptRuntimeError:
print"closeerror"

Ⅶ scrapy使用yield返回Request的步驟是怎麼樣的

Python的yield是一個比較特別的關鍵字。

>>>deftest_yield():
...foriinrange(3):
...yieldi
...
>>>test_yield()
<generatorobjecttest_yieldat0x01AB2C88>

很明顯的看到，yield不同於return。return直接返回函數返回值。而包含yield的函數，不返回而是生成了一個對象。這個對象叫做生成器（generator）。實際上test_yield中的for循環並沒有在調用test_yield函數時執行完畢，而是每次遇到yield都會停止在執行yield前，當你調用生成器的next方法時，yield就會執行，這時返回緊接著yield的變數。

>>>gen=test_yield()
>>>gen.next()
0
>>>gen.next()
1
>>>gen.next()
2
>>>gen.next()
Traceback(mostrecentcalllast):
File"<stdin>",line1,in<mole>
StopIteration

可以看到，返回2時，生成器中的for循環已經執行完畢，函數中沒有可執行的yield。這時再next就會拋出StopIteration的異常，以此表示生成器的結束。

實際上，生成器也可用循環進行迭代。

>>>foreachintest_yield():
...printeach
...
0
1
2

而且Python中xrange不同於range產生list，xrange產生的是一個生成器。

>>>range(3)
[0,1,2]
>>>xrange(3)
xrange(3)

在Scrapy中，Spider解析網頁的方法中就用到yield。當然，不用yield也是可以的，但你需要返回一個包含從傳入的Response中解析出的所有Request或是Item的list。

classDemoSpider(Spider):
name='demo'
...
defparse(self,response):
sel=Selector(response)
forurlinsel.xpath('//a/@href').extract():
yieldRequest(url)

或者

classDemoSpider(Spider):
name='demo'
...
defparse(self,response):
sel=Selector(response)
requests=[]
forurlinsel.xpath('//a/@href').extract():
requests.append(Request(url))
returnrequests

總之，要返回一個可迭代的對象。

那麼，為何要存在yield這種東西？直接返回list不成嗎？試想一下，如果需要返回包含成百上千個元素的list，想必會佔用很多計算機資源以及時間。如果用yield就可以緩和這種情況了。

以上部分代碼僅適用Python2。

Ⅷ python中的yield能嵌套嗎

可以嵌套，給你個例子，用python3可以直接運行
#!/usr/local/bin/python3
#-*- coding:utf-8 -*-

def consum(man):
print("1111111111111111")
while True:
print("22222222222:%s need foods"%man)
bone = yield
print("33333333333:%s eat %s foods"%(man,bone))

def proct(obj):
print("444444444444");
while True:
r = yield
print("55555555555r==%s"%r);
for i in range(r):
print("proct:making food index is %s"%i);
obj.send(i)

if __name__ == "__main__":
con1 = consum("Fat")
con1.send(None)
con2 = proct(con1)
con2.send(None)
con2.send(2)
con2.send(4)
con2.send(6)

Ⅸ Python3的關鍵字有哪些

按照官方文檔，關鍵字有

False class finally is return

None continue for lambda try

True def from nonlocal while

and del global not with

as elif if or yield

assert else import pass

break except in raise

Ⅹ 不合法的Python3變數名有

數字打頭的標識符，標識符中出現「#」號等。
Python 語言的標識符必須以字母、下畫線（_）開頭，後面可以跟任意數目的字母、數字和下畫線（_）。此處的字母並不局限於 26 個英文字母，可以包含中文字元、日文字元等。