生成器表达式python

1. python中列表生成式和生成器的区别

列表生成式语法：

[x*x for x in range(0,10)] //列表生成式,这里是中括号
//结果 [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
(x*x for x in range(0,10)) //生成器, 这里是小括号
//结果 <generator object <genexpr> at 0x7f0b072e6140>

二者的区别很明显：
一个直接返回了表达式的结果列表， 而另一个是一个对象，该对象包含了对表达式结果的计算引用， 通过循环可以直接输出

g = (x*x for x in range(0,10))
for n in g:
print n

结果

0
1
4
9
16
25
36
49
64
81

当表达式的结果数量较少的时候， 使用列表生成式还好， 一旦数量级过大， 那么列表生成式就会占用很大的内存，
而生成器并不是立即把结果写入内存， 而是保存的一种计算方式， 通过不断的获取， 可以获取到相应的位置的值,所以占用的内存仅仅是对计算对象的保存

2. 浠涔堟槸Python涓镄勭敓鎴愬櫒鎺ㄥ煎纺

Python涓链変竴绉岖揣鍑戠殑璇娉曪纴鍙浠ラ氲繃涓涓寰鐜鍜屾浔浠舵瀯寤轰竴涓鍒楄〃锛岃繖绉嶈娉曞彨锅氩垪琛ㄦ帹瀵煎纺锛坙ist comprehension锛夛细 my_list = [ f(x) for x in sequence if cond(x) ] 绫讳技鍦帮纴鎴戜滑鍙浠ラ氲繃瀛楀吀鎺ㄥ煎纺

Python涓链変竴绉岖揣鍑戠殑璇娉曪纴鍙浠ラ氲繃涓涓寰鐜鍜屾浔浠舵瀯寤轰竴涓鍒楄〃锛岃繖绉嶈娉曞彨锅氩垪琛ㄦ帹瀵煎纺锛坙ist comprehension锛夛细
my_list = [ f(x) for x in sequence if cond(x) ]

绫讳技鍦帮纴鎴戜滑鍙浠ラ氲繃瀛楀吀鎺ㄥ煎纺锛坉ictionary comprehension锛夊垱寤哄瓧鍏革纴阃氲繃闆嗗悎鎺ㄥ煎纺锛坰et comprehension锛夊垱寤洪泦钖堬细
my_dict = { k(x): v(x) for x in sequence if cond(x) }
my_set = { f(x) for x in sequence if cond(x) }

锛堣繖涓璇娉曟敮鎸佹洿锷犲嶆潅镄勬搷浣滐纴浣呜繖閲屼粎浣灭ず渚嬶级
链钖庯纴浣犺缮鍙浠ヤ娇鐢ㄧ被浼肩殑璇娉曞垱寤轰竴涓鐢熸垚鍣锛
my_generator = ( f(x) for x in sequence if cond(x) )

涓嶈繃锛岃繖骞朵笉鍙锅氱敓鎴愬櫒鎺ㄥ煎纺锛岃屾槸鍙锅氱敓鎴愬櫒琛ㄨ揪寮忥纸generator expression锛夈备负浠涔堜笉鍙鍓嶈呭憿锛熷傛灉鍓崭笁涓璇娉曢兘琚绉颁负钬沧帹瀵煎纺钬濓纴涓轰粈涔堢敓鎴愬櫒杩欎釜涓嶅彨锻锛
PEP 289 钬斺 鐢熸垚鍣ㄨ〃杈惧纺 镄勬渶钖庣粰鍑轰简璇︾粏镄勫囨敞锛屽叾涓鎸囧嚭Raymond Hettinger璧峰埯鎻愯浣跨敤钬灭敓鎴愬櫒鎺ㄥ煎纺锛坓enerator comprehension锛夆濅竴璇嶏纴钖庢潵Peter Norvig鎻愬嚭浜嗏灭疮璁℃樉绀猴纸accumulation displays锛夆濓纴钖庢潵Tim Peters鎺ㄨ崘浜嗏灭敓鎴愬櫒琛ㄨ揪寮忊濊繖涓
钖嶈瘝銆备絾鏄瀹冨苟娌℃湁钖嶈瘝鍑虹幇浜呜繖镙风殑鍙桦寲銆
EarlGrey锛氢笂闱㈡彁鍒扮殑杩椤嚑浣嶉兘鏄澶х墰鍟婏紒鍏蜂綋澶у跺彲浠ヨ胺姝屼竴涓嬨
镓浠ユ垜鍦═witter涓婃彁鍑轰简杩欎釜闂棰桡细
python 链変釜鎴戜笉镍傜殑闂棰桡细涓轰粈涔埚畠浠琚绉颁负钬灭敓鎴愬櫒琛ㄨ揪寮忊濓纴钥屼笉鏄钬灭敓鎴愬櫒鎺ㄥ煎纺钬濓纻
Guido镄勫洖绛旀寚鍑轰简镙稿绩铡熷洜锛
鎺ㄥ煎纺涓寮濮嫔睘浜庘滃瓧闱㈤噺鏄剧ず锛坙iteral display锛夆濊繖涓姒傚康銆傝岀敓鎴愬櫒琛ㄨ揪寮忎笉鏄涓绉嶆樉绀猴纸display锛夈
Matt Boehm钖庢潵镓惧埌浜员im Peters鎻愬嚭钬灭敓鎴愬櫒琛ㄨ揪寮忊濅竴璇岖殑闾浠讹纴鍏朵腑璁茶堪浜嗕竴浜涚粏鑺傦细
璇诲畬闾浠跺悗锛屾垜瀵硅繖涓闂棰樼殑鐞呜В镟存繁浜嗐傞栧厛锛屼负浠涔堜细浣跨敤钬沧帹瀵煎纺钬濓纸comprehension锛変竴璇嶏纻Tim鍦ㄩ偖浠朵腑鎸囧嚭锛岃繖涓璇嶆潵婧愪簬闆嗗悎璁轰腑镄勬帹瀵煎叕鐞嗭纸Axiom of Comprehension锛夛纴瀹冩寚镄勬槸阃氲繃瀵瑰彟涓涓闆嗗悎镄勫厓绱犲簲鐢ㄦ煇涓璋撹瘝锛坧redicate锛屽嵆𨱒
浠讹级钥岀粍鎴愭柊镄勯泦钖堛傝繖鍜屽悜鍙︿竴涓搴忓垪涓镄勫厓绱犲簲鐢ㄦ煇涓𨱒′欢浠庤岀敓鎴愬垪琛ㄧ殑锅氭硶闱炲父绫讳技銆
EarlGrey锛氭垜涔嫔墠鐪嫔埌寰埚氱炕璇戜负钬滆В鏋悫濓纴鐪嫔埌杩欓噷镓嶈夊缑钬沧帹瀵煎纺钬濇墠鏄镟村嗳纭镄勮存硶銆
姝ｅ侴uido镓鎸囧嚭镄勶纴Python镄勮捐¤呭綋镞舵洿娉ㄩ吨镄勬槸鏄剧ず锛岃屼笉鏄𨱒′欢銆傗沧樉绀衡濅竴璇嶅湪杩欓噷镒忓懗镌浠ｇ爜镄勮娉旷湅涓婂拰瀹冨皢鍒涘缓镄勬暟鎹缁撴瀯寰埚儚銆傚垪琛ㄦ樉绀猴纸鍒楄〃鎺ㄥ煎纺锛夌湅涓婂幓镀忎竴涓鍒楄〃銆傚逛簬闆嗗悎鍜屽瓧鍏告樉绀烘潵璇达纴涔熸槸涓镙风殑阆撶悊銆备絾鏄鐢变簬娌℃湁鐢熸垚鍣
瀛楅溃閲忚娉曪纴锲犳ゆ牴链灏辨病链変竴涓鐢熸垚鍣ㄦ樉绀哄彲浠ヨ繘琛屽规瘆锛屼篃灏变笉瀛桦湪鐢熸垚鍣ㄦ樉绀轰简銆
鍦ㄨ捐¤ュ姛鑳界殑闾ｅ皝闾浠朵腑锛屸沧帹瀵煎纺钬濅竴娆℃槸钬沧樉绀衡濈殑钖屼箟璇嶏纴鐢变簬鐢熸垚鍣ㄦ病链夋樉绀猴纴镓浠ヤ篃涓嶅彲鑳芥湁鎺ㄥ煎纺銆
涓嶈繃Time鍦ㄤ粬镄勯偖浠朵腑涔熻村埌锛屾帹瀵煎纺镄勫囧欎箣澶勫湪浜庢浔浠躲傛帹瀵煎叕鐞嗙殑镙稿绩鍒欐槸璋撹銆备篃璁告槸锲犱负Python鎺ㄥ煎纺涓镄勬浔浠舵槸鍙阃夌殑锛屽叧娉ㄧ殑铹︾偣琚杞绉诲埌浜嗘樉绀烘柟闱銆
浣嗘槸鎴戣や负锛屾垜浠搴旇ュ彨瀹冧滑钬灭敓鎴愬櫒鎺ㄥ煎纺钬濄傛垜浠鍦ㄦ弿杩拌繖绫昏娉曟椂锛屽苟娌℃湁浣跨敤钬沧樉绀衡濅竴璇嶃傛垜浠娌℃湁鐞嗙敱灏嗏沧帹瀵煎纺钬濅笌钬沧樉绀衡濆拰瀛楅溃閲忚娉曡仈绯诲湪涓璧枫
鍒楄〃鎺ㄥ煎纺銆佸瓧鍏告帹瀵煎纺銆侀泦钖堟帹瀵煎纺鍜岀敓鎴愬櫒琛ㄨ揪寮忥纴杩椤洓涓琛ㄨ揪寮忓悇镊涔嬮棿链夌潃璁稿氱浉浼间箣澶勚傚傛灉灏嗗洓钥呬箣闂寸殑绫讳技镣规荤粨涓衡沧帹瀵煎纺钬濓纴灏嗘瀬澶у湴绠鍖栫浉鍏虫傚康銆傚畠浠涔嬮棿镄勭浉浼肩偣杩滃ぇ浜庝笉钖屼箣澶勶纴鎴戝缓璁澶у跺硅繖锲涗釜琛ㄨ揪寮忎娇鐢ㄥ悓镙风殑姒傚康

3. 如何更好地理解Python迭代器和生成器

Python这门语言中，生成器毫无疑问是最有用的特性之一。与此同时，也是使用的最不广泛的Python特
性之一。究其原因，主要是因为，在其他主流语言里面没有生成器的概念。正是由于生成器是一
个“新”的东西，所以，它一方面没有引起广大工程师的重视，另一方面，也增加了工程师的学习成本，
最终导致大家错过了Python中如此有用的一个特性。
我的这篇文章，希望通过简单易懂的方式，深入浅出地介绍Python的生成器，以改变“如此有用的特性却
使用极不广泛”的现象。本文的组织如下：在第1章，我们简单地介绍了Python中的迭代器协议；在本文
第2章，将会详细介绍生成器的概念和语法；在第3章，将会给出一个有用的例子，说明使用生成器的好
处；在本文最后，简单的讨论了使用生成器的注意事项。
1. 迭代器协议
由于生成器自动实现了迭代器协议，而迭代器协议对很多人来说，也是一个较为抽象的概念。所以，为了
更好的理解生成器，我们需要简单的回顾一下迭代器协议的概念。
1. 迭代器协议是指：对象需要提供next方法，它要么返回迭代中的下一项，要么就引起一个
StopIteration异常，以终止迭代
2. 可迭代对象就是：实现了迭代器协议的对象
3. 协议是一种约定，可迭代对象实现迭代器协议，Python的内置工具(如for循环，sum，min，max函
数等)使用迭代器协议访问对象。
举个例子：在所有语言中，我们都可以使用for循环来遍历数组，Python的list底层实现是一个数组，所
以，我们可以使用for循环来遍历list。如下所示：
>>> for n in [1, 2, 3, 4]:
... print n
但是，对Python稍微熟悉一点的朋友应该知道，Python的for循环不但可以用来遍历list，还可以用来遍历
文件对象，如下所示：
>>> with open(‘/etc/passwd’) as f: # 文件对象提供迭代器协议
... for line in f: # for循环使用迭代器协议访问文件
... print line
...
为什么在Python中，文件还可以使用for循环进行遍历呢？这是因为，在Python中，文件对象实现了迭代
器协议，for循环并不知道它遍历的是一个文件对象，它只管使用迭代器协议访问对象即可。正是由于
Python的文件对象实现了迭代器协议，我们才得以使用如此方便的方式访问文件，如下所示：
>>> f = open('/etc/passwd')
>>> dir(f)
['__class__', '__enter__', '__exit__', '__iter__', '__new__', 'writelines', '...'
2. 生成器
Python使用生成器对延迟操作提供了支持。所谓延迟操作，是指在需要的时候才产生结果，而不是立即产
生结果。这也是生成器的主要好处。
Python有两种不同的方式提供生成器：
2017/11/6 如何更好地理解Python迭代器和生成器？ - 知乎
https://www.hu.com/question/20829330 2/5
1. 生成器函数：常规函数定义，但是，使用yield语句而不是return语句返回结果。yield语句一次返回一
个结果，在每个结果中间，挂起函数的状态，以便下次重它离开的地方继续执行
2. 生成器表达式：类似于列表推导，但是，生成器返回按需产生结果的一个对象，而不是一次构建一个
结果列表
2.1 生成器函数
我们来看一个例子，使用生成器返回自然数的平方（注意返回的是多个值）：
def gensquares(N):
for i in range(N):
yield i ** 2
for item in gensquares(5):
print item,
使用普通函数：
def gensquares(N):
res = []
for i in range(N):
res.append(i*i)
return res
for item in gensquares(5):
print item,
可以看到，使用生成器函数代码量更少。
2.2 生成器表达式
使用列表推导，将会一次产生所有结果：
>>> squares = [x**2 for x in range(5)]
>>> squares
[0, 1, 4, 9, 16]
将列表推导的中括号，替换成圆括号，就是一个生成器表达式：
>>> squares = (x**2 for x in range(5))
>>> squares>>> next(squares)
0
>>> next(squares)
1
>>> next(squares)
4
>>> list(squares)
[9, 16]
Python不但使用迭代器协议，让for循环变得更加通用。大部分内置函数，也是使用迭代器协议访问对象
的。例如， sum函数是Python的内置函数，该函数使用迭代器协议访问对象，而生成器实现了迭代器协
2017/11/6 如何更好地理解Python迭代器和生成器？ - 知乎
https://www.hu.com/question/20829330 3/5
议，所以，我们可以直接这样计算一系列值的和：
>>> sum(x ** 2 for x in xrange(4))
而不用多此一举的先构造一个列表：
>>> sum([x ** 2 for x in xrange(4)])
2.3 再看生成器
前面已经对生成器有了感性的认识，我们以生成器函数为例，再来深入探讨一下Python的生成器：
1. 语法上和函数类似：生成器函数和常规函数几乎是一样的。它们都是使用def语句进行定义，差别在
于，生成器使用yield语句返回一个值，而常规函数使用return语句返回一个值
2. 自动实现迭代器协议：对于生成器，Python会自动实现迭代器协议，以便应用到迭代背景中（如for
循环，sum函数）。由于生成器自动实现了迭代器协议，所以，我们可以调用它的next方法，并且，
在没有值可以返回的时候，生成器自动产生StopIteration异常
3. 状态挂起：生成器使用yield语句返回一个值。yield语句挂起该生成器函数的状态，保留足够的信息，
以便之后从它离开的地方继续执行
3. 示例
我们再来看两个生成器的例子，以便大家更好的理解生成器的作用。
首先，生成器的好处是延迟计算，一次返回一个结果。也就是说，它不会一次生成所有的结果，这对于大
数据量处理，将会非常有用。
大家可以在自己电脑上试试下面两个表达式，并且观察内存占用情况。对于前一个表达式，我在自己的电
脑上进行测试，还没有看到最终结果电脑就已经卡死，对于后一个表达式，几乎没有什么内存占用。
sum([i for i in xrange(10000000000)])
sum(i for i in xrange(10000000000))
除了延迟计算，生成器还能有效提高代码可读性。例如，现在有一个需求，求一段文字中，每个单词出现
的位置。
不使用生成器的情况：
def index_words(text):
result = []
if text:
result.append(0)
for index, letter in enumerate(text, 1):
if letter == ' ':
result.append(index)
return result
使用生成器的情况：
2017/11/6 如何更好地理解Python迭代器和生成器？ - 知乎
https://www.hu.com/question/20829330 4/5
def index_words(text):
if text:
yield 0
for index, letter in enumerate(text, 1):
if letter == ' ':
yield index
这里，至少有两个充分的理由说明 ，使用生成器比不使用生成器代码更加清晰：
1. 使用生成器以后，代码行数更少。大家要记住，如果想把代码写的Pythonic，在保证代码可读性的前
提下，代码行数越少越好
2. 不使用生成器的时候，对于每次结果，我们首先看到的是result.append(index)，其次，才是index。
也就是说，我们每次看到的是一个列表的append操作，只是append的是我们想要的结果。使用生成
器的时候，直接yield index，少了列表append操作的干扰，我们一眼就能够看出，代码是要返回
index。
这个例子充分说明了，合理使用生成器，能够有效提高代码可读性。只要大家完全接受了生成器的概念，
理解了yield语句和return语句一样，也是返回一个值。那么，就能够理解为什么使用生成器比不使用生成
器要好，能够理解使用生成器真的可以让代码变得清晰易懂。
4. 使用生成器的注意事项
相信通过这篇文章，大家已经能够理解生成器的作用和好处。但是，还没有结束，使用生成器，也有一点
注意事项。
我们直接来看例子，假设文件中保存了每个省份的人口总数，现在，需要求每个省份的人口占全国总人口
的比例。显然，我们需要先求出全国的总人口，然后在遍历每个省份的人口，用每个省的人口数除以总人
口数，就得到了每个省份的人口占全国人口的比例。
如下所示：
def get_province_population(filename):
with open(filename) as f:
for line in f:
yield int(line)
gen = get_province_population('data.txt')
all_population = sum(gen)
#print all_population
for population in gen:
print population / all_population
执行上面这段代码，将不会有任何输出，这是因为，生成器只能遍历一次。在我们执行sum语句的时候，
就遍历了我们的生成器，当我们再次遍历我们的生成器的时候，将不会有任何记录。所以，上面的代码不
会有任何输出。
因此，生成器的唯一注意事项就是：生成器只能遍历一次。
5. 总结
2017/11/6 如何更好地理解Python迭代器和生成器？ - 知乎
https://www.hu.com/question/20829330 5/5
本文深入浅出地介绍了Python中，一个容易被大家忽略的重要特性，即Python的生成器。为了讲解生成
器，本文先介绍了迭代器协议，然后介绍了生成器函数和生成器表达式，并通过示例演示了生成器的优点
和注意事项。在实际工作中，充分利用Python生成器，不但能够减少内存使用，还能够提高代码可读性。
掌握生成器也是Python高手的标配。希望本文能够帮助大家理解Python的生成器