pythonifin太慢
㈠ python有什么缺点呢
1. - 运行速度慢，因为Python是解释型语言，是一种高级语言，代码会在执行的时候，一行一行的使用解释器翻译成底层代码，翻译成机器码，而这个过程非常耗时，所以他运行过程中，比很多语言的代码都慢了很多。
- 线程不能利用多CPU，这是Python最大的确定，GIL即全局解释器锁（Global Interpreter Lock），是计算机程序设计语言解释器用于同步线程的工具，使得任何时刻仅有一个线程在执行，Python的线程是操作系统的原生线程。在Linux上为pthread，在Windows上为Win thread，完全由操作系统调度线程的执行。一个python解释器进程内有一条主线程，以及多条用户程序的执行线程。即使在多核CPU平台上，由于GIL的存在，所以禁止多线程的并行执行。
Python的优缺点可以看看传智播客的社区，里面很多技术老师写的相关文章。并且有学习线路图适合小白学习，每个板块下面都有配套视频。
㈡ 提升Python运行速度的5个小技巧
pre{overflow-x: auto}Python 是世界上使用最广泛的编程语言之一。它是一种解释型高级通用编程语言，具有广泛的用途，几乎可以将其用于所有事物。其以简单的语法、优雅的代码和丰富的第三方库而闻名。python除了有很多优点外，但在速度上还有一个非常大的缺点。
虽然Python代码运行缓慢，但可以通过下面分享的5个小技巧提升Python运行速度！
首先，定义一个计时函数timeshow，通过简单的装饰，可以打印指定函数的运行时间。
这个函数在下面的例子中会被多次使用。
def timeshow(func): from time import time def newfunc(*arg, **kw): t1 = time() res = func(*arg, **kw) t2 = time() print(f"{func.__name__: >10} : {t2-t1:.6f} sec") return res return newfunc @timeshow def test_it(): print("hello pytip") test_it() 1. 选择合适的数据结构使用正确的数据结构对python脚本的运行时间有显着影响。Python 有四种内置的数据结构：
列表 : List
元组 : Tuple
集合 : Set
字典 : Dictionary
但是，大多数开发人员在所有情况下都使用列表。这是不正确的做法，应该根据任务使用合适数据结构。
运行下面的代码，可以看到元组执行简单检索操作的速度比列表快。其中dis模块反汇编了一个函数的字节码，这有利于查看列表和元组之间的区别。
import dis def a(): data = [1, 2, 3, 4, 5,6,7,8,9,10] x =data[5] return x def b(): data = (1, 2, 3, 4, 5,6,7,8,9,10) x =data[5] return x print("-----:使用列表的机器码:------") dis.dis(a) print("-----:使用元组的机器码:------") dis.dis(b)运行输出:
-----:使用列表的机器码:------
3 0 LOAD_CONST 1 (1)
2 LOAD_CONST 2 (2)
4 LOAD_CONST 3 (3)
6 LOAD_CONST 4 (4)
8 LOAD_CONST 5 (5)
10 LOAD_CONST 6 (6)
12 LOAD_CONST 7 (7)
14 LOAD_CONST 8 (8)
16 LOAD_CONST 9 (9)
18 LOAD_CONST 10 (10)
20 BUILD_LIST 10
22 STORE_FAST 0 (data)
4 24 LOAD_FAST 0 (data)
26 LOAD_CONST 5 (5)
28 BINARY_SUBSCR
30 STORE_FAST 1 (x)
5 32 LOAD_FAST 1 (x)
34 RETURN_VALUE
-----:使用元组的机器码:------
7 0 LOAD_CONST 1 ((1, 2, 3, 4, 5, 6, 7, 8, 9, 10))
2 STORE_FAST 0 (data)
8 4 LOAD_FAST 0 (data)
6 LOAD_CONST 2 (5)
8 BINARY_SUBSCR
10 STORE_FAST 1 (x)
9 12 LOAD_FAST 1 (x)
14 RETURN_VALUE
看下列表的机器码，冗长而多余！
2. 善用强大的内置函数和第三方库如果你正在使用python并且仍在自己编写一些通用函数(比如加法、减法)，那么是在侮辱python。 Python有大量的库和内置函数来帮助你不用编写这些函数。 如果研究下，那么你会惊奇地发现几乎90%的问题已经有第三方包或内置函数来解决。
可以通过访问官方文档查看所有内置函数。你也可以在wiki python上找到更多使用内置函数的场景。
比如，现在我们想合并列表中的所有单词为一个句子，比较法自己编写和调用库函数的区别:
# ❌ 正常人能想到的方法 @timeshow def f1(list): s ="" for substring in list: s += substring return s # ✅ pythonic 的方法 @timeshow def f2(list): s = "".join(list) return s l = ["I", "Love", "Python"] * 1000 # 为了看到差异，我们把这个列表放大了 f1(l) f2(l)运行输出:
f1 : 0.000227 sec
f2 : 0.000031 sec
3. 少用循环
用 列表推导式 代替循环
用 迭代器 代替循环
用 filter() 代替循环
减少循环次数，精确控制，不浪费CPU
## 返回n以内的可以被7整除的所有数字。 # ❌ 正常人能想到的方法: @timeshow def f_loop(n): L=[] for i in range(n): if i % 7 ==0: L.append(i) return L # ✅ 列表推导式 @timeshow def f_list(n): L = [i for i in range(n) if i % 7 == 0] return L # ✅ 迭代器 @timeshow def f_iter(n): L = (i for i in range(n) if i % 7 == 0) return L # ✅ 过滤器 @timeshow def f_filter(n): L = filter(lambda x: x % 7 == 0, range(n)) return L # ✅ 精确控制循环次数 @timeshow def f_mind(n): L = (i*7 for i in range(n//7)) return L n = 1_000_000 f_loop(n) f_list(n) f_iter(n) f_filter(n) f_mind(n)输出为:
f_loop : 0.083017 sec
f_list : 0.056110 sec
f_iter : 0.000015 sec
f_filter : 0.000003 sec
f_mind : 0.000002 sec
谁快谁慢，一眼便知！
filter 配合 lambda 大法就是屌！！！
4. 避免循环重复计算如果你有一个迭代器，必须用它的元素做一些耗时计算，比如匹配正则表达式。你应该将正则表达式模式定义在循环之外，因为最好只编译一次模式，而不是在循环的每次迭代中一次又一次地编译它。
只要有可能，就应该尝试在循环外进行尽可能多的运算，比如将函数计算分配给局部变量，然后在函数中使用它。
# ❌ 应改避免的方式： @timeshow def f_more(s): import re for i in s: m = re.search(r'a*[a-z]?c', i) # ✅ 更好的方式： @timeshow def f_less(s): import re regex = re.compile(r'a*[a-z]?c') for i in s: m = regex.search(i) s = ["abctestabc"] * 1_000 f_more(s) f_less(s)输出为:
f_more : 0.001068 sec
f_less : 0.000365 sec
内存占用是指程序运行时使用的内存量。为了让Python代码运行得更快，应该减少程序的内存使用量，即尽量减少变量或对象的数量。
Python 访问局部变量比全局变量更有效。在有必要之前，应该始终尝试忽略声明全局变量。一个在程序中定义过的全局变量会一直存在，直到整个程序编译完成，所以它一直占据着内存空间。另一方面，局部变量访问更快，且函数完成后即可回收。因此，使用多个局部变量比使用全局变量会更好。
# ❌ 应该避免的方式： message = "Line1 " message += "Line2 " message += "Line3 " # ✅ 更好的方式： l = ["Line1","Line2","Line3"] message = ' '.join(l) # ❌ 应该避免的方式： x = 5 y = 6 def add(): return x+y add() # ✅ 更好的方式： def add(): x = 5 y = 6 return x+y add()总结
本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注的更多内容!
㈢ pypy在什么情况下会比CPython慢很多
大量使用eval和exec的时候
经过测试，以下代码需要大量内存分配和动态执行，cPython的速度是PyPy的大约3倍(仅体现在读取文件上，cPython大约10秒，PyPy大约35秒)
# coding: utf-8
import sys, gc
from prettytable import PrettyTable
def ginput(statement):
'''
:param str statement:
:return:
'''
return raw_input(statement.decode('utf-8').encode('gbk')).decode('gbk').encode('utf-8')
def gprint(statement):
'''
:param str statement:
:return:
'''
print statement.decode('utf-8').encode('gbk')
def graise(errorinfo):
'''
:param str errorinfo:
:return:
'''
gprint(errorinfo)
ginput('回车退出')
sys.exit(1)
try:
f=open(u'线路路由表.txt','r')
except:
graise('文件 线路路由表.txt 不存在或打不开')
gprint('正在读取文件，请尽量留出1GB左右空闲内存')
readbuff=f.read()
if readbuff[-1]==' ': # 分片处理，否则600站以上怼上2G的内存，很容易爆掉，1000站怼4G内存也会爆
buffs=readbuff.split(' ')
x=[]
for buff in buffs:
if buff:
x.extend(eval(buff))
gc.collect()
gprint('已经读取%d座车站'%len(x))
else:
x=eval(readbuff) # type:list
gprint('文件读取成功')
f.close()
sNums={x[i][0]:i for i in range(len(x))}
noToName={station[0]:station[1] for station in x}
nameToNo={a:b for b,a in noToName.items()}
gc.collect()
def finder(start,end):
try:
try:
start=int(start)
except:
start=nameToNo[start]
assert noToName[start]
try:
end=int(end)
except:
end=nameToNo[end]
end=noToName[end]
except:
gprint('出发地或目的地在线路图中找不到')
return None
selection=x[sNums[start]]
selRoute=dict(selection[2])
selMap=selection[3]
try:
assert end in selMap
except:
gprint('脱网，出发站点和目的站点之间不可到达')
return None
prevNo=nameToNo[end]
routeMap=[]
while True:
prevName=noToName[prevNo]
routeMap.append((prevNo,noToName[prevNo],selRoute[prevNo])) # 表库不支持gprint
prevNo=selMap[prevName]
if prevNo==0:
break
routeMap.reverse()
gprint('最短路线方案(未必最省时间)：')
tb=PrettyTable([u'编号',u'站名',u'距离',u'换乘'], encoding='gbk')
tb.align[u'站名']='l'
tb.align[u'编号']='r'
tb.align[u'距离']='r'
tb.align[u'换乘']='l'
tb.padding_width=2
buff=0
times=0
for route in routeMap:
if buff!=route[0]//100:
buff=route[0]//100
if times!=0 and times!=len(routeMap)-1:
hc=u'%d号线'%buff
else:
hc=''
else:
hc=''
tb.add_row([route[0],route[1].decode('utf-8'),route[2],hc])
times=times+1
print(tb.get_string())
while True:
start=ginput('请输入您的出发地(车站名或车站编号)，退出请直接关闭程序 ')
end=ginput('请输入您的目的地(车站名或车站编号) ')
finder(start,end)
以上代码，其中打开的文件约30M，包括三行，每一行都是一个巨型列表
而PyPy快是很多情况下存在的，以下代码包含大量计算，PyPy则比cPython快7倍，PyPy执行约40多秒，cPython执行约300多秒
# coding: utf-8
import xlrd, xlwt, time
from sys import exit
from xlutils. import as xl
w=raw_input(u'请输入您文件所在的路径，例如 f:\线路信息.xls，当前目录则不用写路径，可以尝试不写后缀 '.encode('gbk')).decode('gbk')
start=time.time()
def gprint(statement):
print str(statement).decode('utf-8').encode('gbk')
if u'.' not in w:
w=w+'.xls'
assert w[-4:]==u'.xls', u'只支持xls结尾格式的文件'.encode('gbk')
try:
bk=xlrd.open_workbook(w)
except:
gprint('文件找不到')
exit(1)
st=bk.sheet_by_name(u'时刻表')
endcol=st.ncols
used=[ x for x in range(0,endcol,5) if u'快线' not in st.cell_value(0,x) ] # used columns
lineMap=[]
stNo=lambda station:station[0]
stName=lambda station:station[1]
stDist=lambda station:station[2]
stTrans=lambda station:station[3]
for x in used:
line=[ (int(st.cell_value(y,x)+0.5),st.cell_value(y,x+1).encode('utf-8'),int(st.cell_value(y,x+2)+0.5),[]) for y in range(4,64) if st.cell_value(y,x)!='' ]
lineMap.append(tuple(line))
for line in lineMap:
for station in line:
[ station[3].append(aStation[0]) for aLine in lineMap for aStation in aLine if aStation[1]==station[1] and aStation[0]!=station[0] ]
keyLineMap={line[0][0]//100:line for line in lineMap}
# can pass
feihuancheng=[ station[1] for line in lineMap for station in line if not station[3] ]
huanchengzhan={ station[1] for line in lineMap for station in line if station[3] }
gprint('发现换乘站%d座'%(len(huanchengzhan)))
gprint('线网共有车站%d座'%(len(huanchengzhan)+len(feihuancheng)))
# could pass
zongzhan=[ station[0] for line in lineMap for station in line ]
gprint('重复计入换乘站，一共有%d座车站'%(len(zongzhan)))
def findTransfer(station,distance):
# find all transfers connect to this station, append to a list together
li=[(station[0],distance)]
li.extend([(x,distance) for x in station[3]])
return li
def fetchNext(route,keyLineMap,walkedMap):
'''
:param list route:
:param dict keyLineMap:
:param dict walkedMap:
:return list:
'''
def adding(val,stopNo,dist):
if val==None:
return (stopNo,dist)
elif val[1]>dist:
return (stopNo,dist)
else:
return val
temp=None # single (stopNo, dist)
realPrvStNo=0
for prvStNo, prvDist in route:
line=keyLineMap[prvStNo//100]
order=prvStNo%100
if order<len(line):
nextStop=line[order]
if stName(nextStop) not in walkedMap:
buff=temp
temp=adding(temp,stNo(nextStop),prvDist+stDist(nextStop))
if buff!=temp:
found=nextStop
realPrvStNo=prvStNo
if order>1:
prevStop=line[order-2]
if stName(prevStop) not in walkedMap:
buff=temp
temp=adding(temp,stNo(prevStop),prvDist+stDist(line[order-1])) # 本站的距离栏就是上一站到本站的距离
if buff!=temp:
found=prevStop
realPrvStNo=prvStNo
if temp:
temp=(stName(found),findTransfer(found,temp[1]),realPrvStNo)
return temp
routes=[]
names={}
maxDist=0
walkMaps=[]
for line in lineMap:
gprint('当前处理到%d号线'%(line[0][0]//100))
for station in line:
stationName=stName(station)
if stationName in names.keys():
route=routes[names[stationName]][2]
walkedMap=walkMaps[names[stationName]]
else:
route=findTransfer(station,0)
walkedMap={stationName:0} # 结构为{站名:上一站编号}
while True:
nextStation=fetchNext(route,keyLineMap,walkedMap)
if nextStation:
walkedMap[nextStation[0]]=nextStation[2]
route.extend(nextStation[1])
else:
break
if route[-1][1]>maxDist:
maxDist=route[-1][1]
maxSt=stationName
routes.append((stNo(station),stationName,route))
walkMaps.append(walkedMap)
names[stationName]=len(routes)-1
gprint('全线网最大乘距：%d'%maxDist)
pj=bk.sheet_by_name(u'票价方案')
x=1
pjb=[]
while True:
price=pj.cell_value(x,1)
if price=='':
break
pjb.append((int(price+0.5),int(pj.cell_value(x,0)+0.5)*1000))
x=x+1
assert maxDist<=pjb[-1][1], u'线网最大站距超过最高票价范围'.encode('gbk')
bback=xl(bk) # type: xlwt.Workbook
pjSheets=[x.name for x in bk.sheets() if u'号线' in x.name]
bk.release_resources()
hrange=lambda x,y:range(x,y+1) # 仅用于rangeMap的计算
findLine=lambda lineNo,rangeDict: [k for k,v in rangeDict.items() if lineNo in v][0] # 给定int型线路号，返回线路所在的表名
rangeMap={x:eval("hrange("+str(x[:-2]).replace('-',',')+")") for x in pjSheets }
findRow=lambda stationNo: zongzhan.index(stationNo)+2 # 返回车站所在的行号(0开始)
def lookup(distance):
'''
:param int distance:
:return int pr: 由距离(米)算出票价
'''
for pr,di in pjb:
if distance<=di:
break
return pr
namebuffer=''
for routeNo, routeName, route in routes:
if routeNo%100==1:
line=routeNo//100
sname=findLine(line,rangeMap)
if namebuffer!=sname: # 换入了下一张表，重置列号
c=2
namebuffer=sname
sheet=bback.get_sheet(sname) # type: xlwt.Worksheet
for toStationNo, distance in route:
price=lookup(distance)
place=findRow(toStationNo)
sheet.write(place,c,label=price)
c=c+1
nw=w.replace(u'.xls',u'另存为.xls')
bback.save(nw)
end=time.time()
gprint('文件已经保存： %s'%nw.encode('utf-8'))
gprint('耗时%d秒'%int(end-start))
f=open(u'线路路由表.txt','w')
spl=(len(routes)-1)//400
if spl==0:
f.write(str([(routes[i][0],routes[i][1],routes[i][2],walkMaps[i]) for i in range(len(routes))]).decode('string-escape'))
f.flush()
else:
for ind in range(spl+1): # 居然忘了range不顾尾
segs=routes[400*ind:400*(ind+1)]
walkSegs=walkMaps[400*ind:400*(ind+1)]
gprint('正在写入片%d，本片区长%d'%(ind,len(segs)))
f.write(str([(segs[i][0],segs[i][1],segs[i][2],walkSegs[i]) for i in range(len(segs))]).decode('string-escape'))
f.write(' ')
f.flush()
f.close()
gprint('最近路线信息已保存至 线路路由表.txt，回车退出')
raw_input('')
㈣ python中从列表中用for循环删除(remove方法)停用词特别慢，有快一点的方法吗
循环删除，必须用循环语句，而循环语句就那么几个！！
㈤ Python3.4 使用if in 结构进行判断时出现异常结果
importrandom
classRoomTreasure:
deftake_it(self):
count=input("请输入你要拿走的数量：")
if'全'incountor'都'incount:
dead=Death().ways()
exit(1)
elifint(count)<=10:
print("恭喜你可以安全离开了")
exit(0)
classDeath:
methods=["被机枪杀死","被激光杀死","被毒气毒死","被炸死"]
defways(self):
a=getattr(Death(),'methods')
print("你%s了。"%a[random.randint(0,len(a)-1)])
RoomTreasure().take_it()
exit(1)
你再试试
㈥ 使用python同步mysql到redis由于数据较多，一条一条读出来写到redis太慢，有没有可以批量操作的。
MYSQL快速同步数据到Redis
举例场景：存储游戏玩家的任务数据，游戏服务器启动时将mysql中玩家的数据同步到redis中。
从MySQL中将数据导入到Redis的Hash结构中。当然，最直接的做法就是遍历MySQL数据，一条一条写入到Redis中。这样没什么错，但是速度会非常慢。如果能够想法使得MySQL的查询输出数据直接能够与Redis命令行的输入数据协议相吻合，可以节省很多消耗和缩短时间。
Mysql数据库名称为：GAME_DB, 表结构举例：
CREATE TABLE TABLE_MISSION (
playerId int(11) unsigned NOT NULL,
missionList varchar(255) NOT NULL,
PRIMARY KEY (playerId)
);
Redis中的数据结构使用哈希表：
键KEY为mission, 哈希域为mysql中对应的playerId, 哈希值为mysql中对应的missionList。 数据如下：
[root@iZ23zcsdouzZ ~]# redis-cli
127.0.0.1:6379> hget missions 36598
"{\"10001\":{\"status\":1,\"progress\":0},\"10002\":{\"status\":1,\"progress\":0},\"10003\":{\"status\":1,\"progress\":0},\"10004\":{\"status\":1,\"progress\":0}}"
快速同步方法：
新建一个后缀.sql文件：mysql2redis_mission.sql
内容如下：
SELECT CONCAT(
"*4\r\n",
'$', LENGTH(redis_cmd), '\r\n',
redis_cmd, '\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r\n',
'$', LENGTH(hkey), '\r\n',
hkey, '\r\n',
'$', LENGTH(hval), '\r\n',
hval, '\r'
)
FROM (
SELECT
'HSET' as redis_cmd,
'missions' AS redis_key,
playerId AS hkey,
missionList AS hval
FROM TABLE_MISSION
) AS t
创建shell脚本mysql2redis_mission.sh
内容：
mysql GAME_DB --skip-column-names --raw < mission.sql | redis-cli --pipe
Linux系统终端执行该shell脚本或者直接运行该系统命令，即可将mysql数据库GAME_DB的表TABLE_MISSION数据同步到redis中键missions中去。mysql2redis_mission.sql文件就是将mysql数据的输出数据格式和redis的输入数据格式协议相匹配，从而大大缩短了同步时间。
经过测试，同样一份数据通过单条取出修改数据格式同步写入到redis消耗的时间为5min, 使用上面的sql文件和shell命令，同步完数据仅耗时3s左右。
㈦ python if in 为啥会报错
看着像openpyxl。没用过，不过看着你可以换个方式。a3，那个值赋给一个变量，感觉最好string一下，if string(sheet['A3'].value) == '333' ；
如果想的是这个cell里面是333222这种，你可以用正则表达式搞一下，单纯的in后面应该是个可迭代的对象吧。这东西我就知道个皮毛
㈧ 请问大佬们，为什么我python运行程序特别慢啊，我这个程序怎么改一下可以运行的更快呢
您好，茫茫人海之中，能为君排忧解难实属朕的荣幸，在下拙见，若有错误，还望见谅！。展开全部
yxhtest7772017-07-18
关注
分享
697 2
python运行速度慢怎么办？6个Python性能优化技巧
Python是一门非常酷的语言，因为很少的Python代码可以在短时间内做很多事情，并且，Python很容易就能支持多任务和多重处理。
Python的批评者声称Python性能低效、执行缓慢，但实际上并非如此：尝试以下6个小技巧，可以加快Python应用程序。
关键代码可以依赖于扩展包
Python使许多编程任务变得简单，但是对于很关键的任务并不总是提供最好的性能。使用C、C++或者机器语言扩展包来执行关键任务能极大改善性能。这些包是依赖于平台的，也就是说，你必须使用特定的、与你使用的平台相关的包。简而言之,该解决方案提供了一些应用程序的可移植性,以换取性能,您可以获得只有通过直接向底层主机编程。
下面这些扩展包你可以考虑添加到你的个人扩展库中：
Cython
PyInlne
PyPy
Pyrex
这些包有不同的作用和执行方式。例如，Pyrex 让Python处理一些内存任务变得简单高效；PyInline可以直接让你在Python应用程序中使用C代码，虽然内联代码被单独编译，但是如果你能高效的利用C代码，它可以在同一个地方处理每一件事情。
使用关键字排序
有很多古老的Python代码在执行时将花费额外的时间去创建一个自定义的排序函数。最好的排序方式是使用关键字和默认的sort()方法。
优化循环
每一种编程语言都强调循环语句的优化，Python也是一样的。尽管你可以依赖于丰富的技术让循环运行的更快，然而，开发者经常忽略的一个方法是避免在循环内部使用点拼接字符串。
使用新版本
任何一个在线上搜索Python资料的人都会发现无数关于Python版本迁移的信息。通常，Python每一个版本都针对之前的一个版本做了优化和改进，以让Python运行的更快。限制因素是你喜欢的函数库是否也针对Python的新版本做了改进。
当你使用了新的函数库，获得了Python的新版本，你需要保证代码依然能够运行，检查应用，修正差异。然后，如果你仅仅是非常感谢您的耐心观看，如有帮助请采纳，祝生活愉快！谢谢！