云服务器执行Python
‘壹’ 如何在云端服务器运行Jupyter Notebook
垫场演出:如何在ipython Notebook里运行R?(一行命令搞定版)
从去年开始,我抛弃了mathmatica,eviews,matlab之类的商业统计和数学软件,开始拥抱开源数据分析。这一方面是因为工作需要,想掌握一门更通用的编程语言,一方面也因为和所有中国的分析师一样,我用的是盗版的eviews和matlab,因此是完全没有客户支持。为了解决日常问题而花的研究文档和stackoverflow上的工作量,并不比用开源软件更少。而开源的好处是,实在查不到解决方案了,至少我还可以去看源代码,虽然看不看得懂可以再讨论,但 I‘d like to have the option。
大家都知道开源数据分析的两大利器,IPython 和 R。一般来说,IPython从Python发展而来,更倾向于科学计算。互联网数据分析更喜欢用。而R是统计学家发展出的一门语言,在金融、经济和社会科学领域应用更广泛。我更喜欢R的数据解构和与数学相关的syntax,在读完R的入门教程之后,很多时候我都不需要去查文档,猜都能猜到我想用的一些函数名称(lag(),diff())。另一方面,我也喜欢Ipython Notebook的交互方式,在富文本的展示效果和使用体验上,R markdown简直就是个不成熟的玩具,更何况Python还是个更成熟的通用编程语言,除了数据以外,几乎可以和这个世界的一切协议进行通信。之前,我一直是在用Rstudio调试R代码,用Anaconda的IPython Notebook或者spyder调试Python代码,有必要的话再通过Rpy2之类的接口综合起来。
但是8月底,收到了Anaconda的一封邮件:Ipython Notebook升级到4.0,改名Jupyter。而且,可以开始用conda管理R的程序包了,Anaconda正式支持R!下载安装Anaconda,然后一条命令:
conda create -n my-r-env -c r r-essentials
就可以创建R的虚拟环境,安装由Anaconda维护的R发行版本r-essentials 然后在ipython Notebook里面用R的语法调试、运行R程序!Windows,linux,OS X全都可用!how cool is that!再见啦,rpy2。
正场:如何在云端运行Jupyter Notebook?
成功在ipython里面创建了R的环境之后,我又想尝试之前的一个想法了,部署一个云端的计算服务器。传统行业还没有进入大数据时代,数据量相对较小,绝大部分运算任务都是在我的笔记本上解决。但因为开始用Python了,也开始自己写爬虫、甚至想做自己的云端数据可视化方案(否则怎么向非码农的领导展示花了这么多时间的研究成果?代码?)。当然,rstudio拥有rstudio server版本,也可以在云端运行。但我觉得ipython的界面是一个更漂亮的前端页面,支持markdown功能,可以写入很多注释文档,以便非码农使用。另一方面,ipython支持bokeh,一个html5的数据可视化方案。
google了一阵之后发现,目前网上所有在云端安装ipython notebook的方案都是基于ipython 2.x的。而在ipython3.0之后,原有的配置方法已经不可用,只好自己去研究文档。经过几个小时的试错,终于在云端开始跑起了。
以下是主要步骤,前提是,拥有一个虚拟机,并且有ssh账号登陆。没有的同学可以自己在阿里云之类的服务商处申请,个人推荐”1元免费试用“1个月的微软云。一般这些主机服务商都会提供一个基本的教程,因此从设置主机直到创建账号,ssh登陆都应该不是什么问题。
接下来,下载miniconda,一个科学计算环境管理软件,Anaconda的最小发型版本(假设运行的是64位Linux 虚拟机):
wget "https://repo.continuum.io/miniconda/Miniconda-latest-Linux-x86_64.sh"
然后安装:
sudo bash Miniconda-latest-Linux-x86_64.sh
然后通过miniconda的环境管理软件,conda安装必要被ipython和ipython-notebook.
conda install ipython
conda install ipython-notebook
接下来,我们需要创建一个名为nbserver的配置。
ipython profile create nbserver
这将创建一个文件夹,其中包含一些原始的配置文件。我们跳转到这个文件夹进行一些配置
cd ~/.ipython/profile_nbserver/
由于ipython Notebook要求https连接,因此我们需要创建一个ssl证书。
openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
命令执行后根据提示输入信息就好,当然,这个证书并未获得认证,因此用chrome之类的浏览器访问的时候会得到一些错误信息,这个问题我们一会儿说。接下来我们创建一个密文的密码。
python -c "import IPython;print IPython.lib.passwd()"
运行之后进入一个创建密码hash值的小程序,根据提示输入你想用的安全口令:
Enter password:
Verify password:
sha1:b86e933199ad:a02e9592e59723da722.. #这是我的密码的hash值,后段被删除,你的密码得到的结果应该不同
然后开始编辑配置文件,通过vi编辑文件的命令如下:
vi ipython_notebook_config.py
这个文件可能不存在,那么通过vi创建一个,配置文件的内容如下:
c = get_config()
# 所有matplotlib的图像都通过iline的方式显示
c.IPKernelApp.pylab = 'inline'
# 这一行指向我们刚刚创建的ssl证书
c.NotebookApp.certfile = u'/home/azureuser/.ipython/profile_nbserver/mycert.pem'
# 给出刚刚创建的密码的哈希值
c.NotebookApp.password = u'sha1:b86e933199ad:a02e9592e5 etc... '
c.NotebookApp.ip = '*'
# 给出运行的端口,ipython默认为8888
c.NotebookApp.port = 8888
# 禁止在运行ipython的同时弹出浏览器
c.NotebookApp.open_browser = False
编辑完成以后按两次shift+z 保存退出
配置完毕以后就可以运行ipython Notebook的服务端了:
jupyter notebook --config=/home/azureuser/.ipython/profile_nbserver/ipython_notebook_config.py #给出你刚才创建的nbserver路径,这里为微软azure云默认的情况
当然,微软云还需要配置一下服务器端的endpoint,将云主机的https端口(443)指向内部的8888端口。
在你的浏览器地址栏输入:
https://www.youappdomain.com
这时候会遇到https提示根证书并非认证证书,不用管这个提示继续进入,voila,你的ipython Notebook server架好啦!
输入你刚才创建的密码,就可以开始像在本地一样使用了。
附注:这是我的第一篇技术博客,之前遇到各种技术问题就在网上搜,stackoverflow、quora和知乎的热心人们分享的技术经验都给了我很大的帮助。因为几乎从来没遇到过别人没有解决过的问题,一直没想到要写技术分享的博客,直到这次配置Jupyter Notebook。这好像是中英文世界里第一个在云端配置Jupyter Notebook 4.0的教程,同时也是第一个在中文世界里传播r-essential这个好消息的博客文章。 let me know what you think.
python环境在小鸟云云服务器装好后,就有一个IDLE工具,你找一下安装目录,自带的编辑器,在任意目录新建一个 aa.py 文件,用记事本和IDLE工具都行,输入print("Hello World"),如果你使用的是IDLE,直接按F5,就能查看结果,如果用记事本,打开CMD,进入这个目录,输入命令python aa.py就出来结果了。
‘叁’ python爬虫 如何自己用云服务器上搭建代理服务器 并使用requests测试代理
1、简介
使用同一个ip频繁爬取一个网站,久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站
可以使用http://yum.iqianyue.com.com/proxy中找到很多服务器代理地址
2、应用
# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
porxy = request.ProxyHandler({'http':porxy_addr})
opener = request.build_opener(porxy, request.ProxyHandler)
request.install_opener(opener)
data = request.urlopen(url).read().decode('utf-8')
return data
data = use_porxy("114.115.182.59:128","http://www..com")
print(len(data))
‘肆’ 在云服务器ecs上运行python socket模块的服务器端代码,用自己的笔记本运
可以直接安装最新版的python,里面自带pip。
然后用pip安装virtualenv,用virtualenv做环境分离出python3.4。这一步往上很多教程,非常简单,一搜就能搜到。
再在你分离出的环境里用pip安装项目用到的依赖。
最后,你需要把代码上传,并且运行。
‘伍’ 上传到云服务器的文件怎么读取(Python)
ssh 连接到服务器,cd到文件所在路径,cat该文件
‘陆’ 新浪云PythonSAE服务器如何配置
不一样的程序可能会有不同的安装要求,具体要看你是什么程序的,我是用的小鸟云服务器。不懂的可以问下他们客服
‘柒’ 有没有运行python的服务器
repl可以
另外如果你是学生 申请阿里或者腾讯的云服务器很便宜,一个月几块钱
‘捌’ python程序怎么部署到云服务器
你需要登录云服务器管理控制台,记录被我打马赛克位置的公网ip。
登录服务器
windows推荐下putty进行连接远程服务器,linux和macos不需要那么麻烦,ssl就行了。
putty
在下图的host name中输入你的公网IP,点击open。
putty界面
输入密码,看不见输入不要慌,linux就是这样保护安全的。
Paste_Image.png
登录成功界面见下图,然后想怎么操作就怎么操作了。
登陆成功界面
运行我的python文件
推荐FileZilla进行文件传输(不具体说明了),我上传了我的flask网站项目
我的项目
记住服务器同时有Python2和Python3,
python
运行的时候记得使用合适的版本,我用的是虚拟环境(自行网络如何创建虚拟环境)
在运行python之前先安装一个screen,他可以将一个程序在后台运行
sudo apt-get install screen
运行python文件,成功后按下ctrl+A和ctrl+D可以隐藏。隐藏后可以输入screen -r 恢复。
运行成功
‘玖’ python socket如何连接到华为云服务器
这篇文章主要介绍了python使用socket连接远程服务器的方法,涉及Python中socket通信的基本技巧,具有一定参考借鉴价值,需要的朋友可以参考下
本文实例讲述了python使用socket连接远程服务器的方法。分享给大家供大家参考。具体如下:
import socket
print "Creating socket...",
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
print "done."
print "Looking up port number...",
port = socket.getservbyname('http', 'tcp')
print "done."
print "Connecting to remote host on port %d..." % port,
s.connect(("www.jb51.net", port))
print "done."
‘拾’ python如何使远端的服务器执行指令
你可以使用python的pexcpct包通过ssh调用远程服务器指令:
import pxssh
import getpass
try:
s = pxssh.pxssh()
hostname = raw_input('hostname: ')
username = raw_input('username: ')
password = getpass.getpass('password: ')
s.login (hostname, username, password)
s.sendline ('uptime') # run a command
s.prompt() # match the prompt
print s.before # print everything before the propt.
s.sendline ('ls -l')
s.prompt()
print s.before
s.sendline ('df')
s.prompt()
print s.before
s.logout()
except pxssh.ExceptionPxssh, e:
print "pxssh failed on login."
print str(e)
其他方法使用可以参考:http://www.ibm.com/developerworks/cn/linux/l-cn-pexpect1/
如果解决了您的问题请采纳!
如果未解决请继续追问