部署脚本
1、Spark脚本提交/运行/部署
1.1 spark-shell(交互窗口模式)
运行Spark-shell需要指向申请资源的standalone spark集群信息,其参数为MASTER,还可以指定executor及driver的内存大小。
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark://192.168.180.216:7077
spark-shell启动完后,可以在交互窗口中输入Scala命令,进行操作,其中spark-shell已经默认生成sc对象,可以用:
val user_rdd1 = sc.textFile(inputpath, 10)
读取数据资源等。
1.2 spark-shell(脚本运行模式)
上面方法需要在交互窗口中一条一条的输入scala程序;将scala程序保存在test.scala文件中,可以通过以下命令一次运行该文件中的程序代码:
sudo spark-shell --executor-memory 5g --driver-memory1g --master spark//192.168.180.216:7077 < test.scala
运行后会自动进入spark-shell交互窗口并且运行test.scala中的程序,运行完成后,会自动退出spark-shell。
如果程序退出终端后,Linux终端失效,可以试试:stty echo 命令
1.3 spark-submit (程序部署)
Spark提供了一个容易上手的应用程序部署工具bin/spark-submit,可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。可以指定集群资源master,executor/ driver的内存资源等。
sudo spark-submit --masterspark://192.168.180.216:7077 --executor-memory 5g --class mypackage.test workcount.jar hdfs://192.168.180.79:9000/user/input.txt
workcount .scala 代码打包workcount.jar,并将文件需要上传到spark的安装目录下面;
hdfs//192.168.180.79:9000/user/input.txt为输入参数;
⑵ Weblogic如何使用脚本部署一个java web应用
java -cp ${WLS_HOME}/wlserver_10.3/server/lib/weblogic.jar: weblogic.Deployer -adminurl t3://${WLSIP}:${PORT} -user ${WLS_USER} -password ${WLS_PASS} -deploy -name ${dep} ${DEST_DIR}/${dep}
⑶ 如何通过写脚本,将开发环境内容部署到生产环境中
具体如何更新代码,其实跟具体的语言有一些关系。比如 java 有标准的 jar ,c/c++ 等可以编译成可执行文件再部署,Python / PHP 这类的动态语言就比较麻烦。
如果你是静态语言,最好是编译好以后直接打成系统包( deb, rpm 等等),然后通过包管理软件或者直接 来发布。如果是动态语言,那就继续往下看。
配置管理
develop 和 proction 代码是一样的,最大的区别是运行环境, 这个区别通常要通过一个配置文件来区分。所以你的应用应该在不同针对不同的环境有不同的配置文件。然后通过一个环境变量或者符号链接等等方式去指定你的配置文件。
⑷ 怎么写一个软件发布部署的shell脚本
如果你的软件都是命令行自动安装的话你可以通过shell脚本批量安装把安装软件的命令写进去,用一个for循环就可以了
⑸ 如何快速实现应用批量部署
如果你的软件都是命令行自动安装的话
你可以通过shell脚本批量安装
把安装软件的命令写进去,用一个for循环就可以了
⑹ 怎么部署shell环境
采用shell脚本完成
具体的流程
1、系统设置,关闭防火墙、设置主机名之类的
2、提取公共的部分,例如JDK、多台服务器之间的ssh访问
3、服务的安装,包括解压、修改配置文件、添加开机自启、服务启动
4、服务的卸载(文件目录、数据文件、启动项)、重复安装
5、状态监控
Shell脚本
关闭防火墙
⑺ 如何用脚本自动化部署xml文件
仅仅需要按下按钮
最近,我的岳父向我展示了他的T系列福特,我发现自己开始着迷于他坚持练习的启动汽车的方式。首先调整火花塞,打开汽油活塞,像主气缸中加入一些汽油,挂空挡,拉起手刹,之后在汽车前面摇动发动机点火。这辆车就又可以继续行驶了。
在看到我的岳父需要扳动变速箱并脚踩踏板才能保持汽车行驶的时候,我对于自己的汽车的简单进入方式和一键启动有了新的认识。
而对于规模不断增长、相当复杂的物理和虚拟数据中心,不论是本地的还是远程的,你都不能依靠某个人来记住如何启动T系列福特,而是需要通过执行重复的任务来保证其正常运行。
自动化可以帮助解决下面的一系列问题:
? 重复。如果需要多次执行同一个任务,并且需要保持可靠性和一致性,就需要对任务进行自动化和计划执行了。
? 人为失误。避免人为失误,特别是在危机处理过程中,对于大规模环境的成功运营是至关重要的。即便是一个好的管理员,面对关键业务中断的巨大压力,也可能犯下错误使得情况变得更加糟糕。
? 文档问题。 自动化对于特定的步骤和预期的、可审计的结果都提供了清晰的文档。需要确保你的IT部门已经制定了灾难恢复文档,并且已经已经实现了自动化。
自动化面临新的挑战
当然,自动化不能神奇地解决所有IT问题。一个良好的自动化策略需要理解哪些地方怎样使用恰当的工具,并且在最大程度上发挥这些工具的作用。
可以使用不同的方式来实现自动化。让我们从可以提供图形用户界面(GUI)的工具开始,它们可以让IT管理员重复执行任务,并且实现对任务的大规模管理。
Windows Server
2012中的图形化服务器管理器和系统中心虚拟机管理器(SCVMM)等这些工具提供了一些自动化和扩展特性,比如向多个服务器部署角色,或者同时管理多
台虚拟机,但是不要错误地认为这是一种灵活的自动化环境。没有一种GUI能够理解你的特殊业务需求。
为了实现能够业务部门所有需求的灵活性,需要一个由向导和有限的按钮组成的、能够顺利执行的工具。最好的自动化策略应该提供一个对所有可能性和控制权限都开放的环境——而这也意味着可能导致彻底的失败。并没有一种简易的、使用于所有环境的自动化方式。
高效的自动化工具都是十分复杂的,需要IT专家在培训和特定技术领域进行大量投入。学习自动化技能能够促进职业发展、增加跨平台的潜力和为公司盈利。
除此之外,IT部门必须和业务部门协同合作,来为自动化制定一个有价值的方案。关于这一点,IT专家和CIO都应该阅读由Gene
Kim、Kevin Behr和George Spafford共同编写的The Phoenix
Project。这本书介绍了IT部门应该如何成为业务的一部分,而不是现在的敌对关系。
⑻ 求助,MDT 2013部署完操作系统后,如何执行命令行命令或脚本
察看一下脚本的运行环境:以哪个用户身份运行的,运行路径是否满足要求 最后多看看/var/log/下的日志,一般就能找到答案了
⑼ JS脚本在本地可用,部署到服务器就不行,求解决
var trim_Version = version[1].replace(/[ ]/g, "");这句话错了