shell脚本多线程
㈠ linux培训学的是什么内容
你说的是正规的Linux培训么，现在市场主流是Red Hat，我就拿RHCE培训来举个例子吧。 RHCE要培训三门课：Linux系统管理一、Linux系统管理二、Linux服务与安全。 系统管理一：主要是针对从未接触Linux的人事设计的，全是图形界面。 系统管理二：在学习了“系统管理一”的基础上进行命令行的学习，主要设计rpm软件包管理、文件系统管理、磁盘管理、逻辑卷管理等系统核心管理。 服务与安全：主要培训Linux上的主流企业级服务和Selinux安全。主要服务包括：Apache、Ftp、NFS、iSCSI存储、Samba等。 学习linux推荐你看看《linux就该这么学》，这本书技术实用，内容丰富充实。
本文介绍 MySQL 8.0 shell 子模块 Util 的两个导入特性 importTable/import_table(JS和python 版本的命名差异)、importJson/import_json的使用方法。
其中 import_table 是通过传统 MySQL 协议来通信，Import_json 是通过 X 插件协议来通信。MySQL 一直以来提供导入文件 SQL 命令 load data infile（单线程）以及对应的可执行文件 mysqlimport（多线程）。
比如我导入 100W 行示例数据到表 ytt.tl1，花了 24 秒。这个已经是 MySQL 默认导入来的最快的。分析那我们现在看下 mysqlimport 工具的升级版，mysqlshell 的 util 工具集。
使用这两个工具之前，必须得临时开启 local_infile 选项。1. import_table建立 3306 端口的新连接我这里切换为 python 模式清空掉示例表 Ytt.tl1import_table 有两个参数，第一个参数定义导入文件的路径，第二个定义相关选项，比如导入的格式，并发的数量等。定义文件路径（参数1）定义选项（参数2）执行导入：只花了不到 17 秒，比传统 mysqlimport 快了不少。
我们上面指定了显式指定了字段分隔符，那有没有已经定义好的组合格式呢？ 答案是有的，选项 dialect 可以指定以下格式：csv，tsv，json，csv-unix那么上面的导入，我们可以更简单，改下变量 y_options1 的定义导入时间差不多。这里要说明下，dialect 选项的优先级比较低，比如添加了'linesTerminatedBy':' '， 则覆盖他自己的' '。
选项 diaelect 还有一个可选值为 json，可以直接把 json 结果导入到文档表里。比如我新建一张表 tl1_json重新定义文件以及导入选项。导入 JSON 数据速度也还可以，不到 24 秒。那导入 json 数据，就必须得提到以 X 插件协议通信的工具 import_json了。2. imort_json我们切换到 mysqlx 端口import_json 参数和 Import_table 参数类似，这里我改下选项我在手册上没有看到多线程的选项，所以单线程跑 35 秒慢了些。查看刚刚导入的数据import_json 不仅仅可以导入 Json 数据，更重要的是可以在 BSON 和 JSON 之间平滑的转换，有兴趣的同学可以去 TRY 下。
㈢ java开发工程师必须要学的技术有哪些
学习内容：
初级部分
Java 程序设计基础，包括 J2sdk基础、Java面向对象基础、Java API使用、数据结构及算法基础、Java AWT图形界面程序开发；
J2SE平台Java程序设计，包括Swing图形程序设计, Socket网络应用程序设计,对象序列化，Java 常用数据结构，Applet，流和文件，多线程程序设计；
Java桌面系统项目开发，4~5人组成一个项目组，项目大小为（15人*工作日）；
Linux的基本操作，Linux下的Java程序开发，Linux系统的简单管理；
Oracle数据库，包括SQL/PLSQL;数据库和数据库设计；简单掌握ORACLE9i 数据库的管理；[2]
中级部分
Java Web应用编程，包括 Java Oracle 编程，即JDBC；JavaWeb编程，包括JSP、Servlet,JavaBean；Java应用编程，包括Weblogic、Websphere、Tomcat；以及利用Jbuilder开发Java程序；
MVC与Struts，学习业界通用的MVC设计模式和Struts架构；
Java B/S商务项目开发，4~5人一个项目组，项目大小为（25人*工作日左右）
高级部分
J2ME程序设计，包括J2EE程序、J2ME；Java高级程序设计（J2EE），包括J2EE体系结构和J2EE技术、EJB；Weblogic使用、 JBuilder开发；
Java和XML，包括Java Web Service，JavaXML, 业界主流XML解析器程序设计；
软件企业规范和软件工程，包括UML系统建模型和设计(Rational Rose 200x)软件工程和业界开发规范；CVS版本控制、Java Code书写规范；
J2EE商务应用系统项目开发，4~5人一个项目组，项目大小为（25人*工作日左右）。
………………………………………………………………………………………………
看你问的问题，应该是对java很感兴趣，其实你可以自学java。关于如何学习java，我刚才看到一篇很不错的文章，是一个农民工介绍自己如何自学java，并找到Java的工作，里面介绍了他的学习方法和学习过程，希望对你有帮助。
我是一名地地道道的农民工，生活在经济落后的农村，有一个哥哥和一个弟弟，父母都是地道的农民，日出而作，日落而息，我从小到大学习一直很好，从小学到高一都，成绩在全级一直名列前茅，这样我也顺利了考上省的重点高中，然而，每个学期开学是家里最为难的时候，每次交学费都让父母发愁许久，家里为了给我筹钱读书，都借了不少钱，才让我读上高中。我知道我读到高中家里已经欠了好多债，为了减轻家里的负担，我选择了退学。
2009年我高一退学，为了给家里还债，干过建筑工地的小工，搞过塑料制品加工，送水工等等。很工资都很低，一个月也就1000多，加上加班费一个月能拿2000多一点，我每个月都向家里寄回800-1000元，到了2011年末，一次偶然的机会我接触了Java，听说Java的前景挺不错，工资相对于我一个农民工来说简直是天文数字，于是我在新华书店买了几本Java的书，尽管白天辛苦工作，晚上回来还是坚持看书，但有于基础太差很多都很不明白，但还是坚持看，一有看1-2个小时Java的书，看着看着许多基础都慢慢的学会了，但那些比较难的还是看不懂，后来还买了有些关于框架的书，还是看不懂，这样断断续续的持续了半年多，觉得自己Java的基础都差不多懂了，但框架还是看不懂，还有最缺的项目经验，看了很多招聘Java程序员的简介都要项目经验，相对我一个农民工来连框架都弄不明白，想找一份Java工作对我来说简直是奢侈。我只想学Java，并不敢想以后能从事Java的工作。
有一次，在网络上看到一篇让我很鼓舞的文章，是一个Java高手介绍在没有基础的朋友怎么自学入门Java，文章写的很好，包含了如何学习，该怎么学习，他提到一个方法就是看视频，因为看书实在太枯燥和费解的，不少是我们也看不懂，这点我真的很认同，我自己看书都看了很久才学会基础。曾经有想过参加培训，但是上万元的培训费让我望而却步，我工资这么低，每个月还有向家里汇钱，加上城市消费比较高，虽然每个月只有几百剩下，但是相对于上万万学费和四个月的吃住费用逼我连想不敢想。 于是我决定看视频，我就去搜索Java的视频，虽然我零星的找到一些Java的视频，但是都不系统。最重要连项目都没有。后来我找到一份很好的视频，是IT学习联盟这个网站一套视频叫<<零基础Java就业班>>的教程还不错，很完整。还赠送11个顶级企业项目。价格很合理，于是我买下来。
于是开始了我的自学Java的路，收到光盘后，我就开始学习，刚开始学习还不错，是从零基础教起，老师幽默风趣而又轻松的课堂教课，使我发现原来学习JAVA并不是一件很难的事情。因为我本来基础还不错，前面的基础看一篇我就过去了，到了框架，我觉不又不是很难，可能老师太牛了，他能把复杂的问题讲的比较通俗易懂，有些难点的地方我还是连续看了五六次，把他弄懂。每天下午6点下班后，吃了饭，马上跑回家。看视频，买了几本笔记本。当时，为了编程还花几百元了台二手的台式电脑，配置一般，但编程是足够的。一边看视频，一边记笔记，把重点都记下来，还一边跟着老师敲代码，为了能尽早学会Java。每天都坚持学5-6个小时。经常学到晚上一点多才睡觉。星期六，日不用上班，每天7点多起床，学到晚上11,12点。那段时间特别辛苦，特别累。在学习Java的三个多月里，除了吃饭睡觉工作，剩余的时间都在学习，因为我知道自己的计算机基础不是很好，也没有学过什么计算机，只是学了些Java基础，相对于那些科班的人来说我要比他们付出更多的努力。我只能咬紧牙关，坚持下去，我不能放弃，我要完成我的梦想，我要让我的家人过上好日子。终于三个多月后我把Java教程里的内容和项目都学完了，在学项目的过程中我发现项目特别重要，他能把你学过的知识全部联系起来，能更好的理解你所学的知识。还有学习过程中，动手很重要，要经常跟着老师动手敲，动手吧，跟着做，一行一行的跟着敲，再试着加一些自己的功能，按照自己的思路敲一些代码，收获远比干听大的多。 如果遇到暂时对于一些思路不能理解的，动手写，先写代码，慢慢你就会懂了。这套视频还赠送了11个顶级企业项目，对于我没有任何经验的人来说，这个太重要了，还有在学习项目是提升能力最快的方法。项目能把所有的知识点全都连到一起了，不再是分散的，而是形成一个整体了。那种感觉是仅仅深入钻研知识点而不写真实项目的人所不能体会的。一个项目就是一根绳子可以把大片的知识串到一起。 就这样，我用了两个月也把项目给学完了。其实学完教程差不错就达到就业水平，但是我可能觉得自己学历低还是把那11个顶级企业项目才去找工作。
接着我就到51job疯狂的投简历，因为我的学历问题，初中毕业，说真的，大公司没有人会要我。所以我头的都是民营的小公司，我希望自己的努力有所回报。没有想过几天后，就有面试了，但是第一次面试我失败了，虽然我自认为笔试很好，因为我之前做了准备，但是他们的要求比价严格，需要有一年的项目经验，所以我没有被选中。 后来陆续面试了几加公司，终于功夫不负有心人，我终于面试上了一家民营的企业。公司规模比较小，我的职务是Java程序员。我想我比较幸运，经理看中我的努力，就决定吕勇我，开的工资是3500一个月，虽然我知道在北京3500只能过温饱的生化，但是我想我足够了，比起以前的工资好了些，以后可以多寄些钱回家。我想只要我继续努力。我工资一定会翻倍的。 把本文写出来，希望能让和我一样的没有基础的朋友有信心，其实我们没有自卑，我们不比别人笨，只有我们肯努力，我们一样会成功。
㈣ 在Linux系统中使用Shell实现多线程运行任务（多任务并发执行） 2022-05-30
最近，有一批任务需要把两批的fastq合并到一起并压缩成一个fastq文件才能继续往下做，由于存储空间有限又不能直接全部跑上，只能按样本逐个分批跑。众所周知，一般fastq是成对存在的，所需要对read1和read2分别合并一次，然而这次任务的fastq文件比较大，合并然后压缩一次需要1天左右，那对于一组fastq就要2-3天，这也太耗时间了，所以我在想能不能read1和read2 同时跑上，这就可以节省一半的时间了。
平时也能遇到很多类似的任务，特别是在进程数有限的情况下，如果这些小任务单独占用一个进程，而任务很多就很耗时间，如果能在一个进程下实现多个线程并行执行，就能大大提高运行效率。关于进程和线程的知识可以参考知乎的这篇文章【 Shell“ 多线程”，提高工作效率 】，整理的也比较有条理，能比较容易读懂。
当然，某些博主也写过类似的文章，例如这篇【 shell后台限制多并发控制后台任务强度进行文件拷贝 】但是实在是太高深莫测了，看不懂，一时半会儿也学不会。本文将示例Shell实现多线程的简单版本，其实不用太复杂。
其实只需要两个步骤， 第一步是给需要并行运行的命令行在结尾加上"&"，代表放到后台运行，第二步是在在所有并行任务的后面加上一句“wait”，意思是等所有通过“&”放到后台运行的任务跑完后再继续执行后面的任务 ，这些就能实现所有带有“&”的行并行执行了。
看完脚本是不是觉得很简单？
上面的脚本适合并行任务少的，可以手动加&和wait，但是如果有几十个甚至上百个的小任务就比较麻烦了。但不用担心，可以写个循环，批量运行。
循环的结果也是跟上面类似的，只是多了个循环结构。
如果需要执行的任务只有一行，可以把大括号去掉。
关于for和while的循环可以查看之前的文章【 Shell常用循环示例（for和while批量处理）2022-05-25 】
需要注意的是多线程并行还是需要有限制的，毕竟都是在一个进程里运行，如果线程太多了会卡顿的，建议控制在100个以内，当然还有毕竟高级和复杂的方法可以实现限制。因为上面的脚本已经够我用了，没继续往下学，以后可以再补充。