shell腳本多線程
㈠ linux培訓學的是什麼內容
你說的是正規的Linux培訓么，現在市場主流是Red Hat，我就拿RHCE培訓來舉個例子吧。 RHCE要培訓三門課：Linux系統管理一、Linux系統管理二、Linux服務與安全。 系統管理一：主要是針對從未接觸Linux的人事設計的，全是圖形界面。 系統管理二：在學習了「系統管理一」的基礎上進行命令行的學習，主要設計rpm軟體包管理、文件系統管理、磁碟管理、邏輯卷管理等系統核心管理。 服務與安全：主要培訓Linux上的主流企業級服務和Selinux安全。主要服務包括：Apache、Ftp、NFS、iSCSI存儲、Samba等。 學習linux推薦你看看《linux就該這么學》，這本書技術實用，內容豐富充實。
本文介紹 MySQL 8.0 shell 子模塊 Util 的兩個導入特性 importTable/import_table(JS和python 版本的命名差異)、importJson/import_json的使用方法。
其中 import_table 是通過傳統 MySQL 協議來通信，Import_json 是通過 X 插件協議來通信。MySQL 一直以來提供導入文件 SQL 命令 load data infile（單線程）以及對應的可執行文件 mysqlimport（多線程）。
比如我導入 100W 行示例數據到表 ytt.tl1，花了 24 秒。這個已經是 MySQL 默認導入來的最快的。分析那我們現在看下 mysqlimport 工具的升級版，mysqlshell 的 util 工具集。
使用這兩個工具之前，必須得臨時開啟 local_infile 選項。1. import_table建立 3306 埠的新連接我這里切換為 python 模式清空掉示例表 Ytt.tl1import_table 有兩個參數，第一個參數定義導入文件的路徑，第二個定義相關選項，比如導入的格式，並發的數量等。定義文件路徑（參數1）定義選項（參數2）執行導入：只花了不到 17 秒，比傳統 mysqlimport 快了不少。
我們上面指定了顯式指定了欄位分隔符，那有沒有已經定義好的組合格式呢？ 答案是有的，選項 dialect 可以指定以下格式：csv，tsv，json，csv-unix那麼上面的導入，我們可以更簡單，改下變數 y_options1 的定義導入時間差不多。這里要說明下，dialect 選項的優先順序比較低，比如添加了'linesTerminatedBy':' '， 則覆蓋他自己的' '。
選項 diaelect 還有一個可選值為 json，可以直接把 json 結果導入到文檔表裡。比如我新建一張表 tl1_json重新定義文件以及導入選項。導入 JSON 數據速度也還可以，不到 24 秒。那導入 json 數據，就必須得提到以 X 插件協議通信的工具 import_json了。2. imort_json我們切換到 mysqlx 埠import_json 參數和 Import_table 參數類似，這里我改下選項我在手冊上沒有看到多線程的選項，所以單線程跑 35 秒慢了些。查看剛剛導入的數據import_json 不僅僅可以導入 Json 數據，更重要的是可以在 BSON 和 JSON 之間平滑的轉換，有興趣的同學可以去 TRY 下。
㈢ java開發工程師必須要學的技術有哪些
學習內容：
初級部分
Java 程序設計基礎，包括 J2sdk基礎、Java面向對象基礎、Java API使用、數據結構及演算法基礎、Java AWT圖形界面程序開發；
J2SE平台Java程序設計，包括Swing圖形程序設計, Socket網路應用程序設計,對象序列化，Java 常用數據結構，Applet，流和文件，多線程程序設計；
Java桌面系統項目開發，4~5人組成一個項目組，項目大小為（15人*工作日）；
Linux的基本操作，Linux下的Java程序開發，Linux系統的簡單管理；
Oracle資料庫，包括SQL/PLSQL;資料庫和資料庫設計；簡單掌握ORACLE9i 資料庫的管理；[2]
中級部分
Java Web應用編程，包括 Java Oracle 編程，即JDBC；JavaWeb編程，包括JSP、Servlet,JavaBean；Java應用編程，包括Weblogic、Websphere、Tomcat；以及利用Jbuilder開發Java程序；
MVC與Struts，學習業界通用的MVC設計模式和Struts架構；
Java B/S商務項目開發，4~5人一個項目組，項目大小為（25人*工作日左右）
高級部分
J2ME程序設計，包括J2EE程序、J2ME；Java高級程序設計（J2EE），包括J2EE體系結構和J2EE技術、EJB；Weblogic使用、 JBuilder開發；
Java和XML，包括Java Web Service，JavaXML, 業界主流XML解析器程序設計；
軟體企業規范和軟體工程，包括UML系統建模型和設計(Rational Rose 200x)軟體工程和業界開發規范；CVS版本控制、Java Code書寫規范；
J2EE商務應用系統項目開發，4~5人一個項目組，項目大小為（25人*工作日左右）。
………………………………………………………………………………………………
看你問的問題，應該是對java很感興趣，其實你可以自學java。關於如何學習java，我剛才看到一篇很不錯的文章，是一個農民工介紹自己如何自學java，並找到Java的工作，裡面介紹了他的學習方法和學習過程，希望對你有幫助。
我是一名地地道道的農民工，生活在經濟落後的農村，有一個哥哥和一個弟弟，父母都是地道的農民，日出而作，日落而息，我從小到大學習一直很好，從小學到高一都，成績在全級一直名列前茅，這樣我也順利了考上省的重點高中，然而，每個學期開學是家裡最為難的時候，每次交學費都讓父母發愁許久，家裡為了給我籌錢讀書，都借了不少錢，才讓我讀上高中。我知道我讀到高中家裡已經欠了好多債，為了減輕家裡的負擔，我選擇了退學。
2009年我高一退學，為了給家裡還債，干過建築工地的小工，搞過塑料製品加工，送水工等等。很工資都很低，一個月也就1000多，加上加班費一個月能拿2000多一點，我每個月都向家裡寄回800-1000元，到了2011年末，一次偶然的機會我接觸了Java，聽說Java的前景挺不錯，工資相對於我一個農民工來說簡直是天文數字，於是我在新華書店買了幾本Java的書，盡管白天辛苦工作，晚上回來還是堅持看書，但有於基礎太差很多都很不明白，但還是堅持看，一有看1-2個小時Java的書，看著看著許多基礎都慢慢的學會了，但那些比較難的還是看不懂，後來還買了有些關於框架的書，還是看不懂，這樣斷斷續續的持續了半年多，覺得自己Java的基礎都差不多懂了，但框架還是看不懂，還有最缺的項目經驗，看了很多招聘Java程序員的簡介都要項目經驗，相對我一個農民工來連框架都弄不明白，想找一份Java工作對我來說簡直是奢侈。我只想學Java，並不敢想以後能從事Java的工作。
有一次，在網路上看到一篇讓我很鼓舞的文章，是一個Java高手介紹在沒有基礎的朋友怎麼自學入門Java，文章寫的很好，包含了如何學習，該怎麼學習，他提到一個方法就是看視頻，因為看書實在太枯燥和費解的，不少是我們也看不懂，這點我真的很認同，我自己看書都看了很久才學會基礎。曾經有想過參加培訓，但是上萬元的培訓費讓我望而卻步，我工資這么低，每個月還有向家裡匯錢，加上城市消費比較高，雖然每個月只有幾百剩下，但是相對於上萬萬學費和四個月的吃住費用逼我連想不敢想。 於是我決定看視頻，我就去搜索Java的視頻，雖然我零星的找到一些Java的視頻，但是都不系統。最重要連項目都沒有。後來我找到一份很好的視頻，是IT學習聯盟這個網站一套視頻叫<<零基礎Java就業班>>的教程還不錯，很完整。還贈送11個頂級企業項目。價格很合理，於是我買下來。
於是開始了我的自學Java的路，收到光碟後，我就開始學習，剛開始學習還不錯，是從零基礎教起，老師幽默風趣而又輕松的課堂教課，使我發現原來學習JAVA並不是一件很難的事情。因為我本來基礎還不錯，前面的基礎看一篇我就過去了，到了框架，我覺不又不是很難，可能老師太牛了，他能把復雜的問題講的比較通俗易懂，有些難點的地方我還是連續看了五六次，把他弄懂。每天下午6點下班後，吃了飯，馬上跑回家。看視頻，買了幾本筆記本。當時，為了編程還花幾百元了台二手的台式電腦，配置一般，但編程是足夠的。一邊看視頻，一邊記筆記，把重點都記下來，還一邊跟著老師敲代碼，為了能盡早學會Java。每天都堅持學5-6個小時。經常學到晚上一點多才睡覺。星期六，日不用上班，每天7點多起床，學到晚上11,12點。那段時間特別辛苦，特別累。在學習Java的三個多月里，除了吃飯睡覺工作，剩餘的時間都在學習，因為我知道自己的計算機基礎不是很好，也沒有學過什麼計算機，只是學了些Java基礎，相對於那些科班的人來說我要比他們付出更多的努力。我只能咬緊牙關，堅持下去，我不能放棄，我要完成我的夢想，我要讓我的家人過上好日子。終於三個多月後我把Java教程里的內容和項目都學完了，在學項目的過程中我發現項目特別重要，他能把你學過的知識全部聯系起來，能更好的理解你所學的知識。還有學習過程中，動手很重要，要經常跟著老師動手敲，動手吧，跟著做，一行一行的跟著敲，再試著加一些自己的功能，按照自己的思路敲一些代碼，收獲遠比干聽大的多。 如果遇到暫時對於一些思路不能理解的，動手寫，先寫代碼，慢慢你就會懂了。這套視頻還贈送了11個頂級企業項目，對於我沒有任何經驗的人來說，這個太重要了，還有在學習項目是提升能力最快的方法。項目能把所有的知識點全都連到一起了，不再是分散的，而是形成一個整體了。那種感覺是僅僅深入鑽研知識點而不寫真實項目的人所不能體會的。一個項目就是一根繩子可以把大片的知識串到一起。 就這樣，我用了兩個月也把項目給學完了。其實學完教程差不錯就達到就業水平，但是我可能覺得自己學歷低還是把那11個頂級企業項目才去找工作。
接著我就到51job瘋狂的投簡歷，因為我的學歷問題，初中畢業，說真的，大公司沒有人會要我。所以我頭的都是民營的小公司，我希望自己的努力有所回報。沒有想過幾天後，就有面試了，但是第一次面試我失敗了，雖然我自認為筆試很好，因為我之前做了准備，但是他們的要求比價嚴格，需要有一年的項目經驗，所以我沒有被選中。 後來陸續面試了幾加公司，終於功夫不負有心人，我終於面試上了一家民營的企業。公司規模比較小，我的職務是Java程序員。我想我比較幸運，經理看中我的努力，就決定呂勇我，開的工資是3500一個月，雖然我知道在北京3500隻能過溫飽的生化，但是我想我足夠了，比起以前的工資好了些，以後可以多寄些錢回家。我想只要我繼續努力。我工資一定會翻倍的。 把本文寫出來，希望能讓和我一樣的沒有基礎的朋友有信心，其實我們沒有自卑，我們不比別人笨，只有我們肯努力，我們一樣會成功。
㈣ 在Linux系統中使用Shell實現多線程運行任務（多任務並發執行） 2022-05-30
最近，有一批任務需要把兩批的fastq合並到一起並壓縮成一個fastq文件才能繼續往下做，由於存儲空間有限又不能直接全部跑上，只能按樣本逐個分批跑。眾所周知，一般fastq是成對存在的，所需要對read1和read2分別合並一次，然而這次任務的fastq文件比較大，合並然後壓縮一次需要1天左右，那對於一組fastq就要2-3天，這也太耗時間了，所以我在想能不能read1和read2 同時跑上，這就可以節省一半的時間了。
平時也能遇到很多類似的任務，特別是在進程數有限的情況下，如果這些小任務單獨佔用一個進程，而任務很多就很耗時間，如果能在一個進程下實現多個線程並行執行，就能大大提高運行效率。關於進程和線程的知識可以參考知乎的這篇文章【 Shell「 多線程」，提高工作效率 】，整理的也比較有條理，能比較容易讀懂。
當然，某些博主也寫過類似的文章，例如這篇【 shell後台限制多並發控制後台任務強度進行文件拷貝 】但是實在是太高深莫測了，看不懂，一時半會兒也學不會。本文將示例Shell實現多線程的簡單版本，其實不用太復雜。
其實只需要兩個步驟， 第一步是給需要並行運行的命令行在結尾加上"&"，代表放到後台運行，第二步是在在所有並行任務的後面加上一句「wait」，意思是等所有通過「&」放到後台運行的任務跑完後再繼續執行後面的任務 ，這些就能實現所有帶有「&」的行並行執行了。
看完腳本是不是覺得很簡單？
上面的腳本適合並行任務少的，可以手動加&和wait，但是如果有幾十個甚至上百個的小任務就比較麻煩了。但不用擔心，可以寫個循環，批量運行。
循環的結果也是跟上面類似的，只是多了個循環結構。
如果需要執行的任務只有一行，可以把大括弧去掉。
關於for和while的循環可以查看之前的文章【 Shell常用循環示例（for和while批量處理）2022-05-25 】
需要注意的是多線程並行還是需要有限制的，畢竟都是在一個進程里運行，如果線程太多了會卡頓的，建議控制在100個以內，當然還有畢竟高級和復雜的方法可以實現限制。因為上面的腳本已經夠我用了，沒繼續往下學，以後可以再補充。