多線程linux

『壹』 linux操作系統多進程和多線程的區別

進程：運行中的程序，-->執行過程稱之為進程。
線程：線程是輕量級的進程，是進程中的一條執行序列，一個進程至少有一條線程。
多線程優點：①無需跨進程邊界;②程序邏輯和控制方式簡單;③所有線程可以直接共享內存和變數;④線程方式消耗的總資源比進程少。
多進程優點：①每個進程相互獨立，不影響主程序的穩定性，子進程崩潰沒關系;②通過增加CPU就可以容易擴充性能;③可以盡量減少線程加鎖/解鎖的影響，極大提高性能。
多線程缺點：①每條線程與主程序共用地址空間，大小受限;②線程之間的同步和加鎖比較麻煩;③一個線程的崩潰可能影響到整個程序的穩定性;④到達一定的線程數之後，即使在增加CPU也無法提高性能。
多進程缺點：①邏輯控制復雜，需要和主程序交互;②需要跨進程邊界，如果有大數據傳輸，不適合;③多進程調度開銷比較大。
Linux系統中多進程和多線程的區別是什麼?
1、多進程中數據共享復雜、同步簡單;而多線程中數據共享簡單、同步復雜。
2、多進程佔用內存多、切換復雜、速度慢、CPU利用率低;而多線程佔用內存少、切換簡單、CPU利用率高。
3、多進程的編程簡單、調試簡單;而多線程的編程復雜、調試復雜。

『貳』 在Linux系統中使用Shell實現多線程運行任務（多任務並發執行） 2022-05-30

最近，有一批任務需要把兩批的fastq合並到一起並壓縮成一個fastq文件才能繼續往下做，由於存儲空間有限又不能直接全部跑上，只能按樣本逐個分批跑。眾所周知，一般fastq是成對存在的，所需要對read1和read2分別合並一次，然而這次任務的fastq文件比較大，合並然後壓縮一次需要1天左右，那對於一組fastq就要2-3天，這也太耗時間了，所以我在想能不能read1和read2 同時跑上，這就可以節省一半的時間了。

平時也能遇到很多類似的任務，特別是在進程數有限的情況下，如果這些小任務單獨佔用一個進程，而任務很多就很耗時間，如果能在一個進程下實現多個線程並行執行，就能大大提高運行效率。關於進程和線程的知識可以參考知乎的這篇文章【 Shell「 多線程」，提高工作效率 】，整理的也比較有條理，能比較容易讀懂。

當然，某些博主也寫過類似的文章，例如這篇【 shell後台限制多並發控制後台任務強度進行文件拷貝 】但是實在是太高深莫測了，看不懂，一時半會兒也學不會。本文將示例Shell實現多線程的簡單版本，其實不用太復雜。

其實只需要兩個步驟， 第一步是給需要並行運行的命令行在結尾加上"&"，代表放到後台運行，第二步是在在所有並行任務的後面加上一句「wait」，意思是等所有通過「&」放到後台運行的任務跑完後再繼續執行後面的任務 ，這些就能實現所有帶有「&」的行並行執行了。

看完腳本是不是覺得很簡單？

上面的腳本適合並行任務少的，可以手動加&和wait，但是如果有幾十個甚至上百個的小任務就比較麻煩了。但不用擔心，可以寫個循環，批量運行。

循環的結果也是跟上面類似的，只是多了個循環結構。

如果需要執行的任務只有一行，可以把大括弧去掉。

關於for和while的循環可以查看之前的文章【 Shell常用循環示例（for和while批量處理）2022-05-25 】

需要注意的是多線程並行還是需要有限制的，畢竟都是在一個進程里運行，如果線程太多了會卡頓的，建議控制在100個以內，當然還有畢竟高級和復雜的方法可以實現限制。因為上面的腳本已經夠我用了，沒繼續往下學，以後可以再補充。

『叄』 Linux 多線程編程(二)2019-08-10

三種專門用於線程同步的機制:POSIX信號量,互斥量和條件變數.

在Linux上信號量API有兩組,一組是System V IPC信號量,即PV操作,另外就是POSIX信號量,POSIX信號量的名字都是以sem_開頭.

phshared參數指定信號量的類型,若其值為0,就表示這個信號量是當前進程的局部信號量,否則該信號量可以在多個進程之間共享.value值指定信號量的初始值,一般與下面的sem_wait函數相對應.

其中比較重要的函數sem_wait函數會以原子操作的方式將信號量的值減一,如果信號量的值為零,則sem_wait將會阻塞,信號量的值可以在sem_init函數中的value初始化;sem_trywait函數是sem_wait的非阻塞版本;sem_post函數將以原子的操作對信號量加一,當信號量的值大於0時,其他正在調用sem_wait等待信號量的線程將被喚醒.
這些函數成功時返回0,失敗則返回-1並設置errno.

生產者消費者模型:
生產者對應一個信號量:sem_t procer;
消費者對應一個信號量:sem_t customer;
sem_init(&procer,2)----生產者擁有資源,可以工作;
sem_init(&customer,0)----消費者沒有資源,阻塞;

在訪問公共資源前對互斥量設置（加鎖），確保同一時間只有一個線程訪問數據，在訪問完成後再釋放（解鎖）互斥量.
互斥鎖的運行方式:串列訪問共享資源;
信號量的運行方式:並行訪問共享資源;
互斥量用pthread_mutex_t數據類型表示，在使用互斥量之前，必須使用pthread_mutex_init函數對它進行初始化，注意，使用完畢後需調用pthread_mutex_destroy.

pthread_mutex_init用於初始化互斥鎖，mutexattr用於指定互斥鎖的屬性，若為NULL，則表示默認屬性。除了用這個函數初始化互斥所外，還可以用如下方式初始化：pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER。
pthread_mutex_destroy用於銷毀互斥鎖，以釋放佔用的內核資源，銷毀一個已經加鎖的互斥鎖將導致不可預期的後果。

pthread_mutex_lock以原子操作給一個互斥鎖加鎖。如果目標互斥鎖已經被加鎖，則pthread_mutex_lock則被阻塞，直到該互斥鎖佔有者把它給解鎖.
pthread_mutex_trylock和pthread_mutex_lock類似，不過它始終立即返回，而不論被操作的互斥鎖是否加鎖，是pthread_mutex_lock的非阻塞版本.當目標互斥鎖未被加鎖時，pthread_mutex_trylock進行加鎖操作；否則將返回EBUSY錯誤碼。注意：這里討論的pthread_mutex_lock和pthread_mutex_trylock是針對普通鎖而言的，對於其他類型的鎖，這兩個加鎖函數會有不同的行為.
pthread_mutex_unlock以原子操作方式給一個互斥鎖進行解鎖操作。如果此時有其他線程正在等待這個互斥鎖，則這些線程中的一個將獲得它.

三個列印機輪流列印:

輸出結果:

如果說互斥鎖是用於同步線程對共享數據的訪問的話,那麼條件變數就是用於在線程之間同步共享數據的值.條件變數提供了一種線程之間通信的機制:當某個共享數據達到某個值時,喚醒等待這個共享數據的線程.
條件變數會在條件不滿足的情況下阻塞線程.且條件變數和互斥量一起使用，允許線程以無競爭的方式等待特定的條件發生.

其中pthread_cond_broadcast函數以廣播的形式喚醒所有等待目標條件變數的線程,pthread_cond_signal函數用於喚醒一個等待目標條件變數線程.但有時候我們可能需要喚醒一個固定的線程,可以通過間接的方法實現:定義一個能夠唯一標識目標線程的全局變數,在喚醒等待條件變數的線程前先設置該變數為目標線程,然後採用廣播的方式喚醒所有等待的線程,這些線程被喚醒之後都檢查該變數以判斷是否是自己.

採用條件變數+互斥鎖實現生產者消費者模型:

運行結果:

阻塞隊列+生產者消費者

運行結果: