電腦用伺服器跑gpu

1. 如何部署GPU滿足伺服器工作負載需求

選擇GPU伺服器時首先要考慮業務需求來選擇適合的GPU型號。在HPC高性能計算中還需要根據精度來選擇，比如有的高性能計算需要雙精度，這時如果使用P40或者P4就不合適，只能使用V100或者P100；同時也會對顯存容量有要求，比如石油或石化勘探類的計算應用對顯存要求比較高；還有些對匯流排標准有要求，因此選擇GPU型號要先看業務需求。

GPU伺服器人工智慧領域的應用也比較多。在教學場景中，對GPU虛擬化的要求比較高。根據課堂人數，一個老師可能需要將GPU伺服器虛擬出30甚至60個虛擬GPU，因此批量Training對GPU要求比較高，通常用V100做GPU的訓練。模型訓練完之後需要進行推理，因此推理一般會使用P4或者T4，少部分情況也會用V100。

綜上所述，選擇伺服器時不僅需要考慮業務需求，還要考慮性能指標，比如精度、顯存類型、顯存容量以及功耗等，同時也會有一些伺服器是需要水冷、降噪或者對溫度、移動性等等方面有特殊的要求，就需要特殊定製的伺服器。

歡迎了解更多：網頁鏈接

2. 普通計算機和大型伺服器的GPU溫度測量原理（硬體）

深度學習GPU工作站/伺服器硬體配置方案

I
市場上用於深度學習訓練計算機大致情況如下：

（1）伺服器/工作站（支持2、4、8塊GPU架構）：普遍存在噪音大，無法放置於辦公環境，必須放到專門的機房，維護成本高，另外數據存儲帶寬、延遲、容量也不盡如意。

（2）分布式集群架構：性能強大，但是開發成本太高（太貴），是大多數科研單位及個人無法承受。

（3）組裝電腦：這類特點是價格便宜，但是在散熱和功率方面依然是普通家用/游戲電腦標准，穩定性巨差。

（4）大部分GPU計算機(伺服器/工作站）：重點都放在GPU卡數量上，似乎只要配上足夠GPU卡，就可以了。

然而，機器硬體配置還需要整體均衡，不同的學習框架更需要不同GPU卡去適配。

主流學習框架

主流框架加速效能

上圖是不同的DL框架加速效能（NVIDIA GP100為例），不同的框架並不是GPU越多效能就越高。

深度學習計算密集，所以需要一個快速多核CPU，對吧？！

聽說深度學習有很多顯卡就可以了，一個高速CPU可能是種浪費？！

搭建一個深度學習系統時，最糟糕的事情之一就是把錢浪費在並非必需的硬體上。

一個高性能且經濟的深度學習系統所需的硬體到底要如何配置？！

一. 深度學習計算特點與硬體配置分析：

深度學習計算特點

1.數據存儲要求

在一些深度學習案例中，數據存儲會成為明顯的瓶頸。做深度學習首先需要一個好的存儲系統，將歷史資料保存起來。

主要任務：歷史數據存儲，如：文字、圖像、聲音、視頻、資料庫等。

數據容量：提供足夠高的存儲能力。

讀寫帶寬：多硬碟並行讀寫架構提高數據讀寫帶寬。

介面：高帶寬，同時延遲低。

傳統解決方式：專門的存儲伺服器，藉助萬兆埠訪問。

缺點：帶寬不高，對深度學習的數據讀取過程時間長(延遲大，兩台機器之間數據交換)，成本還巨高。

UltraLA解決方案：

將並行存儲直接通過PCIe介面，提供最大16個硬碟的並行讀取，數據量大並行讀取要求高，無論是匯流排還是硬碟並行帶寬，都得到加大提升，滿足海量數據密集I/O請求和計算需要。

2. CPU要求

如今深度學習CPU似乎不那麼重要了，因為我們都在用GPU，為了能夠明智地選擇CPU我們首先需要理解CPU，以及它是如何與深度學習相關聯的，CPU能為深度學習做什麼呢？當你在GPU上跑深度網路時，CPU進行的計算很少，但是CPU仍然需要處理以下事情：

（1）數據從存儲系統調入到內存的解壓計算。

（2）GPU計算前的數據預處理。

（3）在代碼中寫入並讀取變數，執行指令如函數調用，創建小批量數據，啟動到GPU的數據傳輸。

（4）GPU多卡並行計算前，每個核負責一塊卡的所需要的數據並行切分處理和控制。

（5）增值幾個變數、評估幾個布爾表達式、在GPU或在編程裡面調用幾個函數——所有這些會取決於CPU核的頻率，此時唯有提升CPU頻率。

傳統解決方式：CPU規格很隨意，核數和頻率沒有任何要求。

UltraLA解決方案：

CPU頻率盡量高

CPU三級緩存盡量大（有必要科普一下CPU緩存）

「這是個經常被忽視的問題，但是通常來說，它在整個性能問題中是非常重要的一部分。CPU緩存是容量非常小的直接位於CPU晶元上的存儲，物理位置非常接近CPU，能夠用來進行高速計算和操作。CPU通常有緩存分級，從小型高速緩存（L1，L2）到低速大型緩存（L3，L4）。作為一個程序員，你可以將它想成一個哈希表，每條數據都是一個鍵值對（key-value-pair），可以高速的基於特定鍵進行查找：如果找到，就可以在緩存得值中進行快速讀取和寫入操作；如果沒有找到（被稱為緩存未命中），CPU需要等待RAM趕上，之後再從內存進行讀值——一個非常緩慢的過程。重復的緩存未命中會導致性能的大幅下降。有效的CPU緩存方案與架構對於CPU性能來說非常關鍵。深度學習代碼部分——如變數與函數調用會從緩存中直接受益。」

CPU核數：比GPU卡數量大（原則：1核對應1卡，核數要有至少2個冗餘）。

3. GPU要求

如果你正在構建或升級你的深度學習系統，你最關心的應該也是GPU。GPU正是深度學習應用的核心要素——計算性能提升上，收獲巨大。

主要任務：承擔深度學習的數據建模計算、運行復雜演算法。

傳統架構：提供1~8塊GPU。

UltraLA解決方案：

數據帶寬：PCIe8x 3.0以上。

數據容量：顯存大小很關鍵。

深度學習框架匹配：CPU核-GPU卡 1對1。

GPU卡加速：多卡提升並行處理效率。

4.內存要求

至少要和你的GPU顯存存大小相同的內存。當然你也能用更小的內存工作，但是，你或許需要一步步轉移數據。總而言之，如果錢夠，而且需要做很多預處理，就不必在內存瓶頸上兜轉，浪費時間。

主要任務：存放預處理的數據，待GPU讀取處理，中間結果存放。

UltraLA解決方案：

數據帶寬最大化：單Xeon E5v4 4通道內存，雙XeonE5v4 8通道內存，內存帶寬最大化。

內存容量合理化：大於GPU總顯存。

說了那麼多，到底該如何配置深度學習工作站，下面是干貨來襲~

二. 深度學習工作站介紹與配置推薦

1. UltraLABGX370i-科研型

UltraLAB GX370i-科研型

硬體架構：4核4.7GHz~5.0GHz+4塊GPU+64GB內存+4塊硬碟(最大)

機器特點：高性價比，最快預處理和GPU超算架構

數據規模:小規模

2. UltraLABGX490i-高效型

硬體架構：配置10核4.5GHz+4塊GPU+128GB+4塊硬碟(最大)

機器特點：較GX360i，CPU核數和內存容量提升

數據規模:中小規模

UltraLAB GX490i基準配置

3. UltraLABGX490M-高性能型

硬體架構：配置6核4.5GHz/8核4.3GHz/10核4.3GHz+最大7塊GPU+256GB+20盤位並行存儲

機器特點：GPU數量支持到7塊，支持海量數據並行存儲

數據規模:中大規模

4. UltraLABGX620M-超級型

UltraLAB GX620M

硬體架構：雙Xeon可擴展處理器（最大56核，最高3.8GHz）+最大9塊GPU+20盤位並行存

機器特點：目前最強大的CPU+GPU異構計算

數據規模:建模與模擬計算、高性能科學計算、機器/深度學習

UltraLAB GX620M基準配置

UltraLAB深度學習工作站特點：

（1）種類豐富： GX370i(1C4G), GX490i(1C4G) --科研型，GX490M(1C7G)、GX620M(2C9G)--超級型。

（2）性能特點：超高頻+多GPU+海量高速存儲+靜音級=最完美強大DL硬體平台。

（3）應用平台：完美支持TensorFlow，Caffe，Torch，DIGITS，

3. GPU伺服器和普通伺服器怎麼挑選

說到顯卡，估計90%以上的人都認為這就是一個游戲工具。現在高性能的顯卡難道只是為游戲而生嗎？目前不少公司已經認識到GPU大規模並行計算帶來的優勢，開始用強大的多GPU伺服器進行各種方向的研究，而這些研究除了能給公司帶來巨大收益外，其研究成果也開始應用在我們的日常生活中。

什麼是GPU伺服器？

GPU伺服器是基於GPU的應用於視頻編解碼、深度學習、科學計算等多種場景的快速、穩定、彈性的計算服務。

GPU伺服器有什麼作用？

GPU 加速計算可以提供非凡的應用程序性能，能將應用程序計算密集部分的工作負載轉移到 GPU，同時仍由 CPU 運行其餘程序代碼。從用戶的角度來看，應用程序的運行速度明顯加快.

理解 GPU 和 CPU 之間區別的一種簡單方式是比較它們如何處理任務。CPU 由專為順序串列處理而優化的幾個核心組成，而 GPU 則擁有一個由數以千計的更小、更高效的核心（專為同時處理多重任務而設計）組成的大規模並行計算架構。

GPU伺服器的主要應用場景

海量計算處理

GPU 伺服器超強的計算功能可應用於海量數據處理方面的運算，如搜索、大數據推薦、智能輸入法等：

• 原本需要數天完成的數據量，採用 GPU 伺服器在數小時內即可完成運算。

• 原本需要數十台 CPU 伺服器共同運算集群，採用單台 GPU 伺服器可完成。

深度學習模型

GPU伺服器可作為深度學習訓練的平台：

1.GPU 伺服器可直接加速計算服務，亦可直接與外界連接通信。

2.GPU 伺服器和雲伺服器搭配使用，雲伺服器為 GPU 雲伺服器提供計算平台。

3.對象存儲 COS 可以為 GPU 伺服器提供大數據量的雲存儲服務。

如何正確選擇GPU伺服器?

選擇GPU伺服器時首先要考慮業務需求來選擇適合的GPU型號。在HPC高性能計算中還需要根據精度來選擇，比如有的高性能計算需要雙精度，這時如果使用P40或者P4就不合適，只能使用V100或者P100；同時也會對顯存容量有要求，比如石油或石化勘探類的計算應用對顯存要求比較高；還有些對匯流排標准有要求，因此選擇GPU型號要先看業務需求。

當GPU型號選定後，再考慮用什麼樣GPU的伺服器。這時我們需要考慮以下幾種情況：

第一、 在邊緣伺服器租用上需要根據量來選擇T4或者P4等相應的伺服器，同時也要考慮伺服器的使用場景，比如火車站卡口、機場卡口或者公安卡口等；在中心端做Inference時可能需要V100的伺服器，需要考慮吞吐量以及使用場景、數量等。

第二、 需要考慮客戶本身使用人群和IT運維能力，對於BAT這類大公司來說，他們自己的運營能力比較強，這時會選擇通用的PCI-e伺服器；而對於一些IT運維能力不那麼強的客戶，他們更關注數字以及數據標注等，我們稱這類人為數據科學家，選擇GPU伺服器的標准也會有所不同。

第三、 需要考慮配套軟體和服務的價值。

第四、 要考慮整體GPU集群系統的成熟程度以及工程效率，比如像DGX這種GPU一體化的超級計算機，它有非常成熟的從底端的操作系統驅動Docker到其他部分都是固定且優化過的，這時效率就比較高。

作為國內品牌伺服器提供商，天下數據GPU機架式伺服器擁有大規模並行處理能力和無與倫比的靈活性。它主要應用於為計算密集型應用提供足夠的處理能力。GPU加速運算的優勢就在於它可以一邊由CPU運行應用程序代碼，一邊由圖形處理單元（GPU）處理大規模並行架構的計算密集型任務。天下數據GPU伺服器是醫療成像、廣播、視頻轉碼市場的理想選擇。

4. 做深度學習，需要配置專門的GPU伺服器嗎

深度學習是需要配置專門的GPU伺服器的:

深度學習的電腦配置要求：

1、數據存儲要求

在一些深度學習案例中，數據存儲會成為明顯的瓶頸。做深度學習首先需要一個好的存儲系統，將歷史資料保存起來。

主要任務：歷史數據存儲，如：文字、圖像、聲音、視頻、資料庫等。

數據容量：提供足夠高的存儲能力。

讀寫帶寬：多硬碟並行讀寫架構提高數據讀寫帶寬。

介面：高帶寬，同時延遲低。

傳統解決方式：專門的存儲伺服器，藉助萬兆埠訪問。

缺點：帶寬不高，對深度學習的數據讀取過程時間長(延遲大，兩台機器之間數據交換)，成本還巨高。

2、CPU要求

當你在GPU上跑深度網路時，CPU進行的計算很少，但是CPU仍然需要處理以下事情：

（1）數據從存儲系統調入到內存的解壓計算。

（2）GPU計算前的數據預處理。

（3）在代碼中寫入並讀取變數，執行指令如函數調用，創建小批量數據，啟動到GPU的數據傳輸。

（4）GPU多卡並行計算前，每個核負責一塊卡的所需要的數據並行切分處理和控制。

（5）增值幾個變數、評估幾個布爾表達式、在GPU或在編程裡面調用幾個函數——所有這些會取決於CPU核的頻率，此時唯有提升CPU頻率。

傳統解決方式：CPU規格很隨意，核數和頻率沒有任何要求。

3、GPU要求

如果你正在構建或升級你的深度學習系統，你最關心的應該也是GPU。GPU正是深度學習應用的核心要素——計算性能提升上，收獲巨大。

主要任務：承擔深度學習的數據建模計算、運行復雜演算法。

傳統架構：提供1~8塊GPU。

4、內存要求

至少要和你的GPU顯存存大小相同的內存。當然你也能用更小的內存工作，但是，你或許需要一步步轉移數據。總而言之，如果錢夠而且需要做很多預處理，就不必在內存瓶頸上兜轉，浪費時間。

主要任務：存放預處理的數據，待GPU讀取處理，中間結果存放。

深度學習需要強大的電腦算力，因此對電腦的硬體配置自然是超高的，那麼現在普通的高算力電腦需要高配置硬體。

5. 電腦如何開啟gpu加速

作為Windows 10的一項重要功能，微軟在分享了GPU硬體加速細節後，現在還為大家送上了開啟它的技巧，對於中低端設備來說，提升效果還是很明顯的。
想要開啟上述功能，首先你要確定自己的系統是不是已經升級至Windows 10 May 2020（20H1/Version 2004）或者Build 19041及更高版本，同時還需要NV GeForce 451.48或Adrenalin 2020版20.5.1 Beta驅動程序。AMD目前已經發布了測試版本，Intel正計劃在不久的將來更新他們的WDDM 2.7驅動程序，支持硬體加速GPU。
在確定了上述條件後，兩種開啟GPU硬體加速的方法是：
第一種方式是：在Windows搜索中，搜索"regedit"並選擇第一個選項；打開 "注冊表編輯器"；在注冊表編輯器中，導航到 "HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Control/GraphicsDrivers"；找到名為"HwSchMode"的DWORD選項，選項中的值2意味著啟用，1意味著關閉。
第二種方式是：打開開始菜單，點擊設置齒輪圖標；在設置應用中，點擊"系統"並打開"顯示"選項卡；在"多顯示器"部分，選擇"圖形設置"；開啟或關閉 "硬體加速GPU調度 "選項；重新啟動系統
微軟透露的細節顯示，有了硬體加速GPU調度，Windows 10現在可以將內存管理控制權交給基於GPU的專用調度處理器，理論上應該可以解放一下CPU，減少輸入滯後。這項功能在高端CPU上表現並不明顯，因為它們能夠完全勝任GPU幀處理。
不過，在低端和中端CPU上進行游戲時，硬體加速GPU調度才會被證明是有用的。根據微軟的說法，硬體加速GPU調度還應該減少GPU調度的開銷，並使圖形子系統的一個基本支柱現代化，為 "未來的事情做好准備"。

6. 普通電腦PC怎樣跑TensorFlow的GPU模式

需要看你的PC配置是否夠，TF的GPU模式只支持N卡，然後計算能力高於3.0，以下說下安裝步驟：

1、首先要注冊NVIDIA developer的帳號，分別下載CUDA和cuDNN。

2、確認准備gcc版本，安裝依賴庫sudo apt-get install freegl。

3、安裝CUDA。

4、解壓cuDNN。

5、clone tensorflow源碼，configure配置。

6、編譯安裝。

7、最後一步測試。

7. 聽說GPU可以提高伺服器計算速度，想給戴爾r710伺服器配個GPU ，不知道支持不麻煩高手給點指導性意見

只要伺服器中有PCI-E X16的匯流排，就可以安裝。
但GPU加速必須受到軟體的支持，而且只對可以並行化的運算進行加速。另外，Nvidia顯卡需要使用CUDA編程來實現加速功能，不是插上就能用的，AMD則需要Stream。一般都是用作高性能計算（HPC）的輔助計算加速卡，對於商務應用來說，沒什麼實際作用。不建議安裝。

8. 選擇GPU伺服器的時候應該注意什麼

我個人覺得還是要重視產品的質量和公司的實力，當然性價比高的肯定是優先考慮。在選擇GPU伺服器的時候，我們公司還是比較看中產品安全和質量的，當時謹慎挑選了很久，最終還是選擇了思騰合力。一方面是思騰合力的公司實力和口碑都挺好的，另一方它還是英偉達精英級別代理商，而且擁有完善的研發、生產、製造基地，這個是其他公司比不了的。所以建議你多對比看看，公司和產品都很重要的，不要貪小便宜。

9. GPU伺服器的作用是什麼

GPU伺服器，簡單來說，GPU伺服器是基於GPU的應用於視頻編解碼、深度學習、科學計算等多種場景的快速、穩定、彈性的計算服務，我們提供和標准雲伺服器一致的管理方式。出色的圖形處理能力和高性能計算能力提供極致計算性能，有效解放計算壓力，提升產品的計算處理效率與競爭力。

下面幾個場景我們可以使用CPU伺服器，如果辦公場景需要建議大家配置GPU伺服器，如果場景無關，使用普通的伺服器也無妨。在下會根據大家的使用場景給到大家相匹配的伺服器類型和配置！

一、簡單深度學習模型

使用GPU伺服器為機器學習提供訓練或者預測，騰訊GPU雲伺服器帶有強大的計算能力，可作為深度學習訓練的平台，

可直接與外界連接通信。可以使用GPU伺服器作為簡單深度學習訓練系統，幫助完成基本的深度學習模型

二、復雜深度學習模型，騰訊雲GPU伺服器具有強大的計算能力，可以將

GPU伺服器作為深度學習訓練的平台。結合雲伺服器 CVM提供的計算服務、對象存儲

COS提供的雲存儲服務、雲資料庫MySQL提供的在線資料庫服務、雲監控和大禹提供的安全監控服務，圖片、視頻編解碼，可以採用GPU伺服器進行渲染，利用 GPU 加速器指令，讓數以千計的核心為您所用，加快圖形圖像編碼渲染速度。

這些是一些可以用到GPU伺服器的場景，所以如果您的使用需要比較高端，建議還是使用GPU伺服器。

10. 如何使用gpu伺服器和個人電腦連接

遠程PLC通訊需要以下條件1，一般使用VPN----虛擬專用網路（VirtualPrivateNetwork），搭建這個平台的方式有很多，可以參考以下帶VPN功能的路由器或搭建伺服器；2，把PLC通訊方式轉成乙太網，串口PLC需要配乙太網通訊模塊；3，遠程電腦和設備電腦都必須能連接外部英特網；4，必須申請一個固定IP或動態域名；搭建這個平台的成本是比較高，我曾經做過在深圳下載程序到濟南現場的PLC；