电脑用服务器跑gpu

1. 如何部署GPU满足服务器工作负载需求

选择GPU服务器时首先要考虑业务需求来选择适合的GPU型号。在HPC高性能计算中还需要根据精度来选择，比如有的高性能计算需要双精度，这时如果使用P40或者P4就不合适，只能使用V100或者P100；同时也会对显存容量有要求，比如石油或石化勘探类的计算应用对显存要求比较高；还有些对总线标准有要求，因此选择GPU型号要先看业务需求。

GPU服务器人工智能领域的应用也比较多。在教学场景中，对GPU虚拟化的要求比较高。根据课堂人数，一个老师可能需要将GPU服务器虚拟出30甚至60个虚拟GPU，因此批量Training对GPU要求比较高，通常用V100做GPU的训练。模型训练完之后需要进行推理，因此推理一般会使用P4或者T4，少部分情况也会用V100。

综上所述，选择服务器时不仅需要考虑业务需求，还要考虑性能指标，比如精度、显存类型、显存容量以及功耗等，同时也会有一些服务器是需要水冷、降噪或者对温度、移动性等等方面有特殊的要求，就需要特殊定制的服务器。

欢迎了解更多：网页链接

2. 普通计算机和大型服务器的GPU温度测量原理（硬件）

深度学习GPU工作站/服务器硬件配置方案

I
市场上用于深度学习训练计算机大致情况如下：

（1）服务器/工作站（支持2、4、8块GPU架构）：普遍存在噪音大，无法放置于办公环境，必须放到专门的机房，维护成本高，另外数据存储带宽、延迟、容量也不尽如意。

（2）分布式集群架构：性能强大，但是开发成本太高（太贵），是大多数科研单位及个人无法承受。

（3）组装电脑：这类特点是价格便宜，但是在散热和功率方面依然是普通家用/游戏电脑标准，稳定性巨差。

（4）大部分GPU计算机(服务器/工作站）：重点都放在GPU卡数量上，似乎只要配上足够GPU卡，就可以了。

然而，机器硬件配置还需要整体均衡，不同的学习框架更需要不同GPU卡去适配。

主流学习框架

主流框架加速效能

上图是不同的DL框架加速效能（NVIDIA GP100为例），不同的框架并不是GPU越多效能就越高。

深度学习计算密集，所以需要一个快速多核CPU，对吧？！

听说深度学习有很多显卡就可以了，一个高速CPU可能是种浪费？！

搭建一个深度学习系统时，最糟糕的事情之一就是把钱浪费在并非必需的硬件上。

一个高性能且经济的深度学习系统所需的硬件到底要如何配置？！

一. 深度学习计算特点与硬件配置分析：

深度学习计算特点

1.数据存储要求

在一些深度学习案例中，数据存储会成为明显的瓶颈。做深度学习首先需要一个好的存储系统，将历史资料保存起来。

主要任务：历史数据存储，如：文字、图像、声音、视频、数据库等。

数据容量：提供足够高的存储能力。

读写带宽：多硬盘并行读写架构提高数据读写带宽。

接口：高带宽，同时延迟低。

传统解决方式：专门的存储服务器，借助万兆端口访问。

缺点：带宽不高，对深度学习的数据读取过程时间长(延迟大，两台机器之间数据交换)，成本还巨高。

UltraLA解决方案：

将并行存储直接通过PCIe接口，提供最大16个硬盘的并行读取，数据量大并行读取要求高，无论是总线还是硬盘并行带宽，都得到加大提升，满足海量数据密集I/O请求和计算需要。

2. CPU要求

如今深度学习CPU似乎不那么重要了，因为我们都在用GPU，为了能够明智地选择CPU我们首先需要理解CPU，以及它是如何与深度学习相关联的，CPU能为深度学习做什么呢？当你在GPU上跑深度网络时，CPU进行的计算很少，但是CPU仍然需要处理以下事情：

（1）数据从存储系统调入到内存的解压计算。

（2）GPU计算前的数据预处理。

（3）在代码中写入并读取变量，执行指令如函数调用，创建小批量数据，启动到GPU的数据传输。

（4）GPU多卡并行计算前，每个核负责一块卡的所需要的数据并行切分处理和控制。

（5）增值几个变量、评估几个布尔表达式、在GPU或在编程里面调用几个函数——所有这些会取决于CPU核的频率，此时唯有提升CPU频率。

传统解决方式：CPU规格很随意，核数和频率没有任何要求。

UltraLA解决方案：

CPU频率尽量高

CPU三级缓存尽量大（有必要科普一下CPU缓存）

“这是个经常被忽视的问题，但是通常来说，它在整个性能问题中是非常重要的一部分。CPU缓存是容量非常小的直接位于CPU芯片上的存储，物理位置非常接近CPU，能够用来进行高速计算和操作。CPU通常有缓存分级，从小型高速缓存（L1，L2）到低速大型缓存（L3，L4）。作为一个程序员，你可以将它想成一个哈希表，每条数据都是一个键值对（key-value-pair），可以高速的基于特定键进行查找：如果找到，就可以在缓存得值中进行快速读取和写入操作；如果没有找到（被称为缓存未命中），CPU需要等待RAM赶上，之后再从内存进行读值——一个非常缓慢的过程。重复的缓存未命中会导致性能的大幅下降。有效的CPU缓存方案与架构对于CPU性能来说非常关键。深度学习代码部分——如变量与函数调用会从缓存中直接受益。”

CPU核数：比GPU卡数量大（原则：1核对应1卡，核数要有至少2个冗余）。

3. GPU要求

如果你正在构建或升级你的深度学习系统，你最关心的应该也是GPU。GPU正是深度学习应用的核心要素——计算性能提升上，收获巨大。

主要任务：承担深度学习的数据建模计算、运行复杂算法。

传统架构：提供1~8块GPU。

UltraLA解决方案：

数据带宽：PCIe8x 3.0以上。

数据容量：显存大小很关键。

深度学习框架匹配：CPU核-GPU卡 1对1。

GPU卡加速：多卡提升并行处理效率。

4.内存要求

至少要和你的GPU显存存大小相同的内存。当然你也能用更小的内存工作，但是，你或许需要一步步转移数据。总而言之，如果钱够，而且需要做很多预处理，就不必在内存瓶颈上兜转，浪费时间。

主要任务：存放预处理的数据，待GPU读取处理，中间结果存放。

UltraLA解决方案：

数据带宽最大化：单Xeon E5v4 4通道内存，双XeonE5v4 8通道内存，内存带宽最大化。

内存容量合理化：大于GPU总显存。

说了那么多，到底该如何配置深度学习工作站，下面是干货来袭~

二. 深度学习工作站介绍与配置推荐

1. UltraLABGX370i-科研型

UltraLAB GX370i-科研型

硬件架构：4核4.7GHz~5.0GHz+4块GPU+64GB内存+4块硬盘(最大)

机器特点：高性价比，最快预处理和GPU超算架构

数据规模:小规模

2. UltraLABGX490i-高效型

硬件架构：配置10核4.5GHz+4块GPU+128GB+4块硬盘(最大)

机器特点：较GX360i，CPU核数和内存容量提升

数据规模:中小规模

UltraLAB GX490i基准配置

3. UltraLABGX490M-高性能型

硬件架构：配置6核4.5GHz/8核4.3GHz/10核4.3GHz+最大7块GPU+256GB+20盘位并行存储

机器特点：GPU数量支持到7块，支持海量数据并行存储

数据规模:中大规模

4. UltraLABGX620M-超级型

UltraLAB GX620M

硬件架构：双Xeon可扩展处理器（最大56核，最高3.8GHz）+最大9块GPU+20盘位并行存

机器特点：目前最强大的CPU+GPU异构计算

数据规模:建模与仿真计算、高性能科学计算、机器/深度学习

UltraLAB GX620M基准配置

UltraLAB深度学习工作站特点：

（1）种类丰富： GX370i(1C4G), GX490i(1C4G) --科研型，GX490M(1C7G)、GX620M(2C9G)--超级型。

（2）性能特点：超高频+多GPU+海量高速存储+静音级=最完美强大DL硬件平台。

（3）应用平台：完美支持TensorFlow，Caffe，Torch，DIGITS，

3. GPU服务器和普通服务器怎么挑选

说到显卡，估计90%以上的人都认为这就是一个游戏工具。现在高性能的显卡难道只是为游戏而生吗？目前不少公司已经认识到GPU大规模并行计算带来的优势，开始用强大的多GPU服务器进行各种方向的研究，而这些研究除了能给公司带来巨大收益外，其研究成果也开始应用在我们的日常生活中。

什么是GPU服务器？

GPU服务器是基于GPU的应用于视频编解码、深度学习、科学计算等多种场景的快速、稳定、弹性的计算服务。

GPU服务器有什么作用？

GPU 加速计算可以提供非凡的应用程序性能，能将应用程序计算密集部分的工作负载转移到 GPU，同时仍由 CPU 运行其余程序代码。从用户的角度来看，应用程序的运行速度明显加快.

理解 GPU 和 CPU 之间区别的一种简单方式是比较它们如何处理任务。CPU 由专为顺序串行处理而优化的几个核心组成，而 GPU 则拥有一个由数以千计的更小、更高效的核心（专为同时处理多重任务而设计）组成的大规模并行计算架构。

GPU服务器的主要应用场景

海量计算处理

GPU 服务器超强的计算功能可应用于海量数据处理方面的运算，如搜索、大数据推荐、智能输入法等：

• 原本需要数天完成的数据量，采用 GPU 服务器在数小时内即可完成运算。

• 原本需要数十台 CPU 服务器共同运算集群，采用单台 GPU 服务器可完成。

深度学习模型

GPU服务器可作为深度学习训练的平台：

1.GPU 服务器可直接加速计算服务，亦可直接与外界连接通信。

2.GPU 服务器和云服务器搭配使用，云服务器为 GPU 云服务器提供计算平台。

3.对象存储 COS 可以为 GPU 服务器提供大数据量的云存储服务。

如何正确选择GPU服务器?

选择GPU服务器时首先要考虑业务需求来选择适合的GPU型号。在HPC高性能计算中还需要根据精度来选择，比如有的高性能计算需要双精度，这时如果使用P40或者P4就不合适，只能使用V100或者P100；同时也会对显存容量有要求，比如石油或石化勘探类的计算应用对显存要求比较高；还有些对总线标准有要求，因此选择GPU型号要先看业务需求。

当GPU型号选定后，再考虑用什么样GPU的服务器。这时我们需要考虑以下几种情况：

第一、 在边缘服务器租用上需要根据量来选择T4或者P4等相应的服务器，同时也要考虑服务器的使用场景，比如火车站卡口、机场卡口或者公安卡口等；在中心端做Inference时可能需要V100的服务器，需要考虑吞吐量以及使用场景、数量等。

第二、 需要考虑客户本身使用人群和IT运维能力，对于BAT这类大公司来说，他们自己的运营能力比较强，这时会选择通用的PCI-e服务器；而对于一些IT运维能力不那么强的客户，他们更关注数字以及数据标注等，我们称这类人为数据科学家，选择GPU服务器的标准也会有所不同。

第三、 需要考虑配套软件和服务的价值。

第四、 要考虑整体GPU集群系统的成熟程度以及工程效率，比如像DGX这种GPU一体化的超级计算机，它有非常成熟的从底端的操作系统驱动Docker到其他部分都是固定且优化过的，这时效率就比较高。

作为国内品牌服务器提供商，天下数据GPU机架式服务器拥有大规模并行处理能力和无与伦比的灵活性。它主要应用于为计算密集型应用提供足够的处理能力。GPU加速运算的优势就在于它可以一边由CPU运行应用程序代码，一边由图形处理单元（GPU）处理大规模并行架构的计算密集型任务。天下数据GPU服务器是医疗成像、广播、视频转码市场的理想选择。

4. 做深度学习，需要配置专门的GPU服务器吗

深度学习是需要配置专门的GPU服务器的:

深度学习的电脑配置要求：

1、数据存储要求

在一些深度学习案例中，数据存储会成为明显的瓶颈。做深度学习首先需要一个好的存储系统，将历史资料保存起来。

主要任务：历史数据存储，如：文字、图像、声音、视频、数据库等。

数据容量：提供足够高的存储能力。

读写带宽：多硬盘并行读写架构提高数据读写带宽。

接口：高带宽，同时延迟低。

传统解决方式：专门的存储服务器，借助万兆端口访问。

缺点：带宽不高，对深度学习的数据读取过程时间长(延迟大，两台机器之间数据交换)，成本还巨高。

2、CPU要求

当你在GPU上跑深度网络时，CPU进行的计算很少，但是CPU仍然需要处理以下事情：

（1）数据从存储系统调入到内存的解压计算。

（2）GPU计算前的数据预处理。

（3）在代码中写入并读取变量，执行指令如函数调用，创建小批量数据，启动到GPU的数据传输。

（4）GPU多卡并行计算前，每个核负责一块卡的所需要的数据并行切分处理和控制。

（5）增值几个变量、评估几个布尔表达式、在GPU或在编程里面调用几个函数——所有这些会取决于CPU核的频率，此时唯有提升CPU频率。

传统解决方式：CPU规格很随意，核数和频率没有任何要求。

3、GPU要求

如果你正在构建或升级你的深度学习系统，你最关心的应该也是GPU。GPU正是深度学习应用的核心要素——计算性能提升上，收获巨大。

主要任务：承担深度学习的数据建模计算、运行复杂算法。

传统架构：提供1~8块GPU。

4、内存要求

至少要和你的GPU显存存大小相同的内存。当然你也能用更小的内存工作，但是，你或许需要一步步转移数据。总而言之，如果钱够而且需要做很多预处理，就不必在内存瓶颈上兜转，浪费时间。

主要任务：存放预处理的数据，待GPU读取处理，中间结果存放。

深度学习需要强大的电脑算力，因此对电脑的硬件配置自然是超高的，那么现在普通的高算力电脑需要高配置硬件。

5. 电脑如何开启gpu加速

作为Windows 10的一项重要功能，微软在分享了GPU硬件加速细节后，现在还为大家送上了开启它的技巧，对于中低端设备来说，提升效果还是很明显的。
想要开启上述功能，首先你要确定自己的系统是不是已经升级至Windows 10 May 2020（20H1/Version 2004）或者Build 19041及更高版本，同时还需要NV GeForce 451.48或Adrenalin 2020版20.5.1 Beta驱动程序。AMD目前已经发布了测试版本，Intel正计划在不久的将来更新他们的WDDM 2.7驱动程序，支持硬件加速GPU。
在确定了上述条件后，两种开启GPU硬件加速的方法是：
第一种方式是：在Windows搜索中，搜索"regedit"并选择第一个选项；打开 "注册表编辑器"；在注册表编辑器中，导航到 "HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Control/GraphicsDrivers"；找到名为"HwSchMode"的DWORD选项，选项中的值2意味着启用，1意味着关闭。
第二种方式是：打开开始菜单，点击设置齿轮图标；在设置应用中，点击"系统"并打开"显示"选项卡；在"多显示器"部分，选择"图形设置"；开启或关闭 "硬件加速GPU调度 "选项；重新启动系统
微软透露的细节显示，有了硬件加速GPU调度，Windows 10现在可以将内存管理控制权交给基于GPU的专用调度处理器，理论上应该可以解放一下CPU，减少输入滞后。这项功能在高端CPU上表现并不明显，因为它们能够完全胜任GPU帧处理。
不过，在低端和中端CPU上进行游戏时，硬件加速GPU调度才会被证明是有用的。根据微软的说法，硬件加速GPU调度还应该减少GPU调度的开销，并使图形子系统的一个基本支柱现代化，为 "未来的事情做好准备"。

6. 普通电脑PC怎样跑TensorFlow的GPU模式

需要看你的PC配置是否够，TF的GPU模式只支持N卡，然后计算能力高于3.0，以下说下安装步骤：

1、首先要注册NVIDIA developer的帐号，分别下载CUDA和cuDNN。

2、确认准备gcc版本，安装依赖库sudo apt-get install freegl。

3、安装CUDA。

4、解压cuDNN。

5、clone tensorflow源码，configure配置。

6、编译安装。

7、最后一步测试。

7. 听说GPU可以提高服务器计算速度，想给戴尔r710服务器配个GPU ，不知道支持不麻烦高手给点指导性意见

只要服务器中有PCI-E X16的总线，就可以安装。
但GPU加速必须受到软件的支持，而且只对可以并行化的运算进行加速。另外，Nvidia显卡需要使用CUDA编程来实现加速功能，不是插上就能用的，AMD则需要Stream。一般都是用作高性能计算（HPC）的辅助计算加速卡，对于商务应用来说，没什么实际作用。不建议安装。

8. 选择GPU服务器的时候应该注意什么

我个人觉得还是要重视产品的质量和公司的实力，当然性价比高的肯定是优先考虑。在选择GPU服务器的时候，我们公司还是比较看中产品安全和质量的，当时谨慎挑选了很久，最终还是选择了思腾合力。一方面是思腾合力的公司实力和口碑都挺好的，另一方它还是英伟达精英级别代理商，而且拥有完善的研发、生产、制造基地，这个是其他公司比不了的。所以建议你多对比看看，公司和产品都很重要的，不要贪小便宜。

9. GPU服务器的作用是什么

GPU服务器，简单来说，GPU服务器是基于GPU的应用于视频编解码、深度学习、科学计算等多种场景的快速、稳定、弹性的计算服务，我们提供和标准云服务器一致的管理方式。出色的图形处理能力和高性能计算能力提供极致计算性能，有效解放计算压力，提升产品的计算处理效率与竞争力。

下面几个场景我们可以使用CPU服务器，如果办公场景需要建议大家配置GPU服务器，如果场景无关，使用普通的服务器也无妨。在下会根据大家的使用场景给到大家相匹配的服务器类型和配置！

一、简单深度学习模型

使用GPU服务器为机器学习提供训练或者预测，腾讯GPU云服务器带有强大的计算能力，可作为深度学习训练的平台，

可直接与外界连接通信。可以使用GPU服务器作为简单深度学习训练系统，帮助完成基本的深度学习模型

二、复杂深度学习模型，腾讯云GPU服务器具有强大的计算能力，可以将

GPU服务器作为深度学习训练的平台。结合云服务器 CVM提供的计算服务、对象存储

COS提供的云存储服务、云数据库MySQL提供的在线数据库服务、云监控和大禹提供的安全监控服务，图片、视频编解码，可以采用GPU服务器进行渲染，利用 GPU 加速器指令，让数以千计的核心为您所用，加快图形图像编码渲染速度。

这些是一些可以用到GPU服务器的场景，所以如果您的使用需要比较高端，建议还是使用GPU服务器。

10. 如何使用gpu服务器和个人电脑连接

远程PLC通讯需要以下条件1，一般使用VPN----虚拟专用网络（VirtualPrivateNetwork），搭建这个平台的方式有很多，可以参考以下带VPN功能的路由器或搭建服务器；2，把PLC通讯方式转成以太网，串口PLC需要配以太网通讯模块；3，远程电脑和设备电脑都必须能连接外部英特网；4，必须申请一个固定IP或动态域名；搭建这个平台的成本是比较高，我曾经做过在深圳下载程序到济南现场的PLC；