gpu编程入门

1. 计算机体系结构：GPU架构入门

在计算机体系结构中，GPU架构作为SIMD（单指令多数据）的集大成者，以其充分利用数据并行性，在大规模数据处理上展现出与CPU无可比拟的优势，成为AI时代的重要力量。GPU本质上是一台执行指令的机器，其流水线管道采用了SIMD机制，但与SIMD的编程方案有所不同。SIMD编程相对友好且容易理解，通过封装好的库函数实现多个操作数的并行操作。与此不同，GPU采用基于线程编程的概念，对于程序员而言可能不那么友好。

理解这一差异的关键在于区分编程模型与执行模型的概念。编程模型指的是程序员如何表达代码，如顺序执行、Dataflow、多线程或SIMD方式。执行模型则是硬件如何执行这些代码，涉及乱序执行、向量处理器或脉动阵列执行等。编程模型与执行模型之间存在差异，理解它们之间的区别与联系对于更好地理解程序与硬件至关重要。

以for循环为例，使用三种编程模型（SISD、SIMD、Multithreading）来挖掘指令并行性。SISD编程中，迭代顺序直观，对程序员友好。SIMD编程则通过同一个指令操作多组数据，对程序员而言非常直观。SPMD（单指令多线程）编程模型是GPU的核心，它认为N次迭代对应不同线程的执行，每个线程完成一次迭代，所有线程执行同一指令，但针对不同数据。硬件实现上，SIMT（单指令多线程）执行模型被用于运行SPMD编程模型，通过动态调度形成Warp，每个Warp包含一组线程，执行相同指令，实现SIMD操作。

SIMT执行模型中，每个线程有其独立上下文，Warp由动态调度形成，本质是SIMD操作的集合。FGMT（Warp-Level FGMT）架构允许每个周期发射不同Warp，提高灵活性，避免硬件资源浪费。Warp执行通过多个Lane（空间并行度）实现纵向并行，结合时间上的并行，形成Warp。每个周期可并行执行多个线程，分时执行不同线程，实现时间和空间双重并行。

在GPU中，Lane对应Vector Processor的PE组合，多个Lane组合形成Array Processor。通过软件（编译器）将代码并行化，实现Kernel或核函数在GPU上的执行。Warp的组织和映射到硬件Warp由GPU硬件和驱动程序自动处理。传统SIMD与基于Warp的SIMD的主要区别在于Warp内部线程路径的多样性，可能导致SIMD利用率降低。通过动态合并Warp，将路径相同的线程合并，提高SIMD利用率。

以英伟达GeForce GTX285为例，其具有30个Core，每个Core包含8-way SIMD功能单元，理论上可同时执行30720个线程。通过FGMT方式交织运行32个Warp，每个Warp包含32个线程，支持1024个线程的并行执行。GPU通过实现高并行度，达到显着的计算性能，成为现代计算领域的重要工具。