BLOG

Record, summarize, and improve.

GPU架构

Grid
↘ Giga Thread Engine 管理整个 Grid / Block 在 SM 间分配
└── Streaming Multiprocessor (SM) Hardware
└── Thread Block Software
└── Warp (执行单元) → CUDA Thread (×32)
↘ Warp Scheduler(SM 内控制 Warp 执行)
↘ PTX Instruction(中间表示)
↘ CUDA Core (Thread Processor)

Image in a image block

GPC

TPC

SM

Image in a image block

Special Function Units 特殊功能单元

Load/Store Units (LD/ST) 加载/存储单元 (LD/ST)

CUDA 核心处理FP32、FP64和INT运算

Tensor Cores处理矩阵乘法、矩阵乘法累加 (MMA) 、混合精度矩阵乘法,张量核心在一项称为融合乘法加法 (FMA) 的操作中同时执行乘法和加法。