NVIDIA | BaM与CUDA Dynamic Parallelism的核心区别

hdy

什么引入Dynamic Parallelism？

  在高性能计算领域，GPU凭借强大并行计算能力成为处理科学计算、人工智能、图形渲染等任务的核心硬件。英伟达CUDA (Compute Unified Device Architecture)作为一种通用并行计算平台和编程模型能够充分利用其GPU(图形处理器)的强大并行计算能力,高效地处理各种复杂的计算密集型任务。  然而，传统 CUDA 模型要求所有内核（Kernel）必须由 CPU 预先启动，在面对递归算法、自适应计算、不规则数据结构等场景时存在显著局限性。  CUDA Dynamic Parallelism就是来解决这个问题。

DP基本概念   CUDA DP是CUDA编程模型的一个扩展，CUDA5.0引入的关键特性。允许CUDA内核直接在GPU上创建和同步新的工作（即启动新的内核），实现运行时动态任务生成与调度，从而实现更灵活的并行计算模式。

与静态并行相比，DP 的核心创新在于：

（1）任务生成的本地化：任务调度逻辑完全在 GPU 上执行，无需 CPU 介入

（2）动态资源分配：根据运行时数据特征实时调整并行粒度

（3）算法自然映射：支持递归、条件分支等不规则控制流的并行化

DP核心优势
  有如下几个优势：

（1）消除主机端瓶，颈传统模式中，每次内核启动需经历 "CPU 准备参数→PCIe 传输→GPU 执行" 的固定流程。DP 将任务启动逻辑迁移至设备端，避免了频繁的主机 - 设备同步。例如，在递归计算中，子内核启动延迟从 PCIe 级（微秒级）降至 GPU 内核内函数调用级（纳秒级）。

（2）细粒度任务调度，线程可根据局部数据特征动态决定是否启动子任务。如在自适应网格计算中，仅当网格单元误差超过阈值时才启动子内核进行细化，实现计算资源的精准分配。

（3）支持复杂算法结构，传统CUDA难以高效实现的递归算法（如快速傅里叶变换、光线追踪的光线分叉），可通过DP直接映射为内核层级调用，避免繁琐的迭代化改造。

DP硬件支持

  DP需要计算能力3.5 及以上的GPU支持，具体对应：

• Kepler 架构（如 GK110，CC 3.5）及后续架构（Maxwell、Pascal、Volta、Ampere）
• 不支持 Fermi 架构（CC <3.5）及更旧型号
• 设备兼容性可通过cudaGetDeviceProperties查询deviceOverlap和concurrentKernels字段确认。
  
  

注：更多关于DP的工作原理可以查看官方文档。
DP与BaM对比  CUDA DP关注的是计算任务的动态生成和调度，允许GPU内核自主启动子内核，优化计算流程；已经应用于产品中；  BaM关注的是存储IO访问，允许GPU直接访问存储设备，绕过CPU，优化数据IO流程；在产品中应用非常少。  两者在功能和应用场景上有明显差异。