GPU：人工智能革命的“引擎”与“燃料”

hdy

计算机图形的发展史，某种程度上正是GPU的演化史。从最初的简单显示模块出发，GPU逐步演进为引领人工智能浪潮的算力核心，实现了从“图形专用硬件”向“通用计算平台”的跨越。

即使像Deepseek这样新兴的AI公司，通过算法优化降低训练成本并提升模型效率，也依然离不开GPU这一基础设施的支持。在某种意义上，GPU正在这场技术变革中扮演着“引擎”甚至“燃料”的角色。

聊起GPU，我们不禁要回溯它的“前世今生”：为什么GPU会从CPU中独立出来？为什么GPU从“图形处理器（Graphics Processor）”走向了“通用计算”的道路？在这场人工智能引发的算力竞赛中，国产化之路又将如何前行？本文将围绕这些问题展开，希望能够为读者提供一些新的视角与思考。

一、GPU的前世：从简单显示到可编程图形加速器（一）简单显示与2D图形时代

在计算机发展的早期阶段，尤其是DOS 时代及 Windows 3.1 等早期图形操作系统时期，图形显示的实现机制相对简单。屏幕显示内容的生成主要由CPU负责，显卡仅作为信号输出的桥梁，将处理后的图像信号传输至显示器。这一时期的显卡功能较为单一，本质上是由一块内存与数字-模拟转换器（DAC）构成。将CPU写入的图像数据转换为VGA模拟信号传输给显示设备。

图1 早期图形操作系统十分基础的图形界面

随着操作系统迈入图形化时代，用户对交互体验的需求也发生了转变，不再满足于单一的字符界面，开始频繁与窗口、图标、图形控件以及菜单动画等元素进行交互。这种图形界面的转变对系统性能提出了新的挑战。尽管CPU具备强大的通用计算能力，但其在图形处理方面存在诸多局限性，主要体现在以下三点：

• 处理模式。CPU以串行处理为主，而图形任务往往具有高度的并行性特征。一帧图像中包含的成千上万个像素，在理论上可以同时进行绘制操作，这与 CPU 的串行模式并不契合。
• 内存访问。绘图操作对内存的访问极为频繁，每次刷新窗口都涉及大量屏幕区域的内存复制与覆盖操作。CPU与系统内存之间的带宽限制和延迟问题成为了图形性能提升的关键瓶颈。
• 调用开销。图形API的调用需要进行大量的上下文切换以及图形设备接口调用，增加了系统的整体开销，降低了图形处理效率。
  

以Windows GUI为例，当进行窗口的移动、最大化等操作时，都会触发一系列复杂的图形计算任务。若这些任务全部依赖CPU完成，将不可避免地占用大量的处理资源，造成系统卡顿、输入延迟等问题，严重影响用户体验。

为解决上述问题，硬件厂商将显卡从单纯的图像“输出设备”转变为主动参与图形绘制的“处理设备”。这一转变催生了2D图形加速功能，其核心目标是将那些重复性高、资源消耗大但逻辑相对简单的图形任务从CPU转移至显卡处理。

2D图形加速主要负责块拷贝、区域填充、线段与矩形绘制、字体渲染等关键操作，通过在显卡内部集成专用的2D图形引擎，这些图形操作得以脱离CPU独立执行，大幅提升了图形界面的响应速度。2D图形加速开启了一个重要理念，即“图形任务交由专用硬件”，这为后续3D图形加速以及GPU的发展奠定了坚实的基础。

（二）迈向3D图形时代

进入20世纪90年代中期，随着计算机图形学的理论与算法不断成熟及游戏产业、工程仿真、CAD建模等领域的兴起，三维图形渲染需求呈爆发式增长。与主要以显示窗口、文本和图标的2D图形相比，3D图形处理面临着截然不同的技术挑战——不仅需要精确地“画出形状”，更要深度“理解空间”，这涉及模型结构解析、光影物理模拟及动态运动轨迹计算等多维度问题。

在这一时期，《毁灭战士（Doom）》《雷神之锤（Quake）》等早期3D游戏开始风靡，建筑建模、产品设计等专业场景也依赖3D图形技术实现复杂模型的可视化交互。然而，当时主流的CPU与2D图形卡面对这些高复杂度的计算任务已明显吃力。

具体来说， 2D与3D图形渲染技术的核心差异包括：

形象地说，2D图形处理如同在画布上进行平面绘图，侧重于静态图像的快速绘制与显示；而3D图形处理则类似于搭建一个完整的虚拟世界，再利用虚拟摄像机模拟真实世界的透视原理，将三维场景投影到二维平面，过程中涉及大量的空间几何计算。具体而言，在3D渲染流程中，会首先对模型进行矩阵变换（旋转、平移和缩放），随后通过透视投影将三维空间转换为符合人眼视觉的二维图像，并添加光照、阴影、纹理等细节增强图像的真实感。整个过程的计算量相较于2D图形处呈指数级增长，尤其是在实时渲染的3D游戏场景中，传统CPU难以满足每秒30-60帧的流畅显示需求。以《Quake》为例，其单帧画面的计算量可达2D图形处理的数百倍，对CPU的计算资源构成了近乎“灾难性”的负载。

图2 3D游戏中无比复杂的计算需求

为突破这一瓶颈，第一代专用3D加速卡应运而生。这些显卡并非通用图形处理设备，而是专注于卸载CPU中计算最密集的3D渲染任务，通常需要与传统2D显卡协同工作。其中最具代表性的产品是3Dfx于1996年推出的Voodoo系列，它作为首款消费级3D加速卡，仅承担3D渲染功能，不具备2D加速能力，需通过VGA passthrough技术与普通2D显卡连接。

Voodoo在芯片内部集成了三角形处理、光照运算、纹理映射等专用模块，这些专用硬件模块使得原本需要数秒才能渲染完成的3D画面，提升至每秒30帧甚至60帧的流畅显示水平。但这一阶段的3D硬件普遍采用固定图形渲染管线，即硬件的图形处理流程是预先固化的，开发者只能通过有限的参数调整（如纹理分辨率、光照强度）控制渲染效果，缺乏对图形渲染流程的深度定制能力。尽管存在局限性，第一代3D加速卡的出现仍标志着图形处理从CPU主导迈向了专业硬件加速的新时代，为后续GPU的发展奠定了技术基础。

（三）固定功能设计的瓶颈

随着OpenGL和DirectX等图形API在20世纪90年代末逐渐成熟并成为行业标准，GPU厂商基于这些接口构建了固定功能图形管线（Fixed Function Pipeline）。这种设计理念通过硬件专用电路将图形渲染的核心流程固化，形成了一条高度优化但几乎不可更改的硬件流水线，其核心处理阶段包括：顶点变换、光照计算、光栅化、纹理映射等。

固定功能管线的优势在于其极高的硬件执行效率。由于所有处理流程均由专用电路实现，各阶段可高度并行化运行，在DirectX 7 / OpenGL 1.x时代，能够实现流畅的3D场景渲染。例如，NVIDIA Riva TNT2等显卡通过固定管线，在1024×768分辨率下可实现30帧/秒以上的渲染帧率，满足当时主流游戏需求。

然而，这种硬件“写死”的架构存在显著局限性。开发者仅能通过有限的API参数微调渲染效果，无法自定义光照模型、动画算法或纹理处理逻辑，极大限制了创意表达。除此以外，随着新颖的视觉追求不断提出，如卡通风格、物理模拟、实时光线折射等，在缺少内置算法的支持下，固定管线几乎无法实现。最重要的是，固定功能管线设计初衷仅针对图形渲染，无法处理非图形相关计算任务，如科学计算中的矩阵运算、数据处理中的滤波算法等，严重限制了GPU的功能拓展。

这使得当游戏开发者试图在固定管线架构下实现其定制化效果时，只能通过复杂的纹理映射技巧或多次渲染进行模拟，不仅开发难度高，且性能损耗显著。这种局限性与开发者日益增长的创意需求之间的矛盾，推动了图形处理技术向可编程方向发展。

（四）可编程设计的通用性初现

2001年，NVIDIA推出的GeForce 3显卡标志着GPU发展的重要转折点，其首次引入可编程着色器（Programmable Shader）技术，打破了固定功能管线的桎梏。该技术开放了图形渲染流程中两个关键环节——顶点和像素处理的可编程能力。顶点着色器取代了固定管线中的顶点变换与光照计算模块，允许开发者通过高级着色语言（HLSL或GLSL）自定义每个顶点的坐标变换、动画控制及光照效果；像素着色器则使开发者能够精确控制每个像素的处理过程，实现如动态模糊和高动态范围（HDR）渲染等高级视觉效果。可编程着色器的引入，使GPU从单纯的图形加速器转变为具备通用计算能力的SIMD（Single Instruction Multiple Data，单指令多数据）并行处理器。硬件层面，着色器核心配备了指令执行单元、寄存器组和算术逻辑单元，支持条件分支、循环控制和复杂数学运算；软件层面，开发者可通过高级着色语言编写算法，实现对GPU资源的灵活调度。

从更深远的角度看，可编程着色器揭示了GPU作为高度并行计算平台的潜力。由于图形处理中的矩阵运算、向量操作、数据采样等操作与通用科学计算高度相似，开发者开始探索利用GPU执行非图形任务。早期典型应用包括信号处理、数据处理、物理模拟等。这种将计算任务“伪装”成图形渲染的技术实践，标志着通用计算（GPGPU）思想的萌芽。尽管早期实现依赖图形API的间接调用，存在编程复杂、调试困难等问题，但它证明了GPU在图形领域之外的巨大潜力，为后续CUDA、OpenCL等通用计算框架的诞生奠定了技术基础，推动GPU从专用图形处理器逐步演变为通用并行计算平台。

二、GPU的今生：通用计算与AI浪潮的助推器（一）GPU为何适合并行计算

在此之前，让我们思考一个问题：深度学习中常见的矩阵乘法，CPU来算行吗？

假设要计算两个1000×1000的矩阵相乘，根据线性代数原理，每个输出矩阵元素C[j]都需计算A矩阵第i行与B矩阵第j列的点积，这意味着要进行1000×1000=100万次点积运算，而每次点积又包含1000次乘加操作，总计约10亿次浮点乘加运算。

若使用一颗普通的4核心CPU处理该任务，即使利用多线程，也只能把矩阵划分成若干子块分批计算，期间会频繁发生线程调度、缓存替换，带来巨大开销。且矩阵乘法的数据访问模式与CPU缓存设计不匹配，极易导致缓存失效。这时CPU与系统内存之间有限的带宽也会成为数据读取和写入的瓶颈。即便CPU单核性能强劲，完成这一计算任务也可能需要几秒甚至更久。

图3 GPU的魔法：并行的洪流

正如在图像处理过程中，GPU要并行处理多个像素，这种“把成千上万份相同的小任务一次性丢进硬件里同时算完”的设计思路使得GPU处理此类大量、重复的简单任务时，其设计优势得以充分发挥。在矩阵乘法中，它会为每个C[j]启动一个线程，直接并行计算100万个输出元素。每个线程执行的操作一致，即进行1000次乘加运算。这些线程以“线程块”的形式，在GPU成百上千个计算核心上同时运行。数据通过高速共享内存传递，减少了对外部显存的频繁访问，并且利用流水线与隐藏延迟机制，高效地掩盖了访存瓶颈。最终，GPU能够在几百毫秒内完成这一大规模计算任务，运算速度远超CPU。

从架构层面来看，CPU与GPU的设计哲学截然不同。CPU的设计目标侧重于通用性和低延迟响应，核心数量较少，拥有强大复杂的控制逻辑，如分支预测、乱序执行等功能，多级缓存体系保证了每个核心能独立快速访问数据，更适合处理条件跳转多、数据依赖强的控制类任务，是处理复杂逻辑的“通才”。而GPU以追求高吞吐和大规模并行计算为目标，核心数量众多，可达上百甚至上万个，采用简化的控制逻辑，基于SIMT（Single Instruction, Multiple Threads，单指令多线程）架构统一控制线程，拥有大量共享内存和统一的访问模式，适合处理数据高度一致、可并行的密集计算任务，如同专注于大规模计算的“工匠”。

（二）从图形专属到并行计算核心

在固定功能管线时代，GPU的计算资源被严格封装在图形渲染的专用流程中——在顶点变换、光栅化、像素着色等阶段以硬件固化的方式执行。即便进入可编程管线时代，像素着色器与顶点着色器虽允许开发者通过HLSL/GLSL编写自定义计算逻辑，但硬件底层仍深度绑定图形渲染的特定需求：寄存器分配、内存访问模式、指令集设计均围绕三角形网格处理、纹理采样等图形任务优化，GPU的通用计算能力尚未真正向外部开放。

这种局面在2006年迎来转折点——NVIDIA推出的G80架构首次引入统一计算架构，其核心突破在于流式多处理器（Streaming Multiprocessor, SM）。SM的设计理念是大规模并行和高吞吐量。每个SM都内置硬件调度器，可以同时管理上千个线程的执行任务，以Warp（线程束）为粒度进行调度，同一Warp内的线程执行相同的指令，但可操作不同的数据，实现数据层面的并行化。当某些Warp因等待内存访问而被挂起时，SM会自动切换至其它可运行的Warp继续执行，从而避免计算资源空闲。

这种设计使GPU从“图形专用协处理器”演进为“通用并行计算平台”：单个SM可同时调度上千个线程执行同构指令流，多SM集群可提供万亿次浮点运算级别的并行计算网络。此时的GPU已不再是图形渲染的专属工具，而是可扩展的通用并行任务计算基底。

硬件架构的革新只是GPU走向通用计算时代的第一步，这一切少不了软件平台的支持。2006年同步推出的CUDA（Compute Unified Device Architecture，统一计算架构）平台，让开发者可以自由地利用GPU进行计算，GPU从“只会做图形”的芯片，真正成为了“通用计算平台”。 CUDA最大的贡献是构造了“接口—模型—工具链”的一体化开发链条：

首先，CUDA打破了传统图形API接口对GPU算力的封闭。在CUDA出现之前，开发者对GPU的利用必须通过图形渲染的方式“曲线救国”，而CUDA则直接暴露硬件计算单元，开发者可直接通过其所提供的接口，用自己熟悉的编程语言编写内核函数利用GPU进行高效计算。

其次，CUDA引入了创新性的分层并行编程模型，为开发者抽象出了高效的并行任务调度机制，这让开发者不必关注底层实现细节，而是直接以“分而治之”的策略高效组织大规模并行计算，极大提升了并行计算的开发灵活性与执行效率。

不仅如此，涵盖运行时内存管理（CUDA Runtime）、底层调优（Nsight）、高效优化例程（cuBLAS）的全方位工具生态为开发者提供了极大的便利。开发过程变得更加简单高效，创意也能更快落地。

这种全方位突破，使得CUDA在科学计算、金融工程、机器学习等领域迅速发展。更重要的是，它将 GPU 从依附 CPU 的图形协处理器转变为与 CPU 并列的异构计算引擎，为随后的 AI 浪潮奠定了基础。

（三）从并行计算平台到 AI 引擎

在2012年ImageNet竞赛上，Hinton团队的AlexNet模型以8层卷积神经网络架构、ReLU 激活与 Dropout 正则化的支持下，将图像分类错误率从26%降至15.3%。这一历史性突破的背后既是算法的创新，更是计算工具革命倒逼算法创新的典型案例，训练过程中，他们仅使用两块 NVIDIA GTX 580，整体速度比同期主流 CPU 提升七倍以上，直接彰显了 GPU 在大规模矩阵运算上的优势。

图4 AlexNet的结构设计包含了大量的矩阵乘法操作

这一工作也揭示了一个关键事实：深度神经网络的计算本质（大规模矩阵运算）与GPU的并行架构存在天然耦合。 尽管GTX 580仍定位于消费级图形卡，但其高密度计算核心（CUDA Core）、192GB/s的高带宽GDDR5显存和SIMT并行执行模型恰好匹配深度学习的算力需求与计算模式。AlexNet的成功不仅证明了算法本身的可行性，更开启了GPU的“第二春”，从“图形芯片”摇身变为“AI时代的计算引擎”。

具体来说，以深度学习为代表的AI计算，本质是矩阵乘法和非线性变换，如卷积神经网络的大规模图像卷积（矩阵乘法）、Transformer的多头注意力机制（向量点积和矩阵乘加），这类计算具备鲜明的数据并行性与计算密集性特征。

前面提到，CPU的设计哲学是延迟优先，通过分支预测、缓存预取降低单任务执行时间；而GPU遵循吞吐优先原则，以数千核心并行掩盖内存访问延迟。这种差异使GPU在AI计算中展现碾压级性能：训练AlexNet时，2块GTX 580仅用6天完成训练，而同等配置的CPU集群需耗时数月，这促使着GPU成为AI时代的底层引擎。

（四）AI专用计算卡的崛起

在AI计算需求的持续驱动下，GPU架构又从通用并行计算平台演进到垂直领域的定制化引擎。

在硬件架构层面，针对AI中特定算子的优化成为了架构设计的关注点，2017年的Tensor Core单元，把神经网络最耗时的矩阵乘加做成专门电路，并且针对AI对低精度不敏感的特点引入了混合精度能力。以ResNet-50模型为例，Tensor Core的引入使其训练速度提升4倍，显存占用减少50%，为后续千亿参数大模型的出现奠定了基础。

随着对模型设计、优化理念理解的不断加深，稀疏矩阵支持、Transformer Engine、跨芯片高速互联，一个又一个优化方案的引入，使得模型的训练速度、推理延迟、分布式互联效率全方位提升。这时GPU已彻底脱离图形渲染功能，将硬件资源向计算单元高度倾斜。

软件层面的深度适配则让硬件能力得以最大化释放。专注于算法的优化、快速跟进先进方案使得CUDA生态开发者完全不需要担心性能被工具库拖累。随着高效卷积算法、注意力机制优化、分布式感知等一个又一个新颖方案被直接集成到cuDNN等计算库中，开发者可直接构建起从单机优化到多机协同的完整AI计算栈。

如今的AI专用GPU已不再是图形芯片的衍生品，其硬件设计中90%的晶体管用于计算单元和高带宽显存，算力衡量标准也从通用的FLOPS转向AI专属的OPS。这种从架构到生态的全面转型，使GPU成为了深度学习“护城河”。 除此以外，PyTorch等主流框架的新特性优先支持NVIDIA硬件，而GPT-4、PaLM等万亿参数模型的训练更依赖数千块H100组成的集群，这为AI研究者带来了诸多便利，但也使得NVIDIA GPU具备了事实上的“垄断地位”，为同类产品的竞争与国产化替代的发展带来了挑战。

三、国产GPU的发展、机遇与挑战

长期以来，GPU市场呈现高度集中化格局，NVIDIA与AMD双雄并立，其中NVIDIA凭借CUDA生态壁垒与快速的架构迭代，占据全球独立GPU市场80%以上份额，并几乎垄断了高性能计算与AI加速市场。随着GPU在芯片产业链的关键定位及作为大模型建设的关键基础设施，其战略价值不断提升，在 A100、H100 等高端芯片被列入出口管制清单后，中国在大模型训练、气象模拟等关键场景面临算力受制于人的风险。能否构建自主可控的GPU生态，已从技术议题上升为国家战略问题。

（一）国产GPU面对的四项技术挑战

现有GPU的设计十分复杂，国产厂商在架构、驱动、生态和供应链四个环节面临明显短板：

1.图形、计算与访存架构的设计挑战

如今GPU不仅要处理传统图形渲染的光栅化流程，还需同时兼顾现代图形领域的光线追踪与基于深度学习的DLSS、DLAA等图像重建算法；除此以外，它还是深度学习训练、科学仿真等通用并行任务的主力计算平台。因此，现代 GPU 在一块硅片内同时集成了面向标量/向量运算的 CUDA Core、专攻深度学习加速的 Tensor Core，以及负责加速光追计算的 RT Core 等异构单元。

如何在有限的面积与功耗预算下平衡各单元的数量、时钟和能效，是架构设计的首要难题。与此同时，从 HBM/GDDR 到 L2/L1/共享内存的多层存储体系，乃至数据中心对大模型训练及微调时所需要的大规模多卡互联，对访存架构的设计也带来了巨大的挑战。既要带宽充足，又要时延可控，还要兼顾能耗，这种大规模并行架构的微架构设计需要长期技术积累。目前国产GPU芯片仍有较大差距。

2.图形驱动的开发调优挑战

图形驱动需同时支持OpenGL、Vulkan等国际标准，仅Vulkan 1.3规范即包含超过2000个API接口，每个接口都需匹配特定硬件寄存器状态机，针对不同的底层实现做专门优化。以摩尔线程MTT S80为例，其驱动团队花费3年时间才实现对《原神》的流畅运行，而NVIDIA驱动团队优化同一游戏的周期通常仅需数月，这反映出对图形硬件特性的理解与优化能力上的明显差距。

3.软件生态建设挑战

CUDA生态经过20年发展，已形成编译器、运行时、调试工具与高性能库的完整闭环。仅 cuDNN 就包含十万余行针对各类卷积核的手写汇编。国产替代方案如华为CANN需要从头构建类似的优化，这需要对硬件底层与指令集设计进行深度理解与优化，需要逐步改进。

4.IP供应链风险

高端GPU所需显存控制器（如HBM PHY）、总线接口（如PCIe 5.0）等关键IP多掌握在海外供应商手中，一旦授权受限，国内厂商只能自研替代，既拉长周期，也难以在首版流片就达到国际水准。国内某GPU厂商因无法获得ARM Mali GPU高端IP授权而自主研发图形管线，导致首款产品流片后的渲染性能仅达到国际竞品的30%。

（二）国产GPU的突破路径：算法与架构协同创新

Deepseek的成功经验为国产GPU发展提供了新的思路。以往大模型的崛起依赖大量GPU算力堆叠，业内普遍强调算力规模。然而，Deepseek通过算法优化和精细架构设计，以更低的算力成本实现了性能和效率的提升，显著降低了对GPU资源的需求。这一实践证明，通过数据调度算法、模型稀疏化技术等针对性优化方法，在算力有限的条件下也能实现高效训练和推理。

Deepseek的案例凸显了通过软件创新推动硬件适配的可能性，也就是“先用算法革新降低对极端算力的刚性需求，再反向推动硬件作有针对性的演进”，这种路径为国产GPU生态的发展提供了技术参考和实践基础。国产GPU厂商可尝试通过算法和软件的先行创新，以逐步构建自主的GPU软件生态，并推动国产硬件的适配和性能优化。

图5 Deepseek的模型稀疏化设计

除此以外，对国内厂商而言，从细分场景切入，形成差异化的软硬协同体系也是可行的一种方案。当国际巨头已在通用计算领域构建起成熟生态环境，国产GPU的发展路径或应着眼于打造有别于现有CUDA生态的自主技术路线。国产GPU应聚焦于细分市场需求，通过软件与硬件的协同创新，逐步形成具有自主知识产权的全新算力标准。

总结

GPU的发展历程见证了计算机图形与人工智能技术的深度融合：从早期 2D 加速卡到可编程图形处理器，再到今天面向大模型训练的 AI 专用卡，GPU 已成为新一轮科技革命的算力核心。 本文梳理了 GPU 在架构、软件生态和产业格局上的演变脉络，指出国产化替代当前面临的四大技术壁垒及未来可能的突破路径。

面向未来，全球 AI 应用仍将快速扩张，算力需求只增不减。对于国内产业而言，一方面需继续攻坚高端 GPU 架构、驱动和工具链，构建完备生态；另一方面，也要发挥算法创新和场景落地优势，以差异化路线抢占新兴市场。只有通过自主可控的技术体系和开放协作的产业生态，才能在这场算力竞赛中实现赶超，为国家数字经济与科技安全提供坚实支撑。