理解Routable PCIe在现代可组合基础设施中的性能特征
引言可组合基础设施的出现彻底改变了现代数据中心中计算、内存和存储资源的组织方式。可路由PCIe (Peripheral Component Interconnect Express) 作为主要的集群互连技术，在这种转变中发挥着核心作用。本文探讨可路由PCIe在可组合基础设施环境中的关键特征和性能影响。基本概念
传统PCIe在单一主机内运行，通过点对点连接将处理器与外围器件相连。随着PCIe非透明桥接(NTB)器件的引入，PCIe传输现在可以跨越多个交换域，使服务器能够将远程PCIe器件像本地器件一样弹性集成。这种能力构成了可组合基础设施的基础，使资源能够根据工作负载需求动态分配。图1展示了rPCIeBench的软件架构及其目标可组合硬件测试平台，包括主机适配器、PCIe交换机和端点适配器。可路由PCIe的基本组件
可路由PCIe fabric架构建立在多个协同工作的复杂组件之上。外部PCIe交换机构成了这种架构的主干，提供可扩展的拓扑结构，可以跨不同主机互连多个PCIe器件。这些交换机与服务器内的传统PCIe交换机有根本区别，因为需要处理复杂的路由决策并维护跨域连接。
主机PCIe适配器作为服务器和fabric之间的网关，执行关键的协议转换任务。这些适配器必须无缝桥接本地PCIe操作和fabric范围的通信，确保远程器件对主机系统表现为本地资源。位于fabric另一端的端点PCIe适配器在独立机箱中容纳各种加速器和I/O器件。这些端点必须能够响应来自多个主机的请求，同时保持适当的隔离和资源管理。性能特征分析
可路由PCIe的延迟特征与本地PCIe操作相比显示出显著差异。本地PCIe的单向延迟为379.0纳秒，而可路由PCIe需要868.6纳秒才能完成相同操作。这489.6纳秒的额外开销代表了129.2%的延迟增加，主要源于fabric中每个跳跃点所需的额外处理时间。这种延迟差异在处理小规模PCIe传输时特别明显。图2展示了不同数据大小下MMIO、器件到主机、主机到器件通信的延迟特征。
带宽性能分析揭示了不同通信场景下的复杂模式：
[*]主机到器件(H2D)操作达到最大带宽8.4 GB/s，比本地PCIe性能降低30.4%
[*]器件到主机(D2H)通信表现较好，达到11.3 GB/s，仅降低6.9%
[*]器件到器件(D2D)通信性能高度依赖于通信是否保持在PCIe子树内或需要跨越交换机。在子树内，D2D操作可分别达到9.8/8.0 GB/s的读/写速度，而跨交换机通信则降至2.3/4.3 GB/s。
流量编排特征
可路由PCIe fabric实现了复杂的流量编排机制，确保资源高效利用。第一个关键特征是最大最小带宽分区，每个通信端口通过信用点对点循环调度在活动通道间实现。这种调度方法在并发流之间实现近似最大最小带宽分区，确保公平的资源分配。图3展示了在fabric不同点争用资源的两个PCIe流之间的带宽分区。
第二个显著特征是fabric能够实现快速端到端带宽同步。通过在适配器和交换机处维持最小缓冲，使带宽可用性信息能够通过信用点从拥塞点快速传播到路径的其他部分。这种设计选择能够快速适应变化的流量模式，但需要谨慎管理信用分配和流量控制。
第三个重要特征是正交路径无干扰。不共享公共链路的通信路径可以被视为物理隔离的域，显示最小的性能干扰。这种特性在正确规划时能够实现fabric上的高效并行通信。图4展示了fabric中正交路径间的性能干扰模式。性能模型和优化
可路由PCIe的性能模型遵循几个基本规则来管理流量编排：
[*]最大带宽限制原则：共同位于一个链路上的流的总带宽不能超过链路容量
[*]单链路带宽分区规则：并发流之间的带宽分配取决于未完成字节比率
[*]最大最小公平分配原则：通过每个通信实体的信用点对点循环调度来实现
[*]隔离域概念：正交路径可以被视为独立的通信域，简化性能预测和优化
实际应用考虑
在设计使用可路由PCIe的系统时，需要考虑以下关键因素：
1. 数据传输优化
[*]超过4KB的大型数据传输可以有效分摊H2D和D2H场景中的可路由PCIe引起的延迟开销
[*]实施高效的批处理机制可以显著提升性能
2. 路径规划
[*]必须同时考虑器件在fabric中的位置和预期的数据传输大小
[*]跨越交换机可能对性能产生实质性影响
[*]基于信用的流量控制机制意味着更长的路径需要更复杂的信用协调，特别是在高带宽利用率场景下
3. 资源分配策略
[*]并发PCIe流之间的带宽分区取决于未完成字节比率
[*]这种理解可以指导开发更高效的调度算法和资源管理策略
系统设计建议
1. 拓扑优化
[*]根据工作负载特征设计最优的物理连接布局
[*]最小化关键路径上的跳跃次数
[*]为高频率通信提供专用路径
2. 缓冲管理
[*]在关键点实施智能缓冲策略
[*]平衡延迟和吞吐量需求
[*]实施自适应缓冲大小调整
3. 流量控制
[*]实施细粒度的流量控制机制
[*]动态调整信用分配
[*]优化拥塞管理策略
结论
可路由PCIe通过其可预测的特性，包括最大最小公平性、快速带宽同步和正交路径无干扰，为可组合基础设施提供了坚实的通信基础。了解这些特性对于构建能充分利用可路由PCIe能力的高效系统具有重要意义。在系统设计中，需要权衡延迟、带宽、可扩展性等多个因素，通过精心的规划和优化来实现最佳性能。参考文献
W. Hou, J. Zhang, Z. Wang and M. Liu, "Understanding Routable PCIe Performance for Composable Infrastructures," in Proceedings of the 21st USENIX Symposium on Networked Systems Design and Implementation (NSDI '24), Santa Clara, CA, USA, April 16-18, 2024, pp. 297-312.END
页:
[1]
