--- title: 首个以太网DDC预定AI结构现已投入生产 description: 在本文发布时，该集群已在线两个月，处理来自各种应用程序的推理和训练流量。ByteDance现有的操作工具包，专为非调度矩阵设计，很容易移植到这个集群。正如预期的那样，集群展示了出色的性能，并提供了流畅的用户体验。 image: https://get.drivenets.com/hubfs/First-Ethernet-DDC-Scheduled-AI-Fabric-Now-in-Production-TOP%20(1).jpg --- [![logo](https://get.drivenets.com/hs-fs/hubfs/drivenets-images/logo.png?width=231&height=47&name=logo.png)](https://get.drivenets.com/china?hsLang=en) - [用户案例](https://get.drivenets.com/zh-cn/use-cases-cn) - [大规模路由场景](https://get.drivenets.com/zh-cn/use-cases-cn/#high-scale-routing) - [AI 网络矩阵](https://get.drivenets.com/zh-cn/use-cases-cn/#ai-networking) - [产品](https://get.drivenets.com/zh-cn/products-cn) - [博客](https://get.drivenets.com/zh-cn/blog-cn) - [资源](https://get.drivenets.com/zh-cn/resources-cn) - [联系我们](https://get.drivenets.com/zh-cn/contact-cn) - DriveNets - [About Us](https://drivenets.com/company/) - [Leadership](https://drivenets.com/company/#leadership-anch) - [Investors](https://drivenets.com/company/#investors) - [Partners](https://drivenets.com/partners/) - [Careers](https://drivenets.com/careers/) # 首个以太网DDC预定AI结构现已投入生产 ![](https://get.drivenets.com/hs-fs/hubfs/First-Ethernet-DDC-Scheduled-AI-Fabric-Now-in-Production-TOP%20(1).jpg?width=1160&height=607&name=First-Ethernet-DDC-Scheduled-AI-Fabric-Now-in-Production-TOP%20(1).jpg) September 9, 2024 ![Dudy ](https://get.drivenets.com/hs-fs/hubfs/Dudy_Off-White.png?width=300&height=300&name=Dudy_Off-White.png) By Dudy Cohen ![Alvin Yu Zhang ](https://get.drivenets.com/hs-fs/hubfs/1704345897899-alvin.jpeg?width=800&height=800&name=1704345897899-alvin.jpeg) Translated by Alvin Yu Zhang [![linkedin](https://get.drivenets.com/hubfs/Hermitcrabs%20Assets/linkedin.svg)](https://www.linkedin.com/in/sani-ronen-5870491/) ``` 自2022年底以来，人工智能（AI）和机器学习（ML）经历了急剧增长，超大规模企业建立了庞大的人工智能基础设施。TikTok和抖音的运营商字节跳动（ByteDance）也在多个用例和应用中采用了人工智能/机器学习。 ``` 字节跳动现在正在构建用于训练和推理的通用图形处理单元（GPGPU）集群，训练集群越来越大，并带来了新的网络基础设施挑战。 ## 为什么延迟对AI工作负载性能至关重要？ AI工作负载周期由三个主要的重复步骤构建。在计算阶段，GPU在执行并行计算指令。在通知阶段，计算结果根据集合通信模式发送到其他GPU。最后，在同步阶段，计算会暂停，直到来自所有GPU的数据到达。可以很容易地理解，最慢路径（也称为最坏情况尾部延迟）是对作业完成时间（JCT）影响最大的路径。 ## 关键的人工智能网络基础设施需求 构建在作业完成时间（JCT）方面具有最高性能的大规模GPU集群 这是基于： - 一种提供高可用性、低延迟、最小抖动和无损环境的网络结构——在执行集合操作时，需要最小化GPU等待网络资源的空闲周期 - 从可能导致轻微延迟增加和作业重启之间差异的故障中无缝恢复 - 在任何规模和不同工作负载下的一致性能结构，包括非阻塞对分带宽、低延迟、数据包丢失等。 创建网络架构的灵活性和开放性，从而实现运营和供应链的灵活性 这是基于： - 一个开放的生态系统，支持任何GPU和网络接口控制器/卡（NIC），与工作负载无关，并可容纳多种应用程序和配置 - 基于标准的（以太网）技术，与导致供应商锁定的InfiniBand等专有技术相反 - 超可扩展性——在单个AI集群中支持数千个400/800G端口 ## DDC——一种调度矩阵解决方案 分布式解耦机箱（DDC）是一种满足上述所有要求的预定以太网结构解决方案。 它是一种调度矩阵，具有以下优点： - 基于信元的矩阵转发使整个集群充当单个以太网节点——支持从任何GPU到任何GPU的单个以太网跳跃，就像连接机箱一样，只是规模比机箱的限制要大得多 - Clos物理架构——其中 top-of-rack（ToR）交换机是网络云数据包转发器（NCP）白盒，而矩阵交换机是网络云和结构（NCF）白盒 - 信元分割机制——从入口NCP运行到所有NCF，再回到出口NCP，从而确保完全平等的负载平衡，没有拥塞，也没有长流 ![First-Ethernet-DDC-Scheduled-AI-Fabric-Now-in-Production-IMAGE1-768x466](https://get.drivenets.com/hs-fs/hubfs/First-Ethernet-DDC-Scheduled-AI-Fabric-Now-in-Production-IMAGE1-768x466.png?width=768&height=466&name=First-Ethernet-DDC-Scheduled-AI-Fabric-Now-in-Production-IMAGE1-768x466.png) - 无数据包丢失——入向NCP对每个出向NCP都有虚拟输出队列（VOQ）和基于授权的流控制 - 每个集群支持32K GPU（800Gbps） - 无损、可预测的连接、低延迟和几乎零抖动 - 纳秒级故障切换，无作业重置 - 无供应商锁定——与供应商无关的GPU、DPU/NIC、ASIC、工作负载 - 多样化的人工智能应用支持——即使网络需求发生变化，也能提供高性能 - 基于以太网——确保互操作性，并利用众所周知的协议（以太网）简化构建和操作 - 经过测试和现场验证的解决方案——DriveNets Network Cloud已经为世界上最大的网络提供支持 ## 字节跳动（ByteDance）之旅 ByteDance与DriveNets和Broadcom合作，在过去几个月里测试了DDC调度矩阵，并取得了积极成果。这促使ByteDance于2024年7月部署了世界上第一个由DDC调度矩阵驱动的1K GPGPU生产集群。 配置和规模 计算集群由1280个xPU和640个端点组成，速度为400GE。它采用两层DDC构建，为整个集群形成了一个非阻塞域。 Leaf层由20个紧凑的2RU NCP白盒组成，每个白盒由2个Broadcom Jericho2C+ASIC赋能，提供32个400GE到xPU的端口和40个400G到Spine的端口。Spine层包括20个具有相同2RU外形的NCF白盒，每个盒使用两个Broadcom Ramon ASIC，每个系统总共提供48个400G端口。 NCP Leaf节点提供预留过载配置功能。每个Leaf与20个Spine NCF相连，允许大约25%的冗余。即使在多达三个NCF故障的情况下，该结构也可以保持近100%的产量。根据ByteDance的鉴定结果，进一步的故障会线性地影响性能。 分布式或集中式管理 调度矩阵可以集中管理，也可以以分布式方式管理。对于集中管理，控制器（两个，1主控制器+1辅助控制器）协调NCP和NCF，在专用服务器上运行协议。ByteDance选择了一种基于开创性的DriveNets网络操作系统（DNOS）的分布式方法，类似于管理每个节点独立运行协议的非调度矩阵，操作变化最小。这种方法与ByteDance现有的编排系统无缝集成。 功率效率 NCP和NCF白盒具有很高的能效。在28.8T和19.2T交换容量下，不含光模块的典型功耗分别为667W和377W。这允许灵活的物理放置。根据数据中心的功率和热容量，NCP可以与xPU服务器放置在同一机架中，也可以与NCF放置在网络机架中。这种功率和热性能的灵活性使ByteDance能够在数据中心内以最佳配置放置NCP和NCF。 经验证的解决方案 在本文发布时，该集群已在线两个月，处理来自各种应用程序的推理和训练流量。ByteDance现有的操作工具包，专为非调度矩阵设计，很容易移植到这个集群。正如预期的那样，集群展示了出色的性能，并提供了流畅的用户体验。 而这仅仅是个开始……   相关内容 [![clos-featured-920x500](https://get.drivenets.com/hs-fs/hubfs/clos-featured-920x500.png?width=920&height=500&name=clos-featured-920x500.png)](https://get.drivenets.com/zh-cn/blog-cn/can-you-really-compare-clos-to-chassis-when-running-ai-applications?hsLang=en) ## [Clos 和机箱在运⾏⼈⼯智能应⽤⽅⾯真的有可⽐性吗？](https://get.drivenets.com/zh-cn/blog-cn/can-you-really-compare-clos-to-chassis-when-running-ai-applications?hsLang=en) [了解更多](https://get.drivenets.com/zh-cn/blog-cn/can-you-really-compare-clos-to-chassis-when-running-ai-applications?hsLang=en) [![infiniband-vs-featured-920x500](https://get.drivenets.com/hs-fs/hubfs/infiniband-vs-featured-920x500.png?width=920&height=500&name=infiniband-vs-featured-920x500.png)](https://get.drivenets.com/zh-cn/blog-cn/infiniband-vs-ethernet-why-ethernet-fits-ai-networking-needs?hsLang=en) ## [为什么 InfiniBand 在人工智能组网方面不如以太网](https://get.drivenets.com/zh-cn/blog-cn/infiniband-vs-ethernet-why-ethernet-fits-ai-networking-needs?hsLang=en) [了解更多](https://get.drivenets.com/zh-cn/blog-cn/infiniband-vs-ethernet-why-ethernet-fits-ai-networking-needs?hsLang=en) [![ddc-ai-wp-featured-920x500](https://get.drivenets.com/hs-fs/hubfs/ddc-ai-wp-featured-920x500.png?width=920&height=500&name=ddc-ai-wp-featured-920x500.png)](https://get.drivenets.com/zh-cn/resources/ddc-as-an-effective-interconnect?hsLang=en) ## [大型人工智能计算集群高效互连解决 方案——Distributed Disaggregated Chassis (DDC)](https://get.drivenets.com/zh-cn/resources/ddc-as-an-effective-interconnect?hsLang=en) [了解更多](https://get.drivenets.com/zh-cn/resources/ddc-as-an-effective-interconnect?hsLang=en) ## [用户案例](https://get.drivenets.com/zh-cn/use-cases-cn?hsLang=en) - [大规模路由场景](https://get.drivenets.com/zh-cn/use-cases-cn/#high-scale-routing) - [AI 网络矩阵](https://get.drivenets.com/zh-cn/use-cases-cn/#ai-networking) ## [产品](https://get.drivenets.com/zh-cn/products-cn?hsLang=en) ## [资源](https://get.drivenets.com/zh-cn/resources-cn?hsLang=en) - [博客](https://get.drivenets.com/zh-cn/resources-cn) - [新闻与活动](https://get.drivenets.com/zh-cn/resources-cn) ## [联系我们](https://get.drivenets.com/zh-cn/contact-cn?hsLang=en) ## [DriveNets](https://drivenets.com/) - [About DriveNets](https://drivenets.com/company/) - [Leadership](https://drivenets.com/company/#leadership-anch) - [Investors](https://drivenets.com/company/#investors) - [News & Events](https://drivenets.com/news-and-events/) - [Partners](https://drivenets.com/partners/) - [Careers](https://drivenets.com/careers/) ## DriveNets HQ 1 Zarhin Ra’anana 4366235 Israel [info@drivenets.com](mailto:info@drivenets.com) ## DriveNets 中国 电子邮件: china@drivenets.com - ##### 微信公众号 ![WeChat account QR code](https://get.drivenets.com/hs-fs/hubfs/WeChat%20account%20QR%20code.jpg?width=430&height=430&name=WeChat%20account%20QR%20code.jpg) - ##### 微信视频号 ![WeChat video QR code](https://get.drivenets.com/hs-fs/hubfs/WeChat%20video%20QR%20code.jpg?width=501&height=503&name=WeChat%20video%20QR%20code.jpg) + Please ensure Javascript is enabled for purposes of [website accessibility](https://userway.org) ![](https://px.ads.linkedin.com/collect/?pid=4703737&fmt=gif)