IPU-POD系列又一个里程碑：IPU-POD128和IPU-POD256发布

2021/10/21

IPU-POD系列又一个里程碑：IPU-POD128和IPU-POD256发布

作者:

这些系统非常适合云超大规模企业（Cloud Hyperscaler）、国家科学计算实验室以及在金融服务或制药等市场拥有大型AI团队的企业。例如，新的IPU-POD可以在整个系统中更快地训练基于Transformer的大型语言模型，在生产中运行大规模商业AI推理应用程序，通过将系统划分为更小的灵活vPOD，为更多开发人员提供IPU访问权限，或者通过在整个系统中探索GPT和GNN等新兴模型来实现科学突破。

IPU-POD₁₂₈和IPU-POD₂₅₆于今日由ATOS和其他系统集成商合作伙伴向客户发货。客户也可在云端购买这两款产品。同时，Graphcore也提供广泛的培训和支持，以帮助客户加快从基于IPU的AI部署中实现价值的时间。

广泛使用的语言和视觉模型的结果显示，该系统具有非常出色的训练性能和高效的扩展能力，随着未来软件的优化，该系统有望进一步提高性能。

除了为集成了处理器端存储的传统大型MatMul模型（如BERT和ResNet50）提供出色性能之外，IPU（智能处理器）还支持更多能够提高稀疏乘法和细粒度计算效率的通用计算类型。EfficientNet系列模型在很大程度上得益于此，但也有各种不是神经网络的机器学习模型，如图神经网络（GNN）。

满足客户需求

众多Graphcore合作伙伴将为他们全球的客户部署IPU-POD₂₅₆和IPU-POD₁₂₈系统，Atos也是其中之一。

Atos集团高级副总裁兼HPC和Quantum主管Agnès Boudot表示：“我们十分高兴将Graphcore的IPU-POD₁₂₈和IPU-POD₂₅₆系统加入到我们的Atos ThinkAI产品组合中，使我们的客户能够在众多领域更快探索和部署更大、更具创新性的AI模型。”

首批部署IPU-POD₁₂₈的客户包括韩国科技巨头Korea Telecom（KT），该公司已受益于计算能力的增加：

KT是韩国第一家提供“超大规模AI服务”的公司。所提供的服务使用我们IDC内部专用高密度AI区域中的Graphcore IPU。

许多公司和研究机构目前正在使用上述服务开展研究和PoC或者在IPU上进行测试。

为了不断满足日益增长的超大规模AI HPC环境市场需求，我们正在与Graphcore合作，将我们的IPU-POD₆₄升级为IPU-POD₁₂₈，以增加为客户所提供的“超大规模AI服务”。

KT公司云/数字体验业务部高级副总裁Mihee Lee表示：“通过此次升级，预计我们的AI计算规模将增加至32 petaFLOPS的AI计算，使更多元的客户能够使用KT的先进AI计算技术进行大规模AI模型训练和推理。”

可扩展性和灵活性

IPU-POD₁₂₈和IPU-POD₂₅₆的发布突出显示了Graphcore在AI旅程的每个阶段为客户提供服务的承诺。

IPU-POD₁₆仍然是理想的探索平台，IPU-POD₆₄适用于想要建立AI计算的客户，而现在的IPU-POD₁₂₈和IPU-POD₂₅₆适合需要实现进一步快速增长的客户。

与其他IPU-POD系统一样，AI计算和服务器的解聚意味着IPU-POD₁₂₈和IPU-POD₂₅₆可以在优化后，为不同的AI工作负载提供最大性能，实现最佳总体拥有成本（TCO）。例如一个以自然语言处理（NLP）为主的系统可以只使用2台服务器；而更多的数据密集型任务，例如计算机视觉任务等可以使用8台服务器。

此外，系统存储可以使用来自Graphcore最近宣布的存储合作伙伴所提供的技术，围绕特定的AI工作负载进行优化。

POD背后的性能

将Graphcore计算扩展到IPU-POD₁₂₈和IPU-POD₂₅₆需要大量使能技术支持，其中既包括硬件技术也包括软件技术：

软件

与所有Graphcore硬件一样，IPU-POD₁₂₈和IPU-POD₂₅₆是与Poplar软件栈共同设计的。

我们已在多个Poplar软件版本中引入支持我们横向扩展系统的实现的功能，包括我们最新的SDK 2.3。我们在此展示了虽非IPU-POD₁₂₈和IPU-POD₂₅₆所独有，但与它们高度相关的部分。

Graphcore通信库（Graphcore Communication Library，GCL）是一个用于管理IPU之间的通信和同步的软件库。它的用途是实现IPU系统的高性能横向扩展。在编译时，可以指定程序运行所需的IPU数量，这或将IPU分布在1个以上的IPU-POD上。该程序将自动、透明地在各IPU-POD上运行，提供更高的性能和吞吐量，同时不增加开发者的成本和复杂性。