
IPU-Machine: IPU-M2000
IPU-M2000是使用Colossus MK2 GC200 IPU构建的下一代革命性系统解决方案。它在纤巧的1U刀片服务器中集成了1PetaFlop AI计算和高达450GB的Exchange-Memory™,可以满足最苛刻的机器智能工作负载。
IPU-M2000具有灵活的模块化设计,您可以从一个IPU-M2000开始,然后扩展到数千个IPU-M2000。您可以直接将一个IPU-M2000连接到现有的CPU服务器上,也可以同时叠加使用8个IPU-M2000,还可以使用16个紧密互联的IPU-M2000组成的机架构成的IPU-POD64 系统,借助高带宽、近零时延的盒内置IPU-Fabric™互连架构,发展到超级计算规模。
IPU-POD64
IPU-POD64是Graphcore针对大规模、分解式、横向扩展的独特解决方案,可将高性能的机器智能计算扩展到超级计算规模。IPU-POD64建立在创新的IPU-M2000之上,可无缝扩展到多达64,000个IPU,这些IPU作为一个整体或作为独立的细分分区,可以处理多个工作负载和不同用户。
IPU-POD64在1个标准机架中有16个IPU-M2000。IPU-POD使用我们独特的IPU-Fabric™互连架构,通信时延接近为零。IPU-Fabric™经过专门设计,可消除通信瓶颈,并允许成千上万的IPU作为单个的高性能、超快速凝聚性单元运行机器智能工作负载。

全新突破

计算
MK2 IPU系统提供了无与伦比的性能以及从单个设备到横向扩展的灵活性,具有1 PetaFlops AI计算和比其他任何处理器都要多的FP32计算。

通信
IPU-Fabric™是我们的创新的、超快速和无抖动通信技术。它提供任意IPU之间所有方向的2.8Tbps通信,并且可以扩展到64,000个IPU。

数据
IPU-M2000具有前所未有的450GB Exchange-Memory™——3.6GB处理器内存储™,以及针对较大模型的高达448GB的流存储™。这对于当下的AI工作负载至关重要——存取数据的方式与获取数据后执行计算的方式同样重要。

可扩展性
IPU-POD64是我们用于大规模分解式机器智能横向扩展的解决方案。IPU-POD64利用超快速的IPU-Fabric实现大规模出色性能,并旨在无缝部署和集成到现有数据中心设置中。
稀疏计算,易于使用
稀疏性
在机器智能中,寻求更好的模型效率与转向更大的模型尺寸是同时进行的。模型稀疏性是这种新兴趋势中不可或缺的部分。我们的IPU产品使用数万个IPU,以从设备到大规模横向扩展的细粒度架构进行设计。这种细粒度的独立处理是我们设计理念的基础,非常适合利用模型稀疏性和模型集合(例如全缩减和全聚集操作)。


与Poplar® SDK共同设计
使用IPU-POD64系统,您可以在多达64,000个IPU上运行大量工作负载。通过使用Poplar,如此规模的计算就像使用一台机器一样简单。Poplar负责所有缩放和优化,这使您可以专注于模型和结果。
如果您想允许多个用户同时运行不同的工作负载,我们还可以使用Virtual-IPU软件在用户之间动态共享您的AI计算。
我们支持用于基础设施管理的行业标准生态系统工具,包括Open BMC和Redfish,Docker容器以及Slurm和Kubernetes的编排。 而且我们一直在增加对更多平台的支持。
软件和技术设施支持

Virtual-IPU配置
我们已经使编排单个或多租户作业以及为工作负载分配IPU资源变得简单、可靠和透明。 我们的解决方案是使用Slurm和Kubernetes等行业标准工具构建的,并且我们的Virtual-IPU置备软件已集成为管理软件套件的一部分。


硬件管理
提供先进的硬件管理,令整个IPU系统的重要参数都完全的实时可见。我们的硬件管理软件使用带有OpenBMC和Redfish的可靠的、经过验证的、可扩展的开源软件。


PopVision™ Graph Analyser
PopVision™允许您详细监控一个或多个IPU上的工作负载性能。PopVision在深入检测处理活动的上拥有无与伦比的能力,能帮助您在开发模型时做出正确、知情的决策。

系统监控

客户感言
-
Citadel
Citadel
Citadel尤为重视通过前沿技术来优化不同策略及资产的投资过程。我们相信,想要在行业领先,就要时常为投资团队重新评估及改进科技。我们很高兴能够成为Graphcore的早期合作伙伴,并能够采用这种新型处理器技术来测试相应的应用。 Graphcore 的IPU 是从零开始,专为机器学习设计的,其创新的系统架构使我们得以探索以往不可能完成的新技术。
Daniele Scarpazza 研发团队负责人 -
Microsoft
Microsoft
自然语言处理对微软而言非常重要。我们需要它来运算AI工作负载及在微软Azure上为我们的客户提供AI服务。与Graphcore合作及Graphcore处理器带来的强大潜力令我们无比激动。Graphcore的解决方案拓展了Azure的能力,并确保Azure持续作为绝佳的AI云平台提供服务。
Girish BalaniAzure企业副总裁 -
Baidu
Baidu
智能硬件平台与深度学习框架的融合成为构建全球领先的AI 应用与推广生态的关键。通过百度飞桨硬件生态圈,我们希望与合作伙伴们携手,加快软硬一体适配。Graphcore是百度飞桨在云端训练和推理方面重要的合作伙伴,通过飞桨硬件生态圈,更多使用飞桨的开发者可以利用Graphcore的 IPU技术进行机器学习创新,缩短训练时间,提升开发效率。
百度飞桨 -
Imperial College London
Imperial College London
我们相信,新的处理器技术将在不远的将来在Spatial AI(空间人工智能)和SLAM(同步定位与建图)的发展中发挥关键作用,并且很高兴能够在早期便获得Graphcore创新的新硬件的研究机会。完全通用的空间AI需要在计算图上进行稀疏概率和几何推理,并需要使用深度神经网络进行计算。通过同时重视通信和计算,Graphcore创建了一种新的可扩展架构,我们认为该架构具有以低延迟和低功耗执行所有这些算法的潜力。
计算系机器人视觉教授安德鲁·戴维森 -
University of Oxford
University of Oxford
创造和维持用于量子计算机的固态量子比特是很复杂的。要将量子比特转换及保持稳定,是需要实时的分析及控制多个敏感变数。这是一个完美的机器学习问题。我们使用的进阶AI模型已经达至极限。与Graphcore的早期合作已经为我们带来巨大的性能增长,因为Graphcore IPU 拥有强大计算能力和处理稀疏等传统的AI困难。我们对Graphcore下一代的IPU技术感到兴奋,其运算能力可将量子计算推进得更快更远。
牛津大学纳米材料教授Andrew Briggs