下一代IPU系统

IPU-MACHINE和IPU-POD 系统

用于大规模AI基础设施的核心构建块

IPU M2000 Server

下一代IPU系统

IPU-MACHINE和IPU-POD 系统

用于大规模AI基础设施的核心构建块

IPU-Machine: IPU-M2000

IPU-M2000是使用Colossus MK2 GC200 IPU构建的下一代革命性系统解决方案。它在纤巧的1U刀片服务器中集成了1PetaFlop AI计算和高达450GB的Exchange-Memory™,可以满足最苛刻的机器智能工作负载。

IPU-M2000具有灵活的模块化设计,您可以从一个IPU-M2000开始,然后扩展到数千个IPU-M2000。您可以直接将一个IPU-M2000连接到现有的CPU服务器上,也可以同时叠加使用8个IPU-M2000,还可以使用16个紧密互联的IPU-M2000组成的机架构成的IPU-POD64 系统,借助高带宽、近零时延的盒内置IPU-Fabric™互连架构,发展到超级计算规模。

IPU-POD64

IPU-POD64是Graphcore针对大规模、分解式、横向扩展的独特解决方案,可将高性能的机器智能计算扩展到超级计算规模。IPU-POD64建立在创新的IPU-M2000之上,可无缝扩展到多达64,000个IPU,这些IPU作为一个整体或作为独立的细分分区,可以处理多个工作负载和不同用户。

IPU-POD64在1个标准机架中有16个IPU-M2000。IPU-POD使用我们独特的IPU-Fabric™互连架构,通信时延接近为零。IPU-Fabric™经过专门设计,可消除通信瓶颈,并允许成千上万的IPU作为单个的高性能、超快速凝聚性单元运行机器智能工作负载。

IPU POD64 server

全新突破

Compute_Red_compressed

计算

MK2 IPU系统提供了无与伦比的性能以及从单个设备到横向扩展的灵活性,具有1 PetaFlops AI计算和比其他任何处理器都要多的FP32计算。

Comms_Yellow_compressed

通信

IPU-Fabric™是我们的创新的、超快速和无抖动通信技术。它提供任意IPU之间所有方向的2.8Tbps通信,并且可以扩展到64,000个IPU。

Data_Blue_compressed

数据

IPU-M2000具有前所未有的450GB Exchange-Memory™——3.6GB处理器内存储™,以及针对较大模型的高达448GB的流存储™。这对于当下的AI工作负载至关重要——存取数据的方式与获取数据后执行计算的方式同样重要。

Scalability_KL_compressed

可扩展性

IPU-POD64是我们用于大规模分解式机器智能横向扩展的解决方案。IPU-POD64利用超快速的IPU-Fabric实现大规模出色性能,并旨在无缝部署和集成到现有数据中心设置中。

稀疏计算,易于使用

稀疏性

在机器智能中,寻求更好的模型效率与转向更大的模型尺寸是同时进行的。模型稀疏性是这种新兴趋势中不可或缺的部分。我们的IPU产品使用数万个IPU,以从设备到大规模横向扩展的细粒度架构进行设计。这种细粒度的独立处理是我们设计理念的基础,非常适合利用模型稀疏性和模型集合(例如全缩减和全聚集操作)。

Sparsity_960_compressed
Bert-Poplar

与Poplar® SDK共同设计

使用IPU-POD64系统,您可以在多达64,000个IPU上运行大量工作负载。通过使用Poplar,如此规模的计算就像使用一台机器一样简单。Poplar负责所有缩放和优化,这使您可以专注于模型和结果。

如果您想允许多个用户同时运行不同的工作负载,我们还可以使用Virtual-IPU软件在用户之间动态共享您的AI计算。

我们支持用于基础设施管理的行业标准生态系统工具,包括Open BMC和Redfish,Docker容器以及Slurm和Kubernetes的编排。 而且我们一直在增加对更多平台的支持。

软件和技术设施支持

Poplar

Virtual-IPU配置

我们已经使编排单个或多租户作业以及为工作负载分配IPU资源变得简单、可靠和透明。 我们的解决方案是使用Slurm和Kubernetes等行业标准工具构建的,并且我们的Virtual-IPU置备软件已集成为管理软件套件的一部分。

Slurm_KL
kubernetes-horizontal-color

硬件管理

提供先进的硬件管理,令整个IPU系统的重要参数都完全的实时可见。我们的硬件管理软件使用带有OpenBMC和Redfish的可靠的、经过验证的、可扩展的开源软件。

OpenBMC_logo
Redfish_KL

PopVision™ Graph Analyser

PopVision™允许您详细监控一个或多个IPU上的工作负载性能。PopVision在深入检测处理活动的上拥有无与伦比的能力,能帮助您在开发模型时做出正确、知情的决策。

PopVision_KL

系统监控

我们提供了一个丰富的UI交互界面,通过使用Grafana,监控IPU-M2000和IPU-POD64系统。该软件直观易用,可提供与系统性能和状态保持同步所需的所有信息。
grafanalabs

客户感言

了解更多

ipu_pod_case_404px

介绍Colossus™ MK2 IPU

了解有关我们第二代IPU——世界上最复杂处理器的更多信息。
GC011_IPURACK_004_W4K_404px

IPU-M2000网络研讨会

观看我们的网络研讨会,深入了解IPU-M2000和IPU-POD64 系统
Data_Blue_compressed

介绍Exchange-Memory™

了解有关革命性的Exchange-Memory架构的更多信息。
poplar_whitepaper_compressed

Moor Insights&Strategy关于Poplar软件的研究报告

查看Moor Insights&Strategy关于Poplar软件的研究报告。

准备好开启IPU之旅了?

查看我们合作伙伴的资讯,以评估您的AI基础设施要求和适合的解决方案。

获取最新的GRAPHCORE资讯

在下方注册以获取最新的资讯和更新: