\

新增FP8!Graphcore推出新一代PCIe加速卡C600 

作者:

分享  

Share on weixin
Share on weibo
Share on linkedin

订阅

Graphcore拟未今日宣布推出新一代PCIe加速卡——C600。C600是Graphcore为云和数据中心打造的高端推训一体加速卡,主打推理,兼做训练,可以支持各种主流的AI应用,在搜索和推荐等业务上别具优势。C600在提供低延时、高吞吐量的同时不损失精度,帮助AI开发人员解决“精度与速度难两全”的痛点,为AI应用提供解锁IPU强大算力的新路径,以满足客户和机器智能从业者对于易用、高效以及更优TCO推理产品的强烈需求。

Graphcore C600 PCIe加速卡

每张C600使用单颗IPU处理器。在Graphcore经典的Wafer-on-Wafer MK2 IPU的基础上,C600增加了用于低精度和混合精度AI的FP8。C600所使用的单颗芯片可提供FP8浮点运算560 TFLOPS以及FP16浮点运算280 TFLOPS的AI计算能力,为C600带来强大的算力引擎。

数据中心效率与成本大杀器

作为AI应用推理部署的理想选择,C600可满足用户从试验到投产整个过程中对快速跟踪IPU原型和速度的各种要求,同时大幅降低TCO(总体拥有成本)。

C600在提供强大的算力、易用性和灵活性的同时,还实现了低时延和低功耗,在运行典型工作负载时的散热设计功耗仅为185瓦,可为运维人员大大减少数据中心运营开支,是采购决策者的高投资回报之选。

Poplar软件栈强力加持

C600卡完全由Poplar这一完整的端到端软件栈支持,用于开发、部署和监控IPU上的AI模型推理及训练。Graphcore全面支持包括TensorFlow、Keras、ONNX、阿里云Halo、百度飞桨、OpenMMLab、HuggingFace、PyTorch和PyTorch Lightning在内的标准机器学习框架,以及通过Poplar C++ APl访问PopLibs。Poplar SDK还包括PopVision™可视化和分析工具,为lPU提供性能监测。

除了这些Poplar开发工具外,C600系统还具备对Docker容器等行业标准的融合基础设施管理工具的软件支持,以及对Slurm和Kubernetes的协调。

通用的外形设计

包括机架尺寸和电力输送在内,市场中的数据中心配置千差万别。以PCIe卡的形式提供IPU,是Graphcore对用户对于PCIe卡热切需求的回应,使得用户能够更加快速便捷地开始使用IPU产品。

另外,这个高度通用的形态可以支持Graphcore的用户以适合他们需求的方式配置他们的系统设置,包括主机服务器与机箱。

其他技术信息

C600是一张PCIe Gen 4 双插槽卡,使用一个IPU,每个IPU具有1472个处理核心,能够并行运行8832个独立程序线程。每个IPU都有900MB的片上SRAM存储。用户可以在单个机箱中直接连接多达8块卡,通过高带宽的IPU-Links进行桥接。C600可搭配市场上主流的AI服务器使用,比如浪潮信息NF5468M6等。

从发布之日起,C600即已在中国地区接受预购和评估申请,产品将在2023年1月份开始发货。

申请产品评估和预购,请点击此处 。

More Posts

卢涛:后登纳德时代,IPU架构引领Transformer向高阶版演进

GACS 2023 | IPU:赋能生成式AI,不止生成式AI

Graphcore携手Pienso荣获CogX最佳创新类别的自然语言处理奖

Graphcore加入PyTorch基金会

促进低精度数字格式使用,Graphcore发布全新Unit Scaling库

情人节之“AI”跨山海——拟未“AI”的故事绘画连载(三)

获取最新的GRAPHCORE资讯

在下方注册以获取最新的资讯和更新:




    获取最新的GRAPHCORE资讯

    在下方注册以获取最新的资讯和更新: