\

加速部署!Graphcore携手百度飞桨成功实现FastDeploy适配

作者:

分享  

Share on weixin
Share on weibo
Share on linkedin

订阅

今天,在Wave Summit+ 2022深度学习开发者峰会上,Graphcore拟未携手百度飞桨正式宣布成功实现新一代PCIe加速卡C600与云边端一体推理部署套件FastDeploy的适配,将高效推理与快速部署相结合,进一步降低了AI创新应用落地的门槛。这是拟未和百度飞桨携手加快软硬一体适配,共建AI生态,促进行业规模化应用,赋能各领域产业AI化转型和升级的又一实践。

C600是拟未为云和数据中心打造的高端推训一体加速卡,主打推理,兼做训练,可以支持各种主流的AI应用,在搜索和推荐等业务上别具优势,满足客户和机器智能从业者对于易用、高效以及更优TCO推理产品的强烈需求。每个C600集成了一颗MK2 IPU,并增加了用于低精度和混合精度AI的FP8,可以提供FP8浮点运算560 TFLOPS以及FP16浮点运算280 TFLOPS的AI计算能力。C600可搭配市场上主流的AI服务器使用,比如浪潮NF5468M6等。

拟未中国技术应用总负责人罗旭表示,C600是拟未为推理而设计的,尤其适合要求高精度、低推理时延的在线场景。

C600支持AI开发者在线上部署一些较为复杂的模型,并满足应用场景对于时延的要求。在此基础上,C600与FastDeploy的适配进一步帮助AI开发者简化了部署流程,降低了部署难度。百度飞桨推出的FastDeploy针对产业落地场景中的重要AI模型,将模型API标准化,提供下载即可运行的Demo示例,可以助力人工智能开发者简化适配部署工作,应对项目落地挑战。在FastDeploy全场景、易用灵活、极致高效三类特色能力的支持下,AI开发者可以在广泛的AI场景中,快速完成模型部署,灵活切换平台和硬件,实现高效的应用性能。与FastDeploy的适配,让AI开发者们能够更加灵活地使用IPU的强大功能进行创新。

目前,IPU已经适配了百度飞桨、TensorFlow、PyTorch等主流的机器学习框架。IPU本身就是基于计算图的处理器,它天生就比较匹配图计算的特性,所以可以实现较高的适配效率。在开展IPU与百度飞桨的适配时,双方专家经过评估,选择了通过PopART对接百度飞桨这样工作量小、可行性高、性能损失低的方式,在不到三个月的时间里完成了集成,支持训练和推理。本次C600与百度飞桨FastDeploy的适配,以及此前拟未和百度飞桨在Bow IPU方面所实现的快速适配,乃至百度飞桨使用拟未系统进行MLPerf提交所取得的出色成果,都展现了拟未IPU所能提供的高适配效率,和拟未Poplar软件栈的强大功能。

百度飞桨是拟未重要的合作伙伴,在过去几年中,双方展开了深入的合作。百度飞桨是中国首个自主研发、功能丰富、开源开放的产业级深度学习平台。截至目前,百度飞桨已凝聚535万开发者,服务20万家企事业单位,基于百度飞桨创建了67万个模型。2020年,拟未加入了百度飞桨硬件生态圈,是百度飞桨硬件生态圈的初始成员之一。2021年,百度飞桨实现了在拟未IPU上训练与推理的全面支持,并开源了相关代码。2022年5月,拟未加入了硬件生态共创计划。在MLPerf Training v2.0中,百度飞桨使用Bow Pod16和Bow Pod64训练BERT的MLPerf提交显示,其结果与拟未使用PopART提交的结果相当。

在谈及双方合作的未来发展时,罗旭表示:“双方将继续携手合作,推进拟未对于百度飞桨的深度支持。百度飞桨能够与C600等拟未发布的IPU产品进行快速适配,并为用户提供良好的训练和推理平台,帮助用户实现快速的部署。从这个角度来说,百度飞桨所提供的价值是独一无二的。拟未期待与百度飞桨携手进一步丰富AI开发者的硬件选择,为用户提供更优的生产环境。”

More Posts

ChatGPT开源平替:OpenAssistant OASST1微调版Pythia-12B

Flan-T5:用更小且更高效的LLM实现出色效果

详细攻略:在IPU上以float16精度运行FLAN-T5-XL推理

较小模型,超高性能:DeBERTa和自然语言理解的未来

PackedBert:如何用打包的方式加速Transformer的自然语言处理任务

Pienso为企业提供由云上IPU支持的高效大型语言模型访问

获取最新的GRAPHCORE资讯

在下方注册以获取最新的资讯和更新:




    获取最新的GRAPHCORE资讯

    在下方注册以获取最新的资讯和更新: