\

Poplar SDK 3.1现已推出

作者:

分享  

Share on weixin
Share on weibo
Share on linkedin

订阅

我们很高兴地宣布Poplar SDK 3.1现已发布,用户可前往Graphcore拟未的软件下载门户Docker Hub下载。

Poplar SDK 3.1的亮点

以下为Poplar SDK 3.1版本的简要介绍;完整的更新列表请移步随附的发布说明

对PyTorch 1.13的支持

Poplar SDK 3.1提供了对PyTorch 1.13的支持,使我们的客户能够在IPU上使用PyTorch(及相关库)的最新稳定版本。从Poplar SDK中安装PopTorch轮将自动安装正确版本的PyTorch。

TensorFlow 2的自动损失缩放 

在我们的上一个版本(Poplar SDK 3.0)中,拟未在PyTorch和PopART的预览版中提供了自动损失缩放(ALS)功能。现在,随着Poplar SDK 3.1的发布,我们正在进一步扩大覆盖的框架,在TensorFlow 2中支持ALS。更具体地说,IPU特定的ALS优化器类已被添加到IPU Keras软件包中。此功能是作为实验版本提供,以允许客户使用它,并在我们继续完善其功能时提供反馈。

需要提醒的是,拟未ALS使用一种独特的基于直方图的损失缩放算法,以在训练混合精度的大型模型时,轻松可靠地提高稳定性,并兼顾了效率、易用性和出色的稳定性,超过了许多其他的损失缩放方法。

虽然拟未ALS背后的方法在技术上是与加速器无关的,并且应能使任何在混合精度下训练大型模型的用户受益,但它的起源来自我们为IPU开发应用的独特经验。

欲了解更多关于拟未ALS的信息,请访问专门的博客文章

改进对稀疏计算的支持

我们在PopLibs中丰富了popsparse库,通过增加了一个稀疏矩阵乘法运算,其中稀疏操作数在编译时具有固定的稀疏模式。

与现有的动态稀疏操作一样,它支持元素稀疏和块稀疏,但由于固定的稀疏模式,其存储要求更低,FLOP利用率更高。

我们的合作伙伴Aleph Alpha在德克萨斯州举行的SC22会议上使用它展示了商用Luminous对话机器人的稀疏化变体

增强PopVision系统分析工具

PopVision系统分析工具现在可以显示所选张量数据的热图和直方图,这些数据可以从Poplar程序导出到PVTI文件,使用户可以分析模型的数值稳定性。

张量数据被收集到直方图的时间序列中,每个仓的占有率在被采样时在系统分析工具的轨迹上以彩色条的形式绘制出来。点击热图中的一个张量值,会显示该时间点的张量样本的直方图。

系统分析工具图表显示了两个张量的热图,以及在某一时刻的相关直方图

操作系统支持

我们对Poplar SDK构建时所针对的操作系统集进行了一些修改,主要是为了支持PyTorch 1.13,它需要Python 3.7或更高版本。

有关操作系统支持的全部细节,请参考发布说明,概述部分总结了主要变化。下表总结了Poplar SDK 3.1中对PyTorch和TensorFlow的支持。

Graphcore Model Garden(模型花园)新增内容

Graphcore Model Garden(模型花园)是一个IPU就绪的机器学习应用库,包括计算机视觉、自然语言处理、图神经网络等,资源丰富,在那些希望轻松浏览、过滤和访问可复制代码的开发者中很受欢迎。

与之前一样,我们持续更新模型花园和相关的GitHub存储库的内容。自9月发布Poplar SDK 3.0以来,一些新的模型已经被添加到我们的模型花园中,总结如下:

用于生成式人工智能的常见潜在扩散模型,支持文本到图像、图像到图像和图像修补。

在PCQM4Mv2数据集上使用IPU训练分子属性预测的混合GNN/Transformer。PCQM4Mv2是Open Graph Benchmark Large-Scale Challenge(OGB-LSC)的优胜者,在分子图的量子性质预测提交中获得冠军。在Paperspace上运行:推理/训练

使用WikiKG90Mv2数据集在IPU上进行链接预测训练的碎片化知识图谱嵌入(KGE)。WikiKG90Mv2是Open Graph Benchmark Large-Scale Challenge(OGB-LSC)的获奖者,预测知识图谱类别中缺失的事实。

在IPU上进行链接预测训练的碎片化知识图谱嵌入(KGE),采用了用于OGB-LSC的相同方法。

一个基于BERT架构的小型、高效、快速和轻型的Transformer模型。

时间图网络(Temporal Graph Networks)是一个用于在IPU上训练的动态GNN模型,现在可以在PyTorch框架上使用。

我们将在不久后将模型花园中的多个模型更新为SDK 3.1版本,并发布在我们网站的性能结果页面上。这些模型将横跨多个框架和平台。

More Posts

ChatGPT开源平替:OpenAssistant OASST1微调版Pythia-12B

Flan-T5:用更小且更高效的LLM实现出色效果

详细攻略:在IPU上以float16精度运行FLAN-T5-XL推理

较小模型,超高性能:DeBERTa和自然语言理解的未来

PackedBert:如何用打包的方式加速Transformer的自然语言处理任务

Pienso为企业提供由云上IPU支持的高效大型语言模型访问

获取最新的GRAPHCORE资讯

在下方注册以获取最新的资讯和更新:




    获取最新的GRAPHCORE资讯

    在下方注册以获取最新的资讯和更新: