\

Simon Knowles在Hot Chips 2021:Colossus MK2 IPU设计

作者:

分享  

Share on weixin
Share on weibo
Share on linkedin

订阅

在Hot Chips 2021大会上,Graphcore联合创始人兼CTO Simon Knowles就Colossus™ GC200智能处理器(IPU)的设计和功能发表了详细的技术主题演讲。

Simon Knowles阐述了业界对于专业AI处理器的需求。这种专业的AI处理器可以作为开启AI研究新方向的一种方法。此外,Simon Knowles还讨论了稀疏计算作为处理人类级别机器智能所需的数万亿参数模型的一种方法的重要性。

Simon Knowles在演讲中谈及的IPU设计特点包括:

  • GC200的1472个并行处理核心和900MiBytes的片上存储
  • Graphcore在芯片和系统层面实现超高带宽的方法
  • DRAM Exchange Memory与片外HMB的经济和性能比较
  • 使用批量同步并行来调度计算和通信周期
  • Tile设计和冗余
  • 能源使用
  • Mk1 Colossus IPU的经验总结

了解更多

观看网络研讨会:使用IPU技术实现机器学习创新

查看有关Hot Chips 2021的更多信息

More Posts

ChatGPT开源平替:OpenAssistant OASST1微调版Pythia-12B

Flan-T5:用更小且更高效的LLM实现出色效果

详细攻略:在IPU上以float16精度运行FLAN-T5-XL推理

较小模型,超高性能:DeBERTa和自然语言理解的未来

PackedBert:如何用打包的方式加速Transformer的自然语言处理任务

Pienso为企业提供由云上IPU支持的高效大型语言模型访问

获取最新的GRAPHCORE资讯

在下方注册以获取最新的资讯和更新:




    获取最新的GRAPHCORE资讯

    在下方注册以获取最新的资讯和更新: