\

从楔形文字到0和1:谱写超级智能计算路线图

作者:

分享  

Share on weixin
Share on weibo
Share on linkedin

订阅

数千年前的美索不达米亚平原上,楔形文字在泥板上的涂抹中悄然萌芽。数千年后的今天,像GPT-3等具有预测文本、编辑文本等功能的人工智能语言模型已然问世,并展现出了惊人的效果。如今,像GPT-3等人工智能技术被广泛地应用在互联网、科研、医疗等许多领域,协助人们应对不断出现的新时代挑战。

但是,今天的人工智能虽然在单一指定任务处理上表现出色,尤其是在感知和语言理解方面发展迅速,但是在泛化能力方面,依然在“蹒跚学步”。许多人工智能模型在针对某些特定的应用场景或数据进行训练后,在该场景中或数据上表现优秀,但一旦场景或数据发生了变化,其表现可能就会变得不尽如人意。

人工智能的研究界和产业界已经对此展开了许多探索和尝试,像Transformer在自然语言处理领域的成功后,这种通过大规模预训练模型进行无监督的训练学习的方法给了研究界和产业界很大的启发,同样的方法开始被应用到视觉、语音等领域。

这个发展过程在人类文明的发展历程中也许可以看到相似的痕迹:数亿年前生物发展出了感知能力,数千年前人类创造出了文字,发展出了文明,而在造纸术、活字印刷术等技术的出现、改良,和推广之后,获取信息与知识的门槛大大降低,社会迅速发展。而人工智能技术在感知领域逐渐走向成熟后,业界也开始探索低成本、大规模的推广方法,以适应进一步发展的要求,例如对于类脑模型、多模式模型、半通用性模型,乃至通用性模型的探讨,例如谷歌提出的Pathways、智源研究院提出的悟道等等。

这些模型的规模非常庞大,悟道2.0有1.75万亿个参数。而这些参数规模却还是无法和人类的大脑相提并论。人工智能模型中的参数,相当于人类大脑中的突触。人类大脑有860亿个神经元,100万亿个突触。也就是说,人类大脑规模的模型大小,大概要57个悟道模型那么大。这样巨大的模型,训练成本是惊人的。这意味着,在模型,或者说软件方面的尝试之后,人工智能泛化性能的发展又一次碰到了阻碍。

如果能通过人工智能硬件降低模型的训练成本,甚至能够通过新颖的硬件设计契合人工智能计算的特点,提升人工智能训练的效率,从而寻找到密集计算之外的崭新道路,实现大规模、低成本的运行,那么人工智能的发展潜力就可能得到进一步的挖掘。

Graphcore IPU的设计理念与此十分契合。IPU是专为人工智能而设计的,能够提供高效的人工智能计算,实现数倍甚至数十倍的性能提升,而由于IPU系统的灵活性和可扩展性,这一提升在大规模的应用和部署上可能会非常明显。

近期,Graphcore提出了通往超级智能AI计算机的路线图,使用IPU符合人工智能计算特点的架构,打造Good Computer™(古德计算机)。Good Computer™提供超过10 Exa-Flops的人工智能浮点计算,助力开发超过500万亿参数的人工智能模型。试想,如果能够以高效的人工智能计算,可负担地开发、运行、部署人类大脑规模的人工智能应用,人工智能的潜力,或许又可以登上一个新的高度。

人工智能产业正处于起步期即将结束,成熟期即将开始的发展阶段。在此阶段,没有什么是一定的,而这种不确定性引向了无限的可能性,人工智能产业由此而生机勃勃,无数技术被开发出来,无数产业又由这些技术赋能,从而实现转型、升级,和发展。

More Posts

卢涛:后登纳德时代,IPU架构引领Transformer向高阶版演进

GACS 2023 | IPU:赋能生成式AI,不止生成式AI

Graphcore携手Pienso荣获CogX最佳创新类别的自然语言处理奖

Graphcore加入PyTorch基金会

促进低精度数字格式使用,Graphcore发布全新Unit Scaling库

情人节之“AI”跨山海——拟未“AI”的故事绘画连载(三)

获取最新的GRAPHCORE资讯

在下方注册以获取最新的资讯和更新:




    获取最新的GRAPHCORE资讯

    在下方注册以获取最新的资讯和更新: