抗疫防疫在2020年已然成为了人们生活的新常态。在抗疫防疫过程中，机器智能如何助力新型药物研发？IPU在其中起到了什么作用？

本文重点

本篇blog从以下几个方面举例说明了IPU的新型硬件架构在推动新型药物研发中所起的作用和AI赋能药物研发的未来方向，其中还包含了最新的Benchmark哦：

• 多层感知器
• 自然语言处理
• 概念方法
• 计算机视觉

本文阅读时间约为8分钟。

全新处理器架构IPU（智能处理器）展示了下一代AI模型的最佳性能，推动了药物研发前所未有的加速。

识别有效的新型药物对全球医疗卫生的发展至关重要。然而，药物研发的过程漫长且成本高昂，许多新型药物和疗法未能通过临床试验。

机器智能的新方法正在帮助减少药物研发的时间和成本。通过识别大量数据中的规律，人工智能算法能够帮助科学家设计新分子，验证药物靶标，甚至将现有疗法重新用于其他医学应用。

由于当前硬件架构的限制，许多有潜力在药物研发方面实现进一步突破的新兴AI模型运行缓慢。这是因为GPU的架构无法有效地支持在当今许多最新模型中看到的稀疏性和大规模并行性。因为太慢或太过昂贵，计算图、概率模型和Massive Transformer模型这些天然的稀疏架构，都无法在GPU上运行。

本文将重点介绍医疗领域里机器智能的关键Benchmark，包括一些创新且相对尚未充分发掘的开发用例。

用于药物研发的新硬件架构

Graphcore的IPU拥有与GPU和CPU本质上不同的处理器架构，专门针对机器智能设计。尽管GPU一代又一代地不断改进，但它始终有其局限。IPU引领的是全新的计算工作负载。它不仅针对当今最苛刻的机器学习工作负载进行了优化，而且还专门针对新兴模型的复杂计算需求而构建。与GPU不同，这种新的硬件架构可轻松处理主导下一代AI模型的大规模并行性、稀疏数据结构、低精度计算、模型参数重用和静态计算图结构。

那么，这种新颖的架构如何转化为针对药物研发领域中使用的下一代AI模型的最新加速呢？许多医疗卫生领域的公司和组织已经在探索如何利用Graphcore的IPU帮助推进它们的工作，包括牛津Nanopore，Arzeda和微软。以下是Graphcore正在研究的一些机器智能方法，这些方法可能会推动AI赋能的药物研发实现巨大进步。

多层感知器

多层感知器在基因组学中的许多不同应用中使用，包括表型分类，基因本体预测和基因组测序。

Graphcore目前正在与Arzeda合作进行生物序列建模，以支持创造新型蛋白质。通过学习马尔可夫随机场 (Markov Random Fields)，我们能够描述蛋白质家族和折叠，然后将该马尔可夫随机场(Markov Random Fields) 类比为一个监督式学习 (Supervised Learning) 的问题。

对于这种多层感知器用例，IPU将训练时间缩短了6倍。

自然语言处理

BERT是Transformer模型系列，这些模型已席卷NLP（自然语言处理）领域。这些基于注意力的Transformer模型在分析文本的结构和含义时具有很高的准确性，这是医学上AI建模的重要因素。如果在特定术语集上进行了预训练，则可以针对更特定类型的语言数据对BERT进行微调。在医疗领域的应用上，可以针对来自患者病历和医学文献的文本对该模型进行训练。对于BERT-BASE训练，IPU可以将训练时间缩短25％，同时功耗降低20％，这意味着该算法将以更低的成本运行得更快。

IPU架构非常适合这些类型的新兴NLP模型，并在我们的静态块稀疏性Poplar软件库的支持下 (详情请见Graphcore Poplar SDK 1.2现已正式发布) ，有效地运行诸如基于块稀疏的Transformer模型之类的创新。

对于BERT-BASE推理，IPU提供2倍的吞吐量，从而可以在优先考虑可扩展性的交互式环境中使用BERT。

这些基准也很自然地推广到基因组学。相同的NLP建模技术可用于基因组测序和更快速、更轻松地设计新蛋白质，这可以减少实验室的测试时间。

概率方法

除了加速新型机器学习模型外，IPU硬件架构还能使那些直到今天仍受到GPU限制的现有模型得到充分利用。

马尔可夫链蒙特卡洛（MCMC）是经典机器学习算法的一个很好的例子。尽管许多不同的科学领域中都使用了MCMC，但MCMC却被认为是一个很慢的算法模型。实际上，诸如MCMC之类的贝叶斯算法并不是天生就很慢，只不过无法在GPU上高效运行。

在IPU上，MCMC算法的性能表现非常出色。在一个客户用例中，与领先的GPU相比，在仅使用50％的功率的情况下，IPU将MCMC的训练时间缩短了26倍。

在使用TensorFlow概率的 “开箱即用” 执行任务中，IPU可实现训练时间缩短15倍。

这种概率模型提速在药物研发领域具有很大的应用潜力，可以用于诸如估计药物的口服吸收率或评估新药物治疗的有效性等任务。

计算机视觉

使用神经架构搜索设计的EfficientNet能够获得比以前的卷积神经网络更高的准确性和效率。由于提高了准确性，该系列模型可以非常有效地应用于计算机视觉任务，包括诊断成像。

与领先的GPU替代产品相比，在Graphcore IPU上运行EfficientNet-B0时，可以实现15倍的吞吐量提高和14倍的延迟降低，并且可以将训练时间缩短7倍。

Graphcore还一直与微软合作，以探索IPU上新的计算机视觉模型加速的潜力。对于IPU上的EfficientNet-B0，微软研究人员通过在Azure上使用Graphcore IPU，在40分钟内完成了训练运行，而在高端GPU系统上则需要3个小时。

Graphcore还一直与微软合作，以探索IPU上新的计算机视觉模型加速的潜力。对于IPU上的EfficientNet-B0，微软研究人员通过在Azure上使用Graphcore IPU，在40分钟内完成了训练运行，而在高端GPU系统上则需要3个小时。

AI药物研发的未来方向

新的硬件架构使科学家们可以在药物研发领域使用新的AI方法。通过MCMC的例子可以看到，使用专门为AI工作负载设计的架构，甚至可以加速传统的机器学习算法。

随着IPU逐步开始助力创新者利用下一代模型并加速其AI负载，Graphcore十分期待看到IPU带来的医学突破

Graphcore始终持开放态度与业界一线的实践者开展合作。Graphcore目前与牛津Nanopore、Arzeda和微软等机构开展探索性的工作，将会定期向外界汇报这些项目进展的情况。