对于总部位于首尔的人工智能翻译初创公司Twigfarm来说,成功是一种平衡。公司能否完成其远大而重要的使命取决于它能否尽快提供高精确度的结果。同时,作为一家快速成长的企业,运营支出也需要谨慎管理。
最近,Twigfarm从GPU过渡到使用Graphcore IPU,不同的是,转用IPU时无需权衡性价比,在获得了10倍性能提升的同时,也降低了成本。
无边界的沟通
Twigfarm是企业家Sun Ho Baek的创意,他于2016年创立了这家公司,旨在利用人工智能帮助世界各地的人们和各种组织消除语言障碍。这一愿景不仅源于Sun Ho作为软件工程师的专业背景,也源于他自己颇为坎坷的亲身经历:他的早期职业生涯是在以色列和尼泊尔度过的。这使他意识到,无缝的沟通可以释放出多大的潜力。
这一发现启发Sun Ho开发了后来成为Twigfarm基石技术的文本翻译器——专有混合翻译器和自然语言处理(NLP)引擎。在Twigfarm成立的最初六年里,该公司已将这项技术转化为一系列服务,包括基于神经网络的语言处理引擎LETR,为企业定制的B2B翻译平台Gcon Studio,以及翻译通讯和电子邮件的B2C企业解决方案heybunny。
管理成本密集型训练工作负载
尽管Twigfarm的产品不断获得奖项、技术认证、行业关注和客户的赞誉,Sun Ho仍然敏锐地意识到,需要防止公司的运营成本随着公司的成功和认可水平的增长而增加。他解释说:“初创企业对支出特别敏感,我们需要非常谨慎地使用资源来运营企业。”
鉴于Twigfarm为其客户提供的服务的时间和成本密集型的特点,管理成本尤其具有挑战性。除了收集和预处理数据外,Twigfarm的模型还需要根据客户的反馈不断进行再训练。“我们必须尽快训练模型,以便尽快交付给客户,”Sun Ho指出,”这意味着要最小化训练所需时间”。
最近,Twigfarm一直在使用由GPU驱动的基于云的解决方案来训练人工智能模型,但过高的成本负担迫使Sun Ho需要寻找更适合Twigfarm产品的计算替代方案。他回忆说:“成本有时会达到数万美元,所以我们试图找到一种节约成本的方法来实现更好的性能。”
超越GPU的展望
Sun Ho不断寻找基于云计算的GPU性能和效率提升的方法,很快他发现了Graphcore的IPU。IPU非常适合同时解决多个问题:提高效率,降低总体拥有成本(TCO),以及缩短生成结果耗时。IPU的竞争优势在NLP应用中尤为明显,IPU在BERT NLP模型的最新MLPerf结果中的惊人表现证明了这一点。
然而,在实现这些改进之前,Sun Ho需要确保从GPU到Graphcore IPU的任何过渡都是无缝的,并且对技术培训、代码修改和优化的要求较少。
在这方面,他认为Graphcore表现出色。Sun Ho表示:“迁移到其他系统时,大多数时候你只能依靠自己,或者只有公开提供的文件作为参考。相比之下,Graphcore为我们提供了相关的文件以及技术支持。在代码修改方面,他们不仅做了讲解,还和我们一起深入研究代码,解决我们遇到的任何问题。”
成长中的伙伴关系
Twigfarm顺利完成了迁移,并于2021年11月开始在Graphcore基于云的IPU和Poplar软件上运行。
正如Sun Ho所证实的那样,Twigfarm的运营从这一转变中大大受益。“我们发现,IPU的性能优于我们之前使用的所有其他系统。最重要的是,Graphcore的IPU使我们能够实现10倍的性能提升,同时显著降低成本。”
展望未来,Twigfarm计划利用Graphcore的IPU技术开发更多服务。Sun Ho认为双方合作前景光明,并表示:“Graphcore是一家全球化企业,也是一家发展中的初创企业。在他们的支持和建议下,我们希望能在全球舞台上共同发展,齐头并进”。