牛津-英仕曼量化金融研究院(以下简称OMI)的研究人员使用Graphcore智能处理器(IPU)大幅加速高级价格预测模型训练,而其使用的技术在其他类型的处理器上运行时往往会遇到计算瓶颈。
IPU专为AI设计的架构使得OMI团队能够缩短多步预测模型的训练时间,以至于可以通过更准确地估计市场价格波动带来巨大商业优势。此类模型可用于针对快速交易的alpha开发和做市策略。
限价指令簿的奥秘
限价指令簿(LOB)是指金融市场上买入/卖出价格水平的记录,表现为交易者情绪的实时视图,被编码在数百万的买入和卖出订单中。分析LOB有助于预测价格走势,尽管这种洞见更多地是关于了解执行某一交易的最佳时机,而非挑选热门股票,但它依然对市场参与者具有重要价值。
人工智能具有对LOB中的数据进行质询的能力,因此与通过人工分析或常规计算可能实现的结果相比,人工智能可以应对更高的复杂性,并因此具有更高的准确性。
人工智能在这一领域的应用通常集中在单步预测上。单步预测试图在一组特定的买入/卖出价和未来某一预定时间(或时序步骤)所产生的市场价格之间建立起关联。
顾名思义,多步预测分析的是一系列时间间隔内的价格走势,每个时序步骤的结果将告知下一个时序步骤。如此累积,便可以用来生成远期的预测。

但是,CPU和GPU上训练速度较慢,在很大程度上限制了多步预测模型的实用性。
现在,OMI研究人员Zihao Zhang博士和Stefan Zohren博士利用IPU架构能够更紧密地映射到多步预测中使用的递归神经层这一事实,避免了计算瓶颈。
结果就是,他们的解决方案能够以很高的准确性训练多步预测模型,并且比以前的可用技术快得多
“我们对各种有趣的最新网络进行了benchmark测试,发现IPU的速度比普通GPU至少快好几倍。如果要给出一个具体数字的话,我认为IPU至少快了10倍。”
Zhang博士
英仕曼集团(Man Group)的多元化量化投资引擎英仕曼AHL(Man AHL)正在考虑OMI最新研究成果的商业可行性。
“如果IPU能够在短得多的时间范畴内完成这种类型的计算,那么我可以保证人们会要求提供这些计算。”
Man AHL首席科学家Anthony Ledford博士
递归模型的挑战
单步预测通常被当作一种标准的有监督学习问题,其目的是在限价指令簿上的买入/卖出价格与特定时间点的市场价格之间建立起关联。但是,影响市场定价的因素众多,有用信号与噪声的比率相对较低,因此很难从单一时序步骤推断出较长期的预测路径。
一种实现多步预测的技术借鉴了自然语言处理(NLP)中常见的一种方法,该方法基于包括编码器和解码器在内的复杂递归神经层,采用Seq2Seq和注意力(Attention)模型。Seq2Seq编码器汇总过去的时间序列信息,而解码器将隐藏状态与未来的已知输入进行组合以生成预测。注意力(Attention)模型有助于解决Seq2Seq模型里某些妨碍其处理长序列的局限性。

但是,此类模型的递归结构不利于在诸如GPU的处理器架构上进行并行处理。鉴于现代电子交易产生LOB数据的速率很高,这个问题尤其突出。
重新思考注意力(Attention)
针对这一计算问题,已经提出了几种解决方案,包括使用具有完全连接的层的Transformer。
但是,OMI团队认为Seq2Seq/注意力(Attention)组合的递归结构与多步预测中时间序列的性质非常吻合,从而能够汇总过去的信息并传播到后续时间标识。
为了使这种方法切实可行,他们需要一个性能更好的计算平台。于是他们开始使用Graphcore技术,利用IPU截然不同的架构来测试其方法。
LOB数据用于在IPU上训练多种模型,包括先前由同一个OMI团队开发的DeepLOB(Zhang等,2019)。在多步预测方面,研究人员测试了两个DeepLOB变体,分别名为DeepLOB-Seq2Seq和DeepLOB-Attention,它们分别使用Seq2Seq和注意力(Attention)模型作为解码器。

高级训练
在包括DeepLOB-Seq2Seq和DeepLOB-Attention在内的一众模型中,Graphcore IPU系统在训练时间方面优于其GPU竞争对手。

新模型还可以在更短的时序步骤(例如K=10)和非常关键的最长时序步骤(例如K=50和K=100)上提供出色的预测准确性。在这种情况下,K代表“波动时间”,即在交易所接收消息的事件时间。这是自然时间,流动性较高的股票价格变动更快,流动性较低的股票价格变动更慢。尤其当用于在较大时序步骤内进行预测时,多步预测模型DeepLOB-Seq2Seq和DeepLOB-Attention实现了最高级别的准确性和精确度。

模型类型和多步预测性能的完整表格请见OMI论文。
预测的下一步
Zhang博士和Zohren博士认为,使用Graphcore IPU进行的研究所展示的原理开启了多种应用程序的可能性,包括在做市的情况下应用在线学习或强化学习。
他们或许还会考虑将编码器-解码器结构应用于强化学习框架,他们先前的一篇研究论文曾经探讨过这一想法。
“强化学习算法提供了一个出色的框架,可以在最佳执行或做市环境中应用这种多步预测。鉴于此类算法的计算复杂性,在这种设置下使用IPU实现的加速甚至可能更大。”
Zohren博士