金融大数据的过去、现在和未来

编译｜康宇新编辑｜Via

当今时代，社会各行各业都进入了数字时代。数字时代本身正在对每个行业造成巨大破坏。金融作为一个数据极其密集的领域，在所谓的大数据革命中首当其冲。例如，许多商学院在数据时代开始提供MBA（商业分析硕士）课程，同时提供传统的MBA（工商管理硕士）课程。

在金融学界，大数据对学术研究的影响日益凸显。那么，大数据给金融研究和实践带来了哪些机遇和挑战？金融行业的大数据是什么意思？经济学家如何从大数据革命中受益？大数据是否为金融学者提供了新工具或新问题？

宾夕法尼亚大学的 Itay Goldstein、卡内基梅隆大学的 Chester S Spat 和伊利诺伊大学厄巴纳-香槟分校的叶茂在国际顶级金融期刊 The Review of Financial Studies 上发表了《金融中的大数据》论文。本文从一个角度分析了大数据给金融带来的创新演进，为研究人员提供了大数据背景下的新研究思路和研究路径。

文章将于2021年4月发表。

01

金融研究中大数据的特点是什么？

显然，金融研究中的大数据应该与工程和统计学中使用的定义不同。在工程和统计学领域，学者们改进和推动了大数据底层技术的发展，而在金融领域，学者们将大数据作为研究工具来解决问题。基于此，作者将大数据分为三个属性：

大数据

顾名思义，大数据首先是根据其大小来定义的。例如，证券交易所市场每天形成的数据，无论是绝对规模​​还是相对规模，都远远超过其他场景。在传统金融研究中，学者们往往通过抽样、框架选择等方法，构建出更易于分析和操作的“小数据”。大数据可以在“小数据”中捕捉到更全面、清晰、无差错的信息，所以学者们自然会考虑研究“大数据”。

高维：“大数据”不仅仅是规模

第二个特征意味着数据有很多与样本量相关的变量。机器学习通常被认为是大数据研究的标志，是解决维度灾难的常用方法高频交易算法，并且越来越多地用于金融研究。一般来说，机器学习还可以帮助金融学者解决问题，包括：充分考虑实际经济问题中涉及的大部分变量；研究高度或交互变量之间的函数关系；推理更重要）。

复杂结构：数据格式更改和扩展

除了国内生产总值、汇率、利率等已经为学者所熟知的结构化数据外，文本、图片、视频、音频、语音等非结构化数据在经济领域也占有很高的比重。

如果非结构化数据能够判断结构化数据中缺失的经济活动，那么研究这种非结构化数据将创造更多价值。非结构化数据本质上通常是高维的。分析数据的第一步通常是从非结构化数据中提取结构化特征。通常，研究人员将深度学习和计算机科学用于相关工作。例如，自然语言处理 (NLP) 可用于从文本中提取语义信息，语音识别可用于识别语音和音频中的音调信息，以及计算机视觉 (CV) 可用于。识别图像和视频中的地理或背景信息。

综上所述，大数据不仅与数据的大小有关，还与特征有关。这三个特征中的任何一个的发展都可能促进金融研究的大数据特征。

02

现有基于大数据的金融研究文献

为了更具体地探讨这些想法，作者使用六篇现有文献来描述当前在金融研究中使用大数据。

论文 1

埃雷尔等人。（2021) 表明机器学习可以胜过目前由人类做出的新监督决策。他们证明，与样本外测试中的实际候选池相比，算法比人类更准确，并且可以稳定地预测未来的表现并通过机器学习算法的讲解，剖析了supervisor的算法选择逻辑。

本文中的剖析是机器学习方法在公司财务中的首次应用，展示了这种方法在金融领域的广泛吸引力。作者证明算法可以可靠地预测主管的表现。他们将这种有效性归因于对非线性和交互项的检查，这是预测未来表现的关键。这些结果为未来的金融研究提出了有趣的问题，并且是理解变量之间的非线性和相互作用的重要反例。

论文 2

作者试图量化企业文化的概念，了解它对业务的影响。使用 NLP 模型从财报电话会议记录中提取企业文化的关键特征。作者使用半监督机器学习方法和短语嵌入进行文本分析，并将企业文化分解为创新、诚信、质量、尊重和团队合作五个维度。

在大数据出现之前，对文本和语音等非结构化数据进行检查几乎是不可能的，尤其是在大规模和大规模的样本集下。但机器学习和深度学习等大数据算法为这些研究提供了基础帮助。

论文 3

伊斯利等人。(2021）专注于金融领域的微观经济结构，分析基于计算机算法的交易是否会影响交易前制定的市场微观结构举措的有效性。

具体来说，Easley 等人。（2021）考察了六种现有的市场微观结构是否也可以预测价格和流动性的未来价值。之后，答案总是肯定的。

但是，进行此预测的功能方式取决于所应用的交易算法。例如，简单的逻辑回归几乎可以与复杂的机器学习技术在同一资产中进行预测。机器学习在跨资产进行预测方面比逻辑回归更有效。这表明机器学习捕捉特征和关系的能力在个体“人类交易者”难以捕捉信息的情况下一直是经济上有利可图的。

纸 4

阿南德等人。(2021) 通过剖析数据集来确定机构交易者与其经纪商之间的制度冲突。要研究这种制度冲突，了解经纪商本身的特征是极其重要的。但这些特征往往不公开，并且自我报告的数据存在损耗或样本偏差，因此作者使用更客观的 OATS 数据（来自美国的综合监管数据）来克服这两个挑战。

作者发现，看起来表现出色的经纪人实际上做得更糟，这些经纪人通过减少自己的市场份额和财务费用收入来谋取个人利益，不一定充分考虑到他们的客户。在大数据工具形成之前，此类研究只能考虑总样本的一个子集，这不可避免地会丢失信息。借助大数据工具，不仅可以考虑总样本集下的数据概览，还可以通过设计实验来检验因果关系。

论文 5

Benamar, Foucault, and Vega (2021)使用大数据工具在金融市场交易的背景下剖析小数据集。本文的另一个重要贡献是处理非结构化数据。与现有文献的方法不同，本文作者借助数据库将原始和非结构化数据预处理为结构化数据，研究金融市场交易的不确定性。

作者表明，信息不能很好地代表不确定性，并且搜索信息并不能完全填补交易中的不确定性。

因此，在宏观经济和货币政策公告到来之前对未来利率信息的需求更加强烈，这意味着日本国债收益率表现出更高的不确定性和对货币政策公告的更高敏感性，作者使用信息点击来表征信息搜索行为- 通过率，它突出了高频数据在判断信息需求和不确定性方面的预测能力。

论文 6

Giglio、Liao 和 Xiu (2021） 使用机器学习方法深入阐述了资产定价。

他们引入了解释利润横截面差异的新方法，试图确定“因子动物园”中的哪些因素降低了对利润横截面的解释力，或者数千只基金中的哪些基金产生了正利润。它使用的核心算法矩阵补全是一种机器学习技术，可帮助估算缺失数据并分析潜在触发因素。

作者使用对冲基金数据集进一步说明了他们的横截面利润框架的高解释力，同时还探索了这些新模型对其他资产的定价能力。

03

大数据研究的未来将何去何从？

本文提到的六篇论文可以为讨论金融大数据提供一个起点。作为一个新兴领域，大数据和机器学习为金融领域提出了许多新的问题。笔者从四个方面进一步探讨了大数据在金融领域的未来应用。

1 从使用机器学习到理解机器学习

迄今为止，大多数研究都使用了机器学习，包括上述论文，它们使用机器学习来理解人类行为。金融机器学习的一个有前途的领域是当决策者是机器时对人类决策的添加和修改。正如心理学文献中对人类行为错误的洞察催生了行为金融学领域一样，对算法行为（或机器心理学）的洞察可能会导致对算法行为金融学的类似研究。

2 大数据革命对金融个体的影响

一旦机器成为金融决策者，其他非机器金融个体会改变他们的行为吗？例如高频交易算法，随着投资者越来越多地使用自动算法交易，被交易的公司是否会越来越多地追求短期项目来取悦算法？“大数据”的出现是因为企业的管理需要，还是因为投资者的投资需要？

3 大数据对不同金融个体影响的异质性

大数据的影响可能并不总是积极的。而大数据为机构和个人投资者提供了更多的信息和预测能力。然而，一些学者表明，社交媒体可以将价格推离基本面，从而扭曲金融平衡。因此，大数据对不同类型金融个体的影响及其对社会的整体影响将是一个有趣的研究问题。

4 更复杂的数据金融

大数据从剖析结构化交易和报价等数据开始。最近的发展使研究人员能够使用自然语言处理 (NLP) 从文本等非结构化数据中提取信息。一个非常有前途的研究方向是剖析更复杂的结构化数据，例如音频、视频和图像，这有可能提供对传统结构化简单数据中不存在的金融运营的更多见解。

参考

[1] Erel, I.、L. Stern、C. Tan 和 MS Weisbach。2021. 使用机器学习选择导演。金融研究回顾 34:3226–64.

[2] Li, K., F. Mai, R. Shen, 和 X. Yan。2021. 使用机器学习衡量企业文化。金融研究回顾 34:3265–315.

[3] Easley, D.、M. Lopez de Prado、M. O'Hara 和 Z. Zhang。2021. 机器时代的微观结构。金融研究回顾 34:3316-63.@ >

[4] Anand, A., M. Samadi, J. Sokobin 和 K. Venkataraman。2021. 机构订单处理和经纪商关联交易场所。金融研究回顾 34:3364–402.@ >

[5] Benamar, H.、T. Foucault 和 C. Vega。2021. 对信息的需求、不确定性以及美国国债对新闻的反应。金融研究回顾 34:3403–55.

[6] Giglio, S.、Y. Liao 和 D. Xiu。2021. 数千个 alpha 测试。金融研究回顾 34:3456–96.