“过度拟合”如何影响投资策略

关于股票的价格走向,你能辨别的相关因素越多,能做出的预测更准确,但这样也会引发“过度拟合”这个棘手问题,所以刻意地较少思考也是一种智慧。意识到过度拟合的问题可以改变我们投资方法。

无论是生活难题,还是投资决策,这些看似人类特有的难题其实可以从计算机算法中找到答案。《算法之美》一书把计算机科学的智慧转化为人类生活的策略,引导我们做出明智的选择。本期节目主要讲述的是过度拟合现象产生的原因,检测方法,可能的应对措施,以及这一现象在投资组合管理方面带来的启示。

  • 当我们在思考过程时,很容易认为想到更多自然会更好:关于股票的价格走向,你能辨别的相关因素越多,能做出的预测更准确。但是这样也会引发“过度拟合”这个棘手问题,所以刻意地较少思考也是一种智慧。意识到过度拟合的问题可以改变我们投资方法。
  • 机器学习的最深刻的真理之一就是,事实上,并非使用一个更复杂的模型就会更好,它需要考虑更多的因素。这个问题不仅仅是额外的因素可能会提供递减的回报,比一个简单的模型效果更好,还不足以证明增加的复杂性。相反,他们可能会使我们的预测效果急剧恶化。
  • 过度拟合就是对数据的一种偶像崇拜,产生的原因是将重心放在我们能够测量的数据而不是真正重要的问题上。我们所拥有的数据和我们想要的预测之间的差距几乎无处不在,例如,当我们做财务预测时,我们只能看过去的股票价格,而不是未来的价格。然而,考虑越来越多的因素和在模型分析上花费的更多努力,会导致我们进入将错误的事物最优化的误区。
  • 机器学习的研究已经得出了一些具体的策略以检测过度拟合,而最重要的问题之一就是所谓的交叉验证。简单地说,交叉验证意味着不仅要评估模型是否适合给出的数据,还要看它是如何概括没有见过的数据。矛盾的是,这可能要使更少的数据。
  • 如果你碰巧知道一组投资的期望均值和期望方差,那么使用均值–方差组合优化的最优算法就是其中一个最佳原因。但当正确估计的可能性很低,同时模型过于重视那些不值得信任的量时,那么警报应该在决策过程中响起:应该进行正则了。

在节目中,你还会听到:

  • 检验过度拟合的交叉验证法
  • 惩罚复杂性以及套索算法