算法的先天缺陷，及为什么量化交易注定失败
算法的先天缺陷，及为什么量化交易注定失败
胖乎 量化与对冲 作者：胖乎麻省理工金融硕士
算法的先天缺陷，及为什么量化交易注定失败 - 胖乎的文章 - 知乎 https://zhuanlan.zhihu.com/p/138186085
众所周知，2020年3月份，许多大型量化对冲基金就经历了史无前例的巨额亏损，比2007年8月的那次quant meltdown还要严重。许多久负盛名的基金甚至因为这次Covid引发的金融危机而破产了，比如oxford asset management, qt fund等等。这些大额亏损、甚至倒闭的量化基金，其策略都理应是“市场中性”的，也就是说，无论市场涨跌，其持仓都不受影响，即所谓beta为0。然而，为什么这次市场暴跌30%，这些市场中性的量化策略也随之亏损呢？熟人都知道，我一向不认同量化投资的理念——使用历史数据训练算法、以期预测未来。我接下来用一个虚构的例子，来解释所谓的量化交易[1]是怎么运作的。以一个典型的pair trading策略为例。我们假设，吉野家[2]的股票[3]价格和牛肉商品期货的价格高度相关，当牛肉便宜的时候，吉野家的原料成本低，利润高，股票价格就理应上涨；而反之，当牛肉价格上涨时，由于吉野家不能随便给牛肉饭加价（受限于菜单成本等诸多经济学限制），其利润就会变低，股价就理应下降。一个机器学习算法，在给定5-10年的历史数据后，可以有效的得出“吉野家股价和牛肉期货价格高度相关”这一结论。因此，当牛肉期货价格上涨，便卖空吉野家股票，当牛肉期货价格下降，便看涨吉野家股票，这便是一个典型的套利算法交易策略。这个策略在历史数据回测下，利润极高。于是在我们虚构的这个世界里，这个算法被部署到生产环境里，并在2017年到2020年3月一直在赚钱。假设，忽然间，有一种针对牛的传染病，导致全世界所有的牛都死光了，牛这个物种就此灭绝了。在这个虚构的世界里，这一个黑天鹅事件导致牛肉期货的价格先是上涨（疫情初期的肉牛供给下降），之后一路暴跌到0（在人们意识到牛即将灭绝后）。那么，在这个疫情的初期，吉野家股票肯定是会暴跌的，因此算法一开始的时候，遵循“牛肉涨、就看跌股票”的逻辑卖空吉野家股票，并获利；而在疫情后期，尽管牛肉期货价格一路跌至0，吉野家的股票也会一路跌到接近为0（不至于完全破产，毕竟还有照烧鸡排饭），那么在疫情后期，我们的算法就会根据“牛肉跌、看涨吉野家”的逻辑买入股票，就会因此破产。
这个虚构的例子太离谱了，但是真实世界发生的事情本质上就是这个道理。所有的算法交易和量化策略，都需要经过大量历史数据的训练。所谓成功的量化算法，就是那些在回测里始终盈利，放到out of sample的环境里，依然盈利，拿到真实世界里交易后，依然盈利的策略。所有的量化交易策略，都是对过去已经发生的事情的训练，试图从海量的数据里总结出金融市场运作的一般规律，诸如大公司表现好、杠杆率低的公司在经济下行时表现好、航空业股票之间关联度高、emini期货一般会导致nikkei期货跟着动，等等。一个量化交易算法，做的再好，做到极致，也不过是“充分学习了过去市场里发生的一切事件，并掌握了规律”。但是，算法永远无法掌握从未发生过的规律，算法从来不从理论假设中学习（真实、客观发生的历史是唯一的，因此只有一套真实的历史样本）。这次疫情导致的市场结构性失衡，为什么那么多量化策略破产？很多人给出了不同的解释，然而所有人都同意这一点，即“这种大流行病导致的全球性经济衰退”是“前所未见的”。
因为从未发生过，所以量化算法没有训练过这样的样本，所以就不知所措、甚至胡乱交易。
当然，流动性导致的连锁反应，投资者去杠杆化，信贷挤兑，等等都是潜在原因，然而，这些现象每几年都会发生一次，也从未导致大批量化策略破产，原因无他，无非是这些都是见过的、都包含在量化策略机器学习的“样本集”里，模型训练过，也就知道如何应对了。而这次的黑天鹅事件，本质上，如同一个香蕉生产公司训练出来的、可以100%准确的识别香蕉在哪里的算法，突然间，树上的香蕉全都变成了萨克斯管，模型一概失效。
在这次的黑天鹅事件中，什么样的基金从中获利了呢？Bill Ackman的Pershing Square。在二月中旬的时候，Bill Ackman预测疫情会蔓延到美国，并导致全球市场崩溃。他于是买了2700万美元的债券指数的看跌期权，最终随着市场崩溃，这笔投资获利26亿美元，实现了100倍的投资回报[4]。2700万美元，是很小的一笔数目，相比Pershing Square65亿美元的AUM来说，不过0.5%的对冲。如果Bill Ackman没有进行这笔对冲，他的基金将在疫情中损失至少10亿美元；如果他的预测失败，没有疫情发生，损失的不过是2700万美元的本金而已。
在二月中旬的时候，那些量化基金经理们，没有一个人有能力判断出来疫情会蔓延到美国和欧洲吗？有两点原因阻碍了他们作出正确的对冲。一来，量化策略，必须由算法进行系统性交易，仅凭主观判断而拿出一部分本金去对冲并不是量化交易的风格，也违背了和投资者签署的协议。二来，很多量化基金经理们，真的没有能力[5]作出正确的判断，不理解也不愿意理解如何对冲到一个影响全球经济基本面的黑天鹅事件。
这也是我为什么一直坚持金融和经济学理论的重要性。金融市场，本质上是实体经济的衍生，长期上，受经济基本面、公司财务状况、国际贸易和技术进步影响，短期内，受证券的供需关系、交易成本、法规监管、市场结构限制。理解金融市场的运作原理，理解经济学基本模型和理论，应该是投资和交易的根基。缺乏经济学常识、只知道如何设计算法、机器学习、人工智能、随机偏微分方程等等，或许能一时成功，然而，本质上如同发行黑天鹅事件的看跌期权（write put options），永远只能用黑盒子（black box）拟合历史数据，在真正危机的时候，把所有收益全都吐出来[6]。
当然，我这些观点也受我自己教育背景的限制，仅供参考，不必太当真。
（我把评论关了，也是对彼此水平的尊重。这篇文章是业内从业者的自我反思，也是某种意义上的科普。希望你们认真阅读思考后再作评论，也是对创作者的尊重。）
参考
^这里讨论的量化交易，指的是持仓周期为几天的策略，既不是持仓几年的那种被动的ETF式共同基金，也不是高频做市商
^一个卖牛肉饭为主的餐饮连锁，和和合谷、食其家、松屋类似
这真的是个上市公司，9861，东京交易所 https://finance.yahoo.com/quote/9861.T/
^https://www.forbes.com/sites/antoinegara/2020/03/25/billionaire-bill-ackman-100-fold-return-on-coronavirus-hedge-2-billion/#5dc6df8d6fcc
^关于量化基金经理们经济学常识的匮乏，想起来一个真实发生的事情。我有个同事，哈佛计算物理学博士，可以说智商绝顶，量化建模水平极高。有一天，我们一边喝咖啡，一边聊中国的经济数据。我说，“新闻上公布的都是真实gdp增长率，其实更高的指标是看名义gdp增长率，你会发现16年的时候名义增长率跌到了历史低点，说明这里有个软着陆”。让我震惊的是他的反应：“真实gdp增长率？什么叫真实增长率？你相信国家统计局的数据？”我很无奈，我说，“这是个经济学术语，指的是剔除通胀后的增长率。”他满脸质疑，“真的吗？我怎么没听说过？”
当然了，量化基金的结构也决定了，危机没来的那些年里，奖金已经拿得实现了财务自由。这在我看来也属于某种程度上的金融诈骗了