相信很多投资者一看这个题目会头晕,过度拟合其实一开始是一个统计学术语,用来形容统计模型过度地对历史数据进行优化,从而使模型预测过去的能力很强,而运用到未来的实际效果却不好。后来随着投资领域中量化一脉愈发发扬光大,统计理论逐步移植到了日常的投资中,从而过度拟合亦如同幽灵一般神出鬼没,时不时影响着投资人的业绩。更为可怕的是,在投资领域的过度拟合甚至更难…
过度拟合(overfitting)是统计学、机器学习中的概念,即模型与参数过度地拟合了样本内的数据,或许把很多噪音数据也拟合了,而这些并不能反映数据总体的本质特征,以至于在样本外的数据中拟合效果很差;实际上optimization翻译成中文是“最优化”,要么最大要么最小,既然目标是“最”了,何来过度一说?其实他本质上也是过度拟合的另一种表述,但很多…
本篇文章试图对量化策略中的过度拟合问题,作一个系统的梳理,给策略研究者一个清晰的思考框架。 什么是过度拟合 过度拟合最初是统计学数据挖掘领域中的概念,现在机器学习、量化策略领域里也有重要的地位。过度拟合指的是调优一个复杂模型(变量多的模型)去完美拟合历史事件样本,结果模型缺乏预测未来事件的能力。历史样本数越少,模型越复杂,过度拟合越容易。 效信和噪…
拟合并不特指某一种方法,指的是对一些数据,按其规律方程化,而其方程化的方法有很多,回归只是其中一种方法,还有指数平滑这样简单一些的方法,或者ARIMA,VAR,等等各种复杂一点的方法。 拟合是一种数据处理的方式,不特指哪种方法。简单的说就是你有一组数据,觉得这组数据和一个已知的函数(这个函数的参数未定)很相似,为了得到最能表示这组数据特征的这个函数…
盐铁会议的八大争论 争论一、盐铁官营之争 官营vs私营 儒生坚决反对盐铁官营 认为这是国家对民间财富的剥夺 这种垄断与民争利 扭曲了市场 压榨了普通民众 使得生存成为奢望 官府所生产的铁器价高质劣 不适于农业 且官营体制滋生腐败 导致部分官员利用权力囤积居奇 加剧了社会不平 朝廷垄断盐铁并获利 最终加剧了民生困窘 民间商人被打压 资源垄断让百姓无法…
不知不觉这个连载就到最后一期了,谢谢大家耐着性子看了这么久。说了四十期的风险故事和里面或者牛逼或者倒霉的大神们,今天我们回到所有风险故事的最开始,15世纪的荷兰,所有在后世我们津津乐道的名词与市场里的传奇故事,都曾在这里发生过。 学过高中地理的人都知道,荷兰或者说尼德兰是一个低地国家,有四分之一的国土面积在海平面之下,整个国家几乎都是沼泽,很少有农…
每个学科都有开创性的大人物 比如自然学科就很感谢伽利略 因为在伽利略之前 数学只用来处理抽象的纯数学问题 和实际无关 而伽利略用数学给后人提供了一个伟大的思想和表达工具 很好奇如果没有伽利略 我们还要多久才能看到《自然哲学的数学原理》 巧合的是 牛顿出生于伽利略去世一年之后 这个事情怎么说呢 细思恐极 那么谁是经济学科的伽利略呢? 感觉没有人比保罗…
之前在伊藤清和巴舍利耶的故事里 都有同样一个名字出现 这个名字非常俄国 也就是说读起来非常拗口 而这也是我们今天的主角 安德雷·柯尔莫哥洛夫(Andrey Kolmogorov) 写起来都占地方 所以我们就喊他老柯吧(和科比没有关系) 老柯的爸爸是一名搞农业技术的革命家 结果老柯还没出生他就被沙皇俄国驱逐出境了 十月革命后他倒是回国还当了农业部的官…
1900年 可能是巴黎历史上最光辉的年份 这一年这里举办了世博会和奥运会 还办了那场震古烁今的国际数学会 一个叫希尔伯特的数学家提出了23个公开问题清单 整个20世纪的数学都在围着这份清单打转 而也是在这一年 一篇可能是金融历史上最划时代的论文也横空出世 他的作者叫路易斯·巴舍利耶(Louis Bachelier) 如果你在搜索引擎上查询“巴舍利耶…
如果要问一个问题 现代数量经济学的奠基人是谁 可能第一个出现在大家脑海中的人是瓦尔拉斯 或者萨缪尔森 但是真正的奠基者另有其人 只不过名气好像没有前两个人大 但学过经济学的人肯定都知道 就是欧文·费雪(Irving Fisher) 对 就是费雪方程式的那个费雪 费雪是耶鲁大学历史上的第一个经济学博士(1891年) 在经济学之外他还干了许多跨界的事情…