原创 硅谷王川 investguru  2018-01-27

1/ 可以把知识的深度,看成是神经网络的每一个层级的宽度。而知识的广度,相当于神经网络的层级的数目 (或者深度).

2/ 所谓深度学习,本质上就是神经网络层级更多,也就是知识的广度更大.

3/ 这里的用词可能产生歧义,把人搞糊涂。因为

神经网络的深度 = 知识的广度

神经网络的宽度 = 知识的深度

可以参见笔者的老文章

王川: 深度学习有多深? 学了究竟有几分?  (一)

4/ 知识的广度好,还是深度好, 完全取决于场景,和要解决的问题。衡量这个好坏的定量标准,类似于深度学习中的成本函数 (cost function)

5/ 知识深度的重要性,在于明确了某个阶段性的小目标时,可以深挖精进。初入职场的新人,大脑一片空白,在相关领域拓展知识的深度,更为重要.

6/ 但过了某个临界点,继续深挖的边际效应不断减弱,甚至存在过度拟合 (overfitting) 的问题。过度拟合,意指用自己狭隘的知识,试图解释超过自己知识面覆盖的现象,并自圆其说,沾沾自喜,自欺欺人。

比如十四世纪欧洲的黑死病爆发,巴黎大学的学者,一本正经的写论文说瘟疫爆发是因为当时火星和木星靠得比较近。

再比如, 华尔街基金经理的各种一本正经通过回测检验的量化策略模型.

7/ 许多复杂问题的解决,需要的是不同领域的知识的吸收,知识的广度就开始变得重要.

8/ 许多时候我们甚至都不知道要解决什么问题,不知道如何定义 cost function, 因此对于知识的广度的探索尤为重要.

9/ 知识的广度的拓展,开启了各种可能性的指数级的增加。 知识深度的平均值,相当于指数的底数 (base)。 知识广度的数量,相当于指数幂 (exponent)。在底数值已经接近过度拟合的状态时,加大指数幂,一本万利.