残差是什么(从统计学的“残差”看内卷)
100次浏览 发布时间:2024-10-10 10:37:36
世上的事情可以分为两种:常规的和非常的。
以经济生活为例。经济生活中的大部分是循环流转的,这种生活基本上年复一年地重复地在渠道中流动着——就像血液在生物有机体中循环一样。
一百多年前马歇尔就已经指出:“任何工业上的操作如能变为一律,因而完全同样的事情必须一再地以同一方法来做,则这种操作迟早一定要为机械所代替。耽搁和困难是会有的;但是,如果要由机械来做的工作具有足够规模的话,则金钱和发明的能力将被毫不吝惜地用于这种任务,直到成功为止”。
现在能看到的大部分的行业和工种,它们在五百年前不曾存在,在五百年后也将不复存在。目前所有低工薪水平、人际交互在其中不起本质作用的工种,渐渐地都将被人工智能取代。
而经济生活中的另一小部分则正是熊彼特讲的创造性破坏的过程。它不断地从内部使这个经济结构革命化,不断地破坏旧结构,不断地创造新结构。这个创造性破坏的过程,就是资本主义的本质。这两种经济的增长率之间的差别可以解释《21 世纪资本论》书中提出的r>g的问题。
在这里我想先讲一个统计概念叫残差。为了方便理解,没有统计学背景的朋友可以这样想:世界中的事物有它们真实的值,我们现在试图通过模型去理解这些事物。真实和模型之间的差就是残差。
对于残差的分析是统计分析中重要的工作。在对数据拟合一个统计模型的时候,总是需要预先对数据有一定的假设。仅在数据符合这些假设的时候,应用这个模型才是合理的。
当残差符合我们期望的分布的时候,说明我们的模型是合理的;当残差不满足我们的假设检验时,我们就要更深入地理解模型的不足,并且考虑做审慎的调整。
在此我想给残差下一个更广泛的定义:残差是真实的世界与人们认知的期望之间的差。这里的期望是广义的,既可以指人对未来的期望,也可以指社会对人的期望。
天气预报是人的一种期望,真实的天气和预报的天气之间的差是残差。我们期望每个人遵纪守法,但是某些人没有做到。这个人的违法行为和人们关于他会遵纪守法的社会期望之间的差也是一种残差。
广义的残差可以告诉我们关于世界的期望是否合适,以及这些期望所基于的一些基本假设是否成立。假设有某个法令特别严苛,几乎所有人在日常都难免不违法,那么残差就会大得有点不像话,于是我们就要怀疑这样的法令本身是否适当,以及我们在立法的时候对人类行为的一些基本假设是否成立。
在常规中,即循环的经济、循环的政府或社会生活中,我们已经有了相当成熟的认知模型,对未来的期望有一个有效的估计。在这种情况下,残差是符合预期分布的。而在另一小部分的非常中,即创造性破坏或者改革中,未来是相当不确定的,我们对世界的认知是在不断进步的,我们构建的模型是在不断变化的。
此时的残差常常不满足简单的分布,残差分析就变得格外重要。甚至可以说,作为企业家或者改革者,下一步的决策非常依赖于当下的残差。我们正是根据这一步步的残差,调整自己的方向和步伐,向着未来前行。
在官僚制下,组织的架构是层级制的。层层汇报的内容主要是什么呢?如果是前述的常规的循环,汇报是没有多少实质内容的;如果是创造性破坏,那么每天面对的新世界和不断地待修正的认知模型之间的残差中富有的信息正是我们下一步决策所需要仰赖的。此时汇报就非常重要,因为上一级领导需要这些残差中的信息来帮助决策和布局。
马奇指出:“在有限理性理论中,注意力是一种稀缺的资源。……注意力的配置影响已获得的信息,并因此影响决策。……因此,决策就取决于注意力产生的环境:谁注意什么?在什么时候注意?在决策时,利益相关的决策者可能不在现场,因为他们可能在其他地方;在决策时,由于注意力被其他一些事情所吸引,就可能会忽略某些事情。注意力的配置方式在很大程度上决定着决策产生的方式,‘时机’和‘动员’也都是其中很重要的问题。”
秘书的位置为什么重要?因为他可以影响领导的注意力的方向。作为领导,应该有能合理地调配自己注意力的信息网络。所以在层级制汇报的时候,需要重点汇报的是残差。
下面我想再讲一个在深层网络学习中非常有效的残差网络(ResNet)。在此我尽量撇开技术细节,只讨论其主要特征和背后的思想如何可以借鉴到治理中来。
残差网络得益于一个技巧,就是残差学习(residual learning)。每一层学习的是残差而不是原始特征,因为残差学习相比原始特征的直接学习更容易,不容易出现退化现象。这和我们刚讲的推论很像:组织中的每一个层级重点看的应该是残差,把残差汇报给上级。
可以这样理解:真正影响决策的应该是残差,因为它反映了模型不能描述实际的部分。
领导的精力是有限的,如果下级汇报的重点不突出,那么领导未必会把精力放到真正重要的事情上来,也未必会把这重要的事情再全力地向上一级汇报。
如果关注的是残差,因为残差的相对大小尺度差别会比真实值来得更明显,领导更容易重视到真实和预期不符的地方,领导的领导也更容易关注到。在残差学习的时候,重要的信息更容易顺着网络的层级传递。
残差网络的另一个重要特点是使用了短路机制(shortcut)。短路机制可以理解为信息的跨层流动,可以无损地传播梯度,也就是说科长有可能越过处长,直接向局长汇报,甚至有可能直接向部长汇报。
短路机制的启示是,尤其在残差信息很重要的时候,下级应该有渠道跨级别地反映问题,这样可以确保上级领导获得的是第一手资料,避免官僚制的层层推诿。
我们这里讨论得更多的是信息从下而上的传递,是由下级主动往上方提送的。如果仅仅是由上级来建立特殊管道,上级很难预判下面哪些节点会发生大的残差。残差学习和短路机制可能是帮助解决治理规模问题的办法。
举个例子,如果某地发生了重大疫情,那显然是一个很大的残差。如果在传统的上报流程中,把它和其他事项混杂在一起,也许不能够引起上级的充分注意。如果有一个专门的残差网络,通过残差学习的机制反馈上来,领导就更容易注意到事态的严重性。
类似短路机制,地方的卫健委如果在疫情发生的时候有渠道和激励跨级向上一级的政府主要领导甚至中央直接汇报呢?请注意这里的短路仅针对重大的残差,日常的行政事务是不需要短路的。
当残差有通道可以被无损地反映给上级领导时,那么即使其中某一级别官员不作为或者胡作为,网络系统本身也是稳健的,重大的残差还是可以一路反映到最高决策层。
从前无法实现这样的短路机制更多的是因为受到带宽的技术限制,到了带宽不再是问题的今天,组织网络的结构是不是可以重新设计呢?不要小看短路机制,虽然它看起来只是对组织中信息流通结构的一点小调整,但却可能会给组织层级系统带来本质性的改变。
在下层内卷着的人,也许是怀才不遇,当他们怀着重大残差的时候,可以通过这样的短路机制越过层级,跳出内卷。
在今天的互联网社会,模型算法可以根据一个人的性别、职业、年龄等变量来推算出一个人的喜好,类似前文讲的幸福梯度。模型是不准确的,模型的推算和实际之间的差别是残差,也正是一个人最珍贵的、个性化的地方。
内卷化的人们为了一个共同的外部指标去竞争,迷失了个性。我们在这里讨论残差,是要提醒大家重新认识到社会认知模型的局限,认识到每个人的特别,认识到残差反馈的重要。
在被社会文化权力结构卷入到内卷的漩涡中时,可以想想自己和这个社会的基础认知模型有哪些格格不入的地方。这些格格不入的残差不应当被忽略——我们应该重视它带来的反馈的价值,修正我们对自己的认知。