数据思维二三事

数据思维二三事

1/ 虽是数学出身,但实际上数学为统计的理解带来了更多的挑战。因为数学的重心在于抽象,以高度抽象的方式来统一性地解决问题。而统计则更为关注现实,以具体的例子为基本素材,以“把大家放到一块儿看看”为方法论,来讨论手头上的数据特征。

这种在方法论上关于抽象与具体的差别,让两者彼此对抗、彼此融合着。能否辩证地看待两者的关系,成了能否进一步做出深刻认识的关键。

2/ 就visualization这个话题来讲,曾经很是头痛于它的局限性,只能够做出二维的图形或三维的展示,完全没办法去处理更高维的情形。相比于可以在理论上追求无穷维的自由,visualization显得异常笨拙。

可事实上,真正的瓶颈在于人类的大脑:你几乎只能理解二维、三维的世界,维度再往上走就没什么感觉了。表面上,你似乎可以想象出一个思维的四棱柱。可是,仅仅在头脑中渲染出这个四维的物体,已经消耗掉你大脑中80%的CPU。剩下20%的资源,又怎么够去理解思维图形带给你的数据洞见呢?

你的直感、洞见、趋势观察,不会来自于四维空间,而只能是二维空间、三维空间。所以,认真地打磨二维、三维空间的可视化工具是你唯一有效地选择。剩下的部分,其实已经被大脑认知所丢弃。

即便是不考虑visualization,就是单纯地比对数据,你能做的事情也是极其有限的:心理学研究发现,人类能够区分清楚的“强弱程度”最多也就只有6个级别。如果再继续做精细划分,大脑基本上就会陷入模糊与紊乱,不知道该如何做精细的归类。

那么从维度上讲,这个限制也是隐形存在的。为什么要做成二维的表格形式?因为那几乎就是大脑的极限维度。

而如果你的数据维度远远超过这些限制怎么办?这才是数据分析被提出来、被需要的根本动因:你需要把复复杂的、高维度的数据做各种倒腾和拆分,让它能够以符合人类认知的二维、三维的形式做呈现、做visualization

如果不做这样的降维处理,不把数据以更具限制性的方式呈现出来,大脑只会单纯地“无感”,无法产生洞见。无论计算机能够吸收多么复杂的数据模式,最终要分析、理解结果的都是一个个的人。而只要是人,他的脑接口就已经决定了数据必须以二维、三维的方式来呈现。

如同计算数学当中的计算代数,无论你做偏微分方程数值解,还是做复杂的最优化,如deep learning这些,你最终都必须回归到矩阵计算。为什么?因为从最底层的角度上讲,计算机唯一能做的就是关于加减乘除的矩阵运算。

3/ 要体会人类认知在数据面前的脆弱,其实用不了多少数据就可以办到。例如,你只要看一眼满屏的Excel数据表,然后问自己一个问题:看到它们后,你能得出什么直观性的结论吗?又或是产生一些生理上的自然反应吗?能够像看完满屏的一副风景画照片那样,立刻在内心留下什么直接的感触吗?

我想不能,你看完这满屏的数据后,它还是它,你还是你,这就是你和数据之间的认知鸿沟。

人类的认知系统本身,就不善于处理数据,也就是单纯的对数据无感。要想直接建立起对数据的感觉,需要漫长的训练和思考。又或是我们可以调整数据的形式,让它们以符合人类认知的方式出现,从而让大脑尽可能多地去吸收数据中蕴含的信息、感受数据传递给你的诉求。

4/ 按照这样的框架继续思考,这里其实涉及到两个过程,一个是“建立洞见”的过程,另一个是为了让建立洞见这个事情变得更容易而需要做一些“辅助工作”的过程。

要想“建立洞见”,你需要有领域知识,有问题所在语境的基本认知,有充分的关联能力。其核心,就是要根据数据“做出决策”。

而辅助性工作,其实涉及的就是倒腾数据的工作,也就是广大技术人员常常在做的用numpay、pandas、TensorFlow做数据的转换、迁移和计算。它服务于:当我想要做出某个洞见时,需要看一看某几个指标的对比,但却发现没有现成的数据。于是,需要通过已有的原始数据,经过整理、加工来转换成形成洞见所需要的数据形式。这类似于矿工不断地将玉石周围的石头打磨掉的过程。

从这个角度讲,善于做数据分析处理工作的人不一定善于从数据中得出智慧和结论。

在做一个事情的时候,现实提出你的诉求:你是谁、有什么需求、有什么问题、需要哪些东西的支持来构建你的启发和idea?然后,当你想要解决这些问题时发现这并不能直接办到,需要先做一些数据的倒腾、将它从一种形式变为另一种形式、把一个侧面同另一个侧面关联起来,还需要通过作图来产生洞见,这时候,就派出能够铲除这些障碍的工具,把它们一一消灭。

这里也就是我们提到的两个环节:

  • 一个是你有一个基本的想法,面对一大堆的数据指标时,要有联想、洞见、找漏洞的能力。
  • 另一环节则是在完成上一步时,遇到了技术细节的阻力,于是拿出各种数据分析的模型、工具,来铲除技术障碍。

一旦铲除掉这些障碍,还是需要回归到第一条——它到底是验证了、推翻了之前的一个想法?还是,在挖掘的过程中,又有了新的启发,提出了新的问题、猜测和联想?

这两个部分都很重要,但更重要的是你要能够区分它们,并弄清楚它们之间的关系。就算你倒腾数据的本事很高,可是,如果没有数据洞见、不会根据计算出来的数据做对比、做观察、做联想,你就是一枚单纯的矿工。另一方面,如果你需要训练这些洞见,其实并不一定需要具备倒腾数据的能力。你完全可以让其他人为你服务,根据已有的、经过处理的数据源,比如财报或行业报告,开始训练自己的数据洞察、联想能力。

单纯加强工具使用的能力,例如使用Python的数据分析工具生态:numpy、scikit-learn、pandas,又或是学习SQL的各种CRUD操作,又或是学习TensorFlow,其实仅仅能提高数据倒腾的工程能力,但在数据的洞见、观察、联想、剖析上,起不到太大作用。

一个是拆解、组合数据的工具人,另一个则是解读数据的观察者。

 

 

近期回顾

就事论事,就人论事
睁眼瞎的时代
关于编程语言的一些趣史

 

如果你喜欢我的文章或分享,请长按下面的二维码关注我的微信公众号,谢谢!

 

 

更多信息交流和观点分享,可加入知识星球:

发表评论