
大数据时代的语言研究不能忽视的因果
大数据是近年兴起的概念,大体上是指通过一系列精炼、提取、分析,从庞杂、无序、多维的信息中获取情报的一种方法。大数据研究让我们有能力驾驭海量信息,使得以往变化莫测、捉摸不透的自然、社会现象,变得模式凸显,有章可循。这不仅让许多科学猜想获得实证检验的机会,也极大地加速了新理论、新假说的产生。
语言学领域的大数据研究最吸引人的领域是自然语言处理。通过数学统计和机器算法,可以让机器学习人类的语言使用,从大量语言信息中搜寻有规律、重复出现的模式,并不断让机器识别、记录和改进这些模式,以实际应用于人工智能的诸多领域。此项突破在人类语言应用方面前所未有。语言大数据研究另一个重要领域是理性主义研究。这类研究通常带有一定的理论预设,通过大规模语料的分析和计算,找出字、词、句在历时和共时上的分布规律,从而为社会语言变迁、语音语法演变、语言共性规律、语言类型学划分等研究提供一定的实证支持,是一种较为科学的描写性分析。
在当前大数据风起云涌的时代,秉持此研究理念的学者坚信这种研究方法开启了一次重大的时代变革,甚至提出“要相关,不要因果”的口号。那么,语言研究者是否应该倾力研究诸多“变量”之间的相关性,而无须考虑事物之间的因果关系呢?既然我们有了精深的统计知识和机器算法,可以在机器翻译、语音识别、语言共性规律等方面取得以往不可能实现的成就,那么我们还需要各种探索因果关系的理论吗?换言之,如果机器可以按自己的“思维”方式实现人类语言的交际功能和研究人类语言的功能,我们何必花时间探索语言背后的哲学基础?何必思考语言现象内在的因果关系?
答案显然是否定的。笔者认为,人类对因果关系的渴求受到与生俱来的好奇心驱动,是人类独特的理性力量。不管是“小”数据年代,还是大数据时代,人类都乐于对事物之间的关联作出判断,理性地探索那些最本质的因果关系。大数据固然有助于人们在这方面的探索,但人们不可能靠它一劳永逸地解决所有问题。这是由大数据本身的性质所决定的。
大数据 “大”的原因有两方面:一方面是在同样的参数、变量的情况下,尽可能增加观察、记录的次数,从而扩大数据规模;二是在同一次观察、记录中,尽可能地增加参数、变量的数目,也同样能扩大数据规模。在现实研究中,这两个因素经常同时相互起作用。然而,数据规模虽可无限扩大,但仍非决定人们因果推断能力的根本因素。问题不妨这样看:随着观察次数增加,基于某个统计模型的估计值,其精确度就有可能不断提高。然而,问题在于是否观察次数越多,这个模型就可以自动消除因为某个变量缺失而带来的计算偏差。举个简单的例子:假设在一座城市有甲、乙两家医院,通过数十年不间断的数据收集,我们发现在去过两家医院的患者中,甲医院死亡率非常高,而乙医院死亡率很低,那么,我们是否就可以得出甲医院差,而乙医院好呢?答案是否定的!因为我们忽略了一个重要的外生变量,即甲医院级别更高,收治了更多病情严重的病人;而乙医院级别较低,只能治疗一些小病。这就是统计学上所谓的“遗漏变量偏差”。可见,即使我们积累了数十年多次观察的数据,仍可能未触及最根本因果问题。因此,解决问题不在于大数据的“大”,而更在于是否在数据采集和统计模型选择时有较高层次的理论指导。
另一方面,如果说增加观察次数并不会实质提高发现因果关系的可能性,那么是否可以在同一次观察、记录中,尽可能增加相关参数、变量的数目、种类,来改变这种状况?此想法看似合理,但仍不完全可行。虽然通过各种复杂精妙统计学方法,可以把复杂的数据降维,得出有价值的线性回归模型;姑且不论随着变量增加,是否对统计模型产生影响,最核心的问题还在于这样的研究存在一个前提假设,即观察、记录的变量必然包含了能够引发因果关系的所有变量,但事实往往并非如此。举例来说,2015年,美国迈阿密大学的凯莱布·埃弗里特(C. Everett)及其同事考察了3700多种语言,其中629种语言有复杂的声调,通过独立样本检验,他们发现声调类型复杂的语言更多出现在气候湿润的地区,而声调单一或无声调的语言更可能出现在气候干燥地区。埃弗里特提供的解释是干燥的空气容易使得发音器官脱水,降低声带弹性;在气候干冷的环境下,发出复杂声调比在温润的环境下要困难得多。这种因果推断似是而非,但颇受欢迎。
仅一年后,荷兰内梅亨大学的杰里米·柯林斯(Jeremy Collins)就针对这篇文章的结论提出严重质疑。他认为,由于人类语言大多聚集在气候湿润地区,埃弗里特及其团队所谓的“随机样本”很可能是取自同一个气候湿润的地区。这些地区聚集着为数众多的语言,它们之间还可能具有亲缘关系,而就是这个“亲缘关系”的变量被埃弗里特及其团队忽略。事实上,荷兰的柯林斯通过另外一种数据收集方法(在同一个语系随机选取一个语言,然后在该语系谱系树中再随机选取其他语言),得出语言接触是重要的干扰因素,可以在全球范围内产生声调与气候湿润积极关联。柯林斯认为,语言接触、语言的地理分布,甚至地理地貌特征均是干扰声调和气候相关性的因素。虽然美国埃弗里特研究了近半数的人类语言,但由于没有考虑这些因素,因此他们的结论并不可靠。汉语是有调类语言,也引起了国际语言学家的广泛关注。桥本龙太郎(Hashimoto Riotaro)很早就指出,汉语越往南的方言,调类越多,而越往北的,调类越少。北方汉语之所以调类少,是受了阿尔泰语的影响。那些侵入中原地区的族群,受汉族影响,改用汉语,但他们讲的汉语仅保留了有限声调类型。当前汉语与阿尔泰语接触的最前沿是兰银官话,只有两三种声调,而与粤语相邻的方言则声调类型丰富。可见,如果缺乏对社会、文化、历史以及类型学理论知识的把握,大规模数据的研究并不总会产生有价值的科学发现,甚至会得出误导性的“虚假相关”。这足以引起警惕。
我们认为,大数据的“大”并不足以改变人们因果推理的能力。本质上,我们仍然需要一个坚实、强大的理论来指导我们收集数据和设定模型。人类不会也不可能一劳永逸地仅依靠机器实现从提出假说到实践检验的全过程。一些学者提出“只要相关,不要因果”的口号其实是针对大数据研究中找出可复现模式的能力而言的。但是,语言学研究和其他科学研究一样,并不是仅找寻相关性和可复现模式的活动。语言研究者需要保持好奇心和批评性思维,特别是追求根本性因果关系的决心。只有这样,才是大数据时代语言学研究发展的正确方向。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28