京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代的语言研究不能忽视的因果
大数据是近年兴起的概念,大体上是指通过一系列精炼、提取、分析,从庞杂、无序、多维的信息中获取情报的一种方法。大数据研究让我们有能力驾驭海量信息,使得以往变化莫测、捉摸不透的自然、社会现象,变得模式凸显,有章可循。这不仅让许多科学猜想获得实证检验的机会,也极大地加速了新理论、新假说的产生。
语言学领域的大数据研究最吸引人的领域是自然语言处理。通过数学统计和机器算法,可以让机器学习人类的语言使用,从大量语言信息中搜寻有规律、重复出现的模式,并不断让机器识别、记录和改进这些模式,以实际应用于人工智能的诸多领域。此项突破在人类语言应用方面前所未有。语言大数据研究另一个重要领域是理性主义研究。这类研究通常带有一定的理论预设,通过大规模语料的分析和计算,找出字、词、句在历时和共时上的分布规律,从而为社会语言变迁、语音语法演变、语言共性规律、语言类型学划分等研究提供一定的实证支持,是一种较为科学的描写性分析。
在当前大数据风起云涌的时代,秉持此研究理念的学者坚信这种研究方法开启了一次重大的时代变革,甚至提出“要相关,不要因果”的口号。那么,语言研究者是否应该倾力研究诸多“变量”之间的相关性,而无须考虑事物之间的因果关系呢?既然我们有了精深的统计知识和机器算法,可以在机器翻译、语音识别、语言共性规律等方面取得以往不可能实现的成就,那么我们还需要各种探索因果关系的理论吗?换言之,如果机器可以按自己的“思维”方式实现人类语言的交际功能和研究人类语言的功能,我们何必花时间探索语言背后的哲学基础?何必思考语言现象内在的因果关系?
答案显然是否定的。笔者认为,人类对因果关系的渴求受到与生俱来的好奇心驱动,是人类独特的理性力量。不管是“小”数据年代,还是大数据时代,人类都乐于对事物之间的关联作出判断,理性地探索那些最本质的因果关系。大数据固然有助于人们在这方面的探索,但人们不可能靠它一劳永逸地解决所有问题。这是由大数据本身的性质所决定的。
大数据 “大”的原因有两方面:一方面是在同样的参数、变量的情况下,尽可能增加观察、记录的次数,从而扩大数据规模;二是在同一次观察、记录中,尽可能地增加参数、变量的数目,也同样能扩大数据规模。在现实研究中,这两个因素经常同时相互起作用。然而,数据规模虽可无限扩大,但仍非决定人们因果推断能力的根本因素。问题不妨这样看:随着观察次数增加,基于某个统计模型的估计值,其精确度就有可能不断提高。然而,问题在于是否观察次数越多,这个模型就可以自动消除因为某个变量缺失而带来的计算偏差。举个简单的例子:假设在一座城市有甲、乙两家医院,通过数十年不间断的数据收集,我们发现在去过两家医院的患者中,甲医院死亡率非常高,而乙医院死亡率很低,那么,我们是否就可以得出甲医院差,而乙医院好呢?答案是否定的!因为我们忽略了一个重要的外生变量,即甲医院级别更高,收治了更多病情严重的病人;而乙医院级别较低,只能治疗一些小病。这就是统计学上所谓的“遗漏变量偏差”。可见,即使我们积累了数十年多次观察的数据,仍可能未触及最根本因果问题。因此,解决问题不在于大数据的“大”,而更在于是否在数据采集和统计模型选择时有较高层次的理论指导。
另一方面,如果说增加观察次数并不会实质提高发现因果关系的可能性,那么是否可以在同一次观察、记录中,尽可能增加相关参数、变量的数目、种类,来改变这种状况?此想法看似合理,但仍不完全可行。虽然通过各种复杂精妙统计学方法,可以把复杂的数据降维,得出有价值的线性回归模型;姑且不论随着变量增加,是否对统计模型产生影响,最核心的问题还在于这样的研究存在一个前提假设,即观察、记录的变量必然包含了能够引发因果关系的所有变量,但事实往往并非如此。举例来说,2015年,美国迈阿密大学的凯莱布·埃弗里特(C. Everett)及其同事考察了3700多种语言,其中629种语言有复杂的声调,通过独立样本检验,他们发现声调类型复杂的语言更多出现在气候湿润的地区,而声调单一或无声调的语言更可能出现在气候干燥地区。埃弗里特提供的解释是干燥的空气容易使得发音器官脱水,降低声带弹性;在气候干冷的环境下,发出复杂声调比在温润的环境下要困难得多。这种因果推断似是而非,但颇受欢迎。
仅一年后,荷兰内梅亨大学的杰里米·柯林斯(Jeremy Collins)就针对这篇文章的结论提出严重质疑。他认为,由于人类语言大多聚集在气候湿润地区,埃弗里特及其团队所谓的“随机样本”很可能是取自同一个气候湿润的地区。这些地区聚集着为数众多的语言,它们之间还可能具有亲缘关系,而就是这个“亲缘关系”的变量被埃弗里特及其团队忽略。事实上,荷兰的柯林斯通过另外一种数据收集方法(在同一个语系随机选取一个语言,然后在该语系谱系树中再随机选取其他语言),得出语言接触是重要的干扰因素,可以在全球范围内产生声调与气候湿润积极关联。柯林斯认为,语言接触、语言的地理分布,甚至地理地貌特征均是干扰声调和气候相关性的因素。虽然美国埃弗里特研究了近半数的人类语言,但由于没有考虑这些因素,因此他们的结论并不可靠。汉语是有调类语言,也引起了国际语言学家的广泛关注。桥本龙太郎(Hashimoto Riotaro)很早就指出,汉语越往南的方言,调类越多,而越往北的,调类越少。北方汉语之所以调类少,是受了阿尔泰语的影响。那些侵入中原地区的族群,受汉族影响,改用汉语,但他们讲的汉语仅保留了有限声调类型。当前汉语与阿尔泰语接触的最前沿是兰银官话,只有两三种声调,而与粤语相邻的方言则声调类型丰富。可见,如果缺乏对社会、文化、历史以及类型学理论知识的把握,大规模数据的研究并不总会产生有价值的科学发现,甚至会得出误导性的“虚假相关”。这足以引起警惕。
我们认为,大数据的“大”并不足以改变人们因果推理的能力。本质上,我们仍然需要一个坚实、强大的理论来指导我们收集数据和设定模型。人类不会也不可能一劳永逸地仅依靠机器实现从提出假说到实践检验的全过程。一些学者提出“只要相关,不要因果”的口号其实是针对大数据研究中找出可复现模式的能力而言的。但是,语言学研究和其他科学研究一样,并不是仅找寻相关性和可复现模式的活动。语言研究者需要保持好奇心和批评性思维,特别是追求根本性因果关系的决心。只有这样,才是大数据时代语言学研究发展的正确方向。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析与业务决策中,数据并非静止不变的数值,而是始终处于动态波动之中——股市收盘价的每日涨跌、企业月度销售额的起伏、 ...
2026-04-21在数据分析领域,当研究涉及多个自变量与多个因变量之间的复杂关联时,多变量一般线性分析(Multivariate General Linear Analys ...
2026-04-21很多数据分析师精通描述性统计,能熟练计算均值、中位数、标准差,但当被问到“用500个样本如何推断10万用户的真实满意度”“这 ...
2026-04-21在数据处理与分析的全流程中,日期数据是贯穿业务场景的核心维度之一——无论是业务报表统计、用户行为追踪,还是风控规则落地、 ...
2026-04-20在机器学习建模全流程中,特征工程是连接原始数据与模型效果的关键环节,而特征重要性分析则是特征工程的“灵魂”——它不仅能帮 ...
2026-04-20很多数据分析师沉迷于复杂的机器学习算法,却忽略了数据分析最基础也最核心的能力——描述性统计。事实上,80%的商业分析问题, ...
2026-04-20在数字化时代,数据已成为企业决策的核心驱动力,数据分析与数据挖掘作为解锁数据价值的关键手段,广泛应用于互联网、金融、医疗 ...
2026-04-17在数据处理、后端开发、报表生成与自动化脚本中,将 SQL 查询结果转换为字符串是一项高频且实用的操作。无论是拼接多行数据为逗 ...
2026-04-17面对一份上万行的销售明细表,要快速回答“哪个地区卖得最好”“哪款产品增长最快”“不同客户类型的购买力如何”——这些看似复 ...
2026-04-17数据分析师一天的工作,80% 的时间围绕表格结构数据展开。从一张销售明细表到一份完整的分析报告,表格结构数据贯穿始终。但你真 ...
2026-04-16在机器学习无监督学习领域,Kmeans聚类因其原理简洁、计算高效、可扩展性强的优势,成为数据聚类任务中的主流算法,广泛应用于用 ...
2026-04-16在机器学习建模实践中,特征工程是决定模型性能的核心环节之一。面对高维数据集,冗余特征、无关特征不仅会增加模型训练成本、延 ...
2026-04-16在数字化时代,用户是产品的核心资产,用户运营的本质的是通过科学的指标监测、分析与优化,实现“拉新、促活、留存、转化、复购 ...
2026-04-15在企业数字化转型、系统架构设计、数据治理与AI落地过程中,数据模型、本体模型、业务模型是三大核心基础模型,三者相互支撑、各 ...
2026-04-15数据分析师的一天,80%的时间花在表格数据上,但80%的坑也踩在表格数据上。 如果你分不清数值型和文本型的区别,不知道数据从哪 ...
2026-04-15在人工智能与机器学习落地过程中,模型质量直接决定了应用效果的优劣——无论是分类、回归、生成式模型,还是推荐、预测类模型, ...
2026-04-14在Python网络编程、接口测试、爬虫开发等场景中,HTTP请求的发送与响应处理是核心需求。Requests库作为Python生态中最流行的HTTP ...
2026-04-14 很多新人学完Python、SQL,拿到一张Excel表还是不知从何下手。 其实,90%的商业分析问题,都藏在表格的结构里。 ” 引言:为 ...
2026-04-14在回归分析中,因子(即自变量)的筛选是构建高效、可靠回归模型的核心步骤——实际分析场景中,往往存在多个候选因子,其中部分 ...
2026-04-13在机器学习模型开发过程中,过拟合是制约模型泛化能力的核心痛点——模型过度学习训练数据中的噪声与偶然细节,导致在训练集上表 ...
2026-04-13