大数据时代的调查研究面临四个转变_数据分析师培训

当前社会，数据处于一种爆炸增长状态，在经济社会各领域，对于数据的驾驭决定了未来的发展和走向，调查研究工作也不例外。笔者认为，在大数据时代势不可挡的背景下，调查研究应当顺势而为，努力做到四个转变。

从人工调研为主向基于互联网数据调研的转变

传统的调查研究方法包括会议调查法、实地观察法、文献调查法、书面调查法、测验调查法、资料调查法、综合归纳法、问卷调查法等，我们统称之为人工调研。人工调研的突出优势在于调查人员能够直观地掌握第一手的资料和情况，但其缺点同样是显而易见的：调研样本采集困难、调研费用昂贵、调研周期过长、调研环节监控滞后等等。

与传统的手工或面对面调研方式不同，互联网数据调研是利用互联网和科技手段在线收集数据信息的一种新型调研方式。比较常见的方式有在线调查、计算机辅助电话咨询、Email问卷调查等。较之人工调研，互联网数据调研具有信息收集的广泛性、调研信息的及时性和共享性、调研的便捷性和经济性、调研结果的准确性等显著优势。以在线调查为例，通过ip、cookie等技术手段，对受访者的注册过程和答题过程进行甄别，可以有效提高问卷答案的真实性。由于在线调查不受时间和地点的限制，并且可以省掉传统调查中很多必不可少的环节，大大缩短了调研周期，提升了调研工作的效率。

从样本采集分析向云数据、全覆盖数据调研的转变

随着大数据时代的到来，在互联网和信息技术革命强大推动力的驱使下，调查研究工作的数据基础开始面临新的挑战。以前，传统的调研工作往往采用样本采集分析的方式，这种方式虽然可以利用少量的信息调查对象的整体情况，但仍然比较粗糙，分析的信度不够高。云数据和全覆盖数据具有体积巨大、类型繁多、速率极高、效度较准但是价值密度低的特点，面对这一特点，调查研究工作的数据基础将发生较大转变，我们分析与调查的是调研对象相关的所有数据，而不是依靠分析少量数据，我们不再仅仅追求准确性，而应乐于接受数据的纷繁复杂。

大数据时代的调查研究工作，一方面要尽可能掌握和运用更多的数据，以便我们更加正确地考察细节并进行新的分析。当然，实现各行业、各单位尤其是政府各部门之间的信息共享，是获取云数据、全覆盖数据的基本前提。在此基础上，应进一步通过各种媒介平台，搜集、梳理、分析海量信息，获取网络舆情、民意取向等，通过梳理信息流并借助先进的技术工具进行整理，形成覆盖调查研究问题涉及的全方位因素的云数据，为提高调查研究水平夯实数据基础。另一方面，也要看到海量数据存在着“偏爱潮流”、“不懂背景”、“过分解构”等局限性，应结合一定的分析方法和手段，例如调查问卷、深入访谈、焦点座谈、二手资料研究、标杆研究等，将获取的海量云数据和可信的传统数据样本相互对比、相互印证、整合运用，以进一步增强调查研究数据基础工作的科学性。

从因果分析、逻辑推理调研向关联、非关联等相关因素呈现式调研的转变

在传统的调查研究中，因果分析、逻辑推理是最重要的研究方法，通过这种方法得出的结论往往需要通过实践进行验证和修补，有的甚至最终会被证伪、推翻。究其原因，关键在于我们的主观世界与客观世界的信息严重不对称。客观世界信息无限丰富，而我们自身受眼界、技术、认知能力等因素的制约，能够获取的信息极为有限，我们只能像管中窥豹或者盲人摸象一样，凭借经验、常识乃至主观好恶对抽样数据进行判断、分析，借以推测事物的全貌。事实上，由局部推测整体的调查研究始终是存在偏差的，其结论甚至可能会与事物的真实状况大相径庭。

大数据时代的调查研究既不必、也不应再拘泥于对因果关系的探究，相反，我们完全有条件实现向关联、非关联等相关因素呈现式调研的转变。20世纪90年代，美国沃尔玛超市将A prior算法引入到POS机数据分析中，从10万种以上的商品中发现了啤酒与尿布的相关性，于是将两种商品摆放在一起，从而大幅提高了啤酒的销售量。类似的案例不胜枚举。如今，我们也已经步入大数据时代，海量数据不断涌现，数据搜集、存储、处理能力日益提高。充分利用互联网、云计算等现代化手段，对海量的数据进行统计性的搜索、比较、分析、归纳，我们会发现，原本似乎毫不相干的事物之间存在着较高的关联度，这是传统的因果分析、逻辑推理调研难以解释也无法企及的。

从已经发生的历史静态调研向不断变化的动态追踪调研转变

传统的调研方式是对现状的梳理、问题的分析、情况的总结和对策的应用，着眼于历史上已经发生的和现实存在的种种问题，通过精确的样本和深度的数据挖掘，将不符合要求的样本过滤掉，找出现状、问题、原因、建议等之间的“因果关系”，表现为对某一时点的静态分析。在大数据时代，由于大数据思维强调的是效率而非精确度，更多的是通过各种数据分析得出某种趋势和事物发展的规律，这种趋势未必要精确，但是能够让决策者有足够的做出某种决定的依据；同时，在大数据时代的调研更强调持续性，由于数据来源广泛且不断变化，对现实情况的分析、问题的查找和建议的提出就要随着数据的变化而不断变化；更重要的是，这种调研是着眼于未来，对于已发生的情况解释和问题分析都是为了今后事物的发展、前景和走向，特别是通过充分的数据分析以预测的形式表现这种趋势。

总之，做好大数据时代的调研需要“可以利用的大数据”，做到调研方式从依靠人工到基于互联网的转变，数据基础从有限样本到云数据、全覆盖的转变，研究方法从因果关系到关联关系等多种分析模式的转变，调研导向从回顾静态历史到展望动态未来的转变，并且在这些转变中形成现代化治理体系中的所需要的核心能力。