大宗商品市场悄然走进大数据时代

在武汉举行的“第八届国际玉米产业大会”上，山西一家鸡蛋企业透露，长期以来因企业自身规模比较大，对供给端情况的了解是他们判断和决策鸡蛋期货行情的优势。而最近两年，这种优势却不知不觉悄然远去，以至于在随后的经营决策中失误连连，企业遭受了很大损失。

其实，遇到这种情况的企业并非一家。黄劲文告诉期货日报记者：“以前该产业链中的饲料企业及贸易商普遍认为，生鲜产品的消费属于刚需，不容易受外界的影响，所以对需求方面的数据关注不多。”随着近几年宏观形势不断发生变化，他们依然没有意识到自己对需求数据变化的忽略，导致企业频频吃苦头。

而且随着信息技术和大数据传播方式的发展，很多原先只有生产商才掌握的数据，其他人也可以通过大数据收集到。就像你不知道一个地区的农场养了多少头牛，但是你可以查询当地防疫机构发出了多少只疫苗；你不知道后天广州现货市场会有多少鸡蛋，但是你可以通过运送生鲜鸡蛋的物流公司，可以根据前一天公司接到多少到广州的鸡蛋订单进行推测。“它在收走传统产业链中一部分人特权的同时，也给更多的人带来了福利。”黄劲文笑着说，这就是我们讲的大数据时代。

大数据正在改变大宗商品市场

在大宗商品市场中，供需基本面决定着大宗商品的交易价格，这也是大宗商品市场与权益市场的明显区别。黄劲文表示，短期内，大宗商品市场虽然也会受到各种热点炒作的影响，但大趋势上来看，基本面还是大宗商品交易的决定性因素。

“在大宗商品市场中，无论是生产商、贸易商还是交易者，与基本面相关的数据对他们都尤为重要，但是这些不同类型的数据对使用者来说，价值并不一样。”黄劲文一边向期货日报记者讲述，一边在纸上写下lagging data（滞后数据）、concurrent data（同期数据）和leading indicator（超前数据）三个词组。

“以前，基本面相关数据的收集方式大多基于采样分析，数据大多有一定的滞后性。”黄劲文解释说，这是因为样本采集是以最少量的样本信息来获取整体的情况，数据精确性与采样随机性呈正比。要实现绝对的随机性十分困难，一旦采样过程中存在任何偏见，数据分析结果就会相去甚远。但扩大样本容量，就要在时间和成本上作出很大让步。

比如国家人口统计、GDP统计这类数据，虽然相对全面，但滞后时间很长，对金融市场的有效性很低。跟进较快的同期数据，如美国非农就业数据、原油库存数据，反映的是当月、当周情况，时效性比较高，对金融市场的影响很大。而超前数据，像PMI这种经济指标具有一定的前瞻性，对金融市场和大宗商品价格的影响也最大。黄劲文一边用笔圈住concurrent和leading这两个词，一边说：“这就意味着，对我们最有价值的是关于基本面信息的同期数据和超前数据。”

“你记不记得Michael Lewis去年的新作《Flash Boy》？”黄劲文向记者问道，书中也提到高频交易者通过纽约证券交易所和芝加哥商业交易所做对冲交易的时候，能够比别人更快地了解到两个市场之间的关联变化。由于高频交易者在光纤等技术方面进行巨额投资，既要在获得信息速度和信息量上比别人更快、更多，对信息处理的时间也是毫秒必争。

“就像一些官方在固定时间公布的concurrent data，虽然对未来趋势不需要过多判断，但交易者的成败往往就在毫秒之间。他们比的就是在得到和解读最新数据上，看谁更快。”黄劲文举例说，现在美联储议息会议的发布，市场的反应几乎是在消息公布的同一时间发生，这种速度是我们做不到的。因为这种在最短时间内作出相应的反应，依靠的是计算机的“阅读”和“分析”能力。计算机通过对个别词组在消息中出现的频率进行统计，以及与此前会议公告中某些词组、表达方式出现频率的对比等，对未来加息进行预判并执行相应的交易。

目前，随着网络技术的不断发展，我们能更快收集并分析更多的数据，不再依赖随机采样。这是自动化技术发展给人类带来的福利，也是大数据时代变革的基础。在稳定数据采集对象的同时，使数据具备良好的连续性。除了实时数据具有交易价值，连续数据处理后得出的同比、环比以及预估数据，对金融市场也有很强的有效性。

“同时那些你觉得无法找到的数据，其实都可以从一些意想不到的地方提取出来，文字、方位、沟通都可以量化成为结构化的数据。”黄劲文说，在武汉举行的“第八届国际玉米产业大会”上，大家都在讲玉米的供给，从玉米种植面积、亩产等都可以得到相对精确的数据，但是提起消费数据，大家一时间都觉得无从下手。但是运用大数据思维，我们可以从猪肉、肉鸡和鸡蛋的贸易量，倒推出生猪和鸡的养殖量，再推算出养殖业需要的饲料产量，一步一步预估出玉米的消费量。

大数据催生数据服务商的出现

然而，大数据时代在掀起商业和市场变革的同时，也催生了一个全新角色——数据服务商的出现。黄劲文说：“对于数据服务商，从我们公司自身经历来看，在2010年前后，国内投资者更多的还是看大数据的理念、未来前景和潜在的发展空间。如今，大数据已经开始进入试产了。”

据黄劲文介绍，现在数据服务商已经可以将非结构化数据汇集起来，将其量化处理为结构化的信息，并对这些信息、数据进行重组和扩展之后，再针对不同终端需求重新打包发出。

其实，相比于现货市场，期货市场更多的是参与者对未来期货价格的判断，所以未来的供需情况才是最关键的因素，而大数据的核心就是预测。黄劲文表示，如今，生产、经营、快消物流、运输中已经实现了信息化管理，大数据也可以从海量实时更新的数据和各方数据之间，提炼出即时数据和先导数据。

“从前在使用统计模型计算时，传统的数据计算方式受制于成本、运算处理能力，计算时选取的因子比较少，每个因子用的样本量也有限，导致样本量对整体数据的代表性不充分。而且各个因子之间的相关性可能无法从数据计算中体现，所以结果误差会比较大。”黄劲文告诉期货日报记者。

黄劲文表示，如果增加样本量，成本就会呈几何倍数增长。但是随着计算机技术飞速的发展，我们不仅可以收集到海量数据，还可以使纳入计算的因子数量从几个增长到十几个，甚至几百个。更重要的是，这些因子彼此之间的关联变化也可以纳入考虑。所以，传统的因果关系分析已经不再是重点，通过多因子之间关联变化，进行多方位的判断才是大数据时代的关键所在。

黄劲文举例说：“利用大数据预测鸡蛋期货价格时，在供给方面，投资者要关注蛋鸡存栏、鸡龄结构、母鸡死淘率等，这些反映未来一段时间鸡蛋供给的因素。在需求方面，原来只看鸡蛋的需求情况，现在我们不仅要考虑鸡蛋价格与肉鸡、猪肉和蔬菜价格的关联性，对相关产品的需求进行综合判断，还要看楼盘开工率、大型基建项目可能形成对未来肉类食品的需求。”

事实上，在大宗商品市场中，大数据能更及时、更准确地预判未来的供需关系，对未来价格的判断也会更准确。这将为交易机构、现货贸易商、生产方、消费方的经营和决策提供很大帮助。另外，从交易角度来看，超前信息和准确预测就意味着胜算更高，尤其是基于基本面交易的私募等机构，相关品种的超前数据对他们尤为重要。

但是，目前我国除了贵金属、有色金属等工业品的数据比较成熟外，专业提供农产品数据的机构者相当匮乏，很多农林牧渔产品相关数据服务几乎还是一片空白。虽然我国会发布一些统计数据，但是对大宗商品市场的参与者来说，时隔两三个月甚至半年的数据对他们提供不了什么帮助。以至于有些风险管理公司、保险公司等在为客户服务时，甚至陷入与客户对赌的境地。可以说，农业产业的大数据尚未应用到大宗商品市场对供需情况的判断中去。这点对大宗商品市场来说，是落后于当今信息化时代的。

黄劲文建议，如果数据服务商从金融的角度切入，对产业链数据进行整合并形成体系，填补这部分市场空白，行业主体就有机会对市场整体情况作出更准确判断。那些服务现货市场的衍生品提供者就可以根据大数据量化而得到信息，从而设计针对客户需求的个性化产品，同时服务成本也会得到有效压缩。这对产品提供方而言，产品更具竞争力，而产品提供者和使用者之间也不再是“零和游戏”，整个行业的发展方向也会因此而发生改变。

大数据在新兴市场的生发速度更快

大数据的应用过程，首先是数据采集，其次是数据的处理、加工、挖掘过程，最后是把这些数据量化、信息化，变成是一个支持决策和风险管理的工具或投资策略。黄劲文分析说：“采集的角度一定要科学。美国农业部对整个农业环节的数据采集既多又精准，不受主观因素的影响。而我国很多行业在这方面还有较大的距离。”

此外，除了数据的处理、挖掘可以用一些技术手段实现外，黄劲文告诉期货日报记者：“还可以利用数据决策的工具，如商业智能（BI）等在国外也被迅速推广，国外的交易所利用BI进行流动性管理已经相当成熟，但目前我国在这方面的应用还比较少。”

“目前从全球大宗商品市场来看，各国对大数据的应用并没有太大的差距。虽然中国等新兴市场国家大数据的发展还存在很多问题，但作为后起之秀，今后的发展潜力会更大。毕竟技术的发展本身就具有跳跃性。”黄劲文坦言，虽然大数据时代初期，国外因较早地开发了大数据思维和信息技术设备，而具备一定的优势，但这种优势并不能长久地维持下去。在之后的发展中，他们也会被其他国家和地区所超越。

黄劲文接着说道：“很多人可能不知道，现在美国移动电话的普及率还不及中国，美国很多地区还是使用固定电话。这是因为先前固定电话的普及率高，一些地区用户已经形成了习惯，使得移动电话的市场很难被打开。这虽然听起来不可思议，但却是事实。大数据的应用也是一样。”

黄劲文认为，国外长久以来传统的数据收集和统计方式也非朝夕就能改变。而且考虑到数据的延续性和可比较性，有变化就要面对有变数的风险，所以已经形成的权威方式就很难轻易被改变。比如美国农业部统计数据，使用的还是十几年前的统计方式，只要现在统计方式还是有效的，国家就认为没有必要去改变。相比之下，在新兴国家和地区，大数据思维的推广没有历史的包袱和限制，成长空间反而更为广阔，生发速度也会更快。

除此之外，更重要的一点是，即便现如今中国在数据收集、分析等设备方面的技术不一定能站到世界领先之列，但是影响世界金融市场形势的各种数据却大多源于中国。未来，我们可以利用大数据做更多的事情，对数据本身的掌握程度将会转化为经济价值的来源。

正如Viktor Mayer—Schonberger（维克托·迈尔—舍恩伯格）与Kenneth Cukier（肯尼斯·库克耶）合著的《大数据时代》一书中所说：“大数据时代的早期，思维和技术是最有价值的，但是最终大部分的价值还是必须从数据本身来挖掘。”近年来，国内已经有越来越多的投资者注意到大数据的潜在价值，拥有大数据或者能够轻松收集大数据的公司，股价受到投资者的追捧。

与此同时，国内大数据开发相关的互联网题材也成为了风投的新宠。“大数据作为金融衍生品的朝阳产业之一，无疑有巨大的发展潜力，尤其是在中国。”黄劲文信心满满地告诉记者，中国的期货市场发展时间短，品种也只有50多个，相比于欧美市场还不够成熟，但这也意味着中国比欧美市场有更广阔的发展空间。

期权诞生在美国，早在20世纪70年代美国就开始了期权交易，而中国的商品期权现在还在仿真交易阶段。另外，在美国，金融期货占期货交易量的80%，而中国目前仅有几个金融期货品种。黄劲文认为，中国金融衍生品发展还有非常多的机会。而且对金融衍生品来说，其发展并不受现货产量的限制。“比如鸡蛋期货至今上市1年多了，它的名义交易金额可以达到现货年产值的10倍甚至更多，再过10年，这个市场容量也许要翻30倍之多。”黄劲文说，中国金融衍生品仍有很多的发展机会。