大数据时代的投资理念和投资方法

我想讲这几个方面的问题，谈一下我(数据分析师)对于基金从业人员对大数据的理解。大数据产生的背景。我个人认为大数据是在2011年之后被大家讨论有两个前提：第一个前提就是移动互联网的诞生，随着苹果手机的发行，移动互联网开始深入我们每个人的生活中，24小时人人都通过网络联系在一起，这是大数据产生的背景，没有移动互联网，我们没有办法找到这些数据，移动互联网本身也产生新的数据。

    大数据的特点：

    第一，它是非结构化的数据，音频、视频，网上偶然的一句话等等；第二，大数据是全样本的，有抽样调查的方式。这两个特点决定它只有在移动互联网的时候才可能发生。

    第二个就是如果没有云计算作为技术支持，无法存储这些数据，更加不可能利用这些数据，因为它需要强大的运算能力，这些数据中，全样本的数据其实95%以上的数据都是无效的，真正里面有用的数据可能只是5%，但是你要存储它这是成本非常高昂的事情。我想，如果电商真正做得很大，它又会面临一个问题，现在IT系统，基于IBM，甲骨文这样的IT系统不可能存储这么大的数据量，因为它的成本非常昂贵，如果没有云计算就没有办法存储这些数据，也不具备这么强大的运算能力。

    第一个感受就是没有云计算没有办法存储大数据，没有移动互联网没有办法掌握大数据。第二个是大家都说大数据，但是到目前为止也没有大家认可的定义，站在我的角度来说，我觉得它对我们的意义和价值在于两点：第一这些数据是实时的数据，即时的数据。第二这些数据跟场景相关，跟我和需求紧密联系在一起，随时随需。

    非结构化的，采样本的这些数据都不是我们这个行业分析员所能接触到的数据，所以它给了我们新的数据来源，所以给我们理由让我们不能不接触这些大数据，因为它带给我们新的信息来源，可以给我们分析员提供非常有价值的帮助，这是非常重要的一方面，现在因为有了移动互联网，云计算我们不可能忽视它，我们不可能还是采用传统的方式收集数据，这样我们效率会低很多。

    在大数据时代由于新的摩尔定律，每18个月全数据总量要翻一翻，现在数据总量80%是非结构化的数据，结构化的数据只占20%，以前我们不能接触到非结构化数据的时候是依靠结构化数据做决策，意味着我们过去只依靠20%的信息做100%的投资决策，另外80%我们没有手段挖掘它，可想而知这些数据对我们有多么重要。

    大数据对我们来说实际上它最核心的能力就是帮助我们提高我们的预测能力，不管是对于市场，还是对于股票，最核心的是帮助我们提高我们的预测能力。为什么大数据能够帮助我们更准确，更有效率的预测市场，甚至预测股票？我觉得更重要的是它提供了三个纬度：

    第一个更多的数据纬度，在以前的非结构化数据我们是依据财务数据，市场的价格数据做出判断，因为现在有了社交网络，大数据的方法又能够通过社交网络很好的收集和挖掘出来投资者对于这个股票或者对于整个市场的信心指标，新浪微博也好，论坛也好，大家都在谈股票和市场，你把这些数据收集起来，通过科学的方法处理它，你就能把市场信心很好的提炼出来，有价格的、基本面的，信心指数的提升，你对这个股票的判断就会更加准确。

    第二个是更快的数据频度，我们可以更快的知道现在发生了什么，现在通过移动互联网我们了解一个东西基本面的数据或者行业基本面的数据从时间来说快到小时，对全球的网站进行搜索，收集这些数据，你的更新是以小时来计算的。

    我在美国看过一家公司，这家公司最初不是为了资产管理做数据收集，是为了全球的航运公司管理他们的航班做的数据收集，所有航运公司数据加起来通过监控，不仅知道这些每小时海面上航行的船只什么时候到哪儿，对全球供应链的动态都是了解的，他把这些数据供应给对冲基金公司做大宗商品的投资决策和参考。上海有一家供应链管理公司，替中国大的核心企业管理供应链，每个供应链有四五百家企业，基本上他的数据也是每天形成的，因为有了互联网，这就是有了更快的数据频度。

    第三个是更广的数据宽度。比如今天在座的很多人有的是从北京飞到上海参加会议。如果通过坐的航班只能知道你到上海了，如果在座的人拍一下会场的会标一上传，我就知道你到上海来做什么。数据你把它拉开之后它就越来越有价值，大数据就是有很多的数据纬度，同时有更快的数据频度，更广的数据宽度，这些数据都是依赖与移动互联网，云计算，把这些数据收集好对我们对市场的判断提供非常大的帮助。

    我讲一下我们具体的思考：

    第一个因为有了大数据，我们可以通过算法对上市公司进行基本面的分析。在大数据时代量化投资已经不是原来的量化投资，原来的量化投资只是用数学方法对价格信息进行收集，但是新的量化投资在大数据时代可以用算法来进行基本面的分析，因为数据分析师能够快速收集到大量的基本面的信息，不管是宏观的信息，还是上市公司信息，你能够通过算法提取对你有用的信息。最近阿里就是通过算法对他电商有价值的数据提炼出来。

    第二个量化市场信心和情绪，我们希望能用量化的办法把市场信心和情绪量化出来，公司的基本面，资金量，资金供应加市场信心构成这个股票价格升跌的力量，有了大数据之后可以在网站通过音频、视频把这些量化的信息收集起来。百度就是情绪指数，看大家搜索这家公司的热度，如果热度上升，表示市场对这家公司开始关注，这就是市场情绪放在基本面，知道现在市场情况至少是不错。

    第三个是分析的即时化和决策的实时化。移动互联网使得全球的信息传递，数据传递以秒为计算单位，非洲发生的事情可能1分钟之后在中国的微信微博就可以反映出来了，我们不再守着新闻联播才知道这个世界发生了什么事情。现在有了这些数据之后，我们被迫必须对这些即时的东西进行实时的分析、计算、决策。

    第四个是大数据辅助我们做行业和个股的研究。以前有很多文章关于大数据取代分析员，分析员就失业了，我认为不存在这个事情，大数据可以帮助我们分析员、基金经理更有效率的做自己的工作，我不认为大数据就会取代分析员。通过对网络数据的挖掘，建立我们对行业和个股的信心指数。

    第五个是大数据可以优化指数的编制方法，精准刻画整体市场。传统的指数编制都是依据基本面信息和价格指数，我们指数容易失真，有了大数据之后实时的分析，你就把社会的情绪等等一些指标也加入进去，这样使得你可以把你指数的编制可以优化，使得指数的编制跟市场脱节滞后的情况得到很大改善，利用大数据的方法可以比传统的编制方法做得更好。

    最后一个就是全样本数据下的相关性分析，找出全样本数据的相关性，它可以更好的指导我们做行业轮动、主题轮动、风格轮动。数据分析师根据收集的情况，市场的热度，情绪的变化换不同的轮动，这也是我们已经有的案例。如果这些事情用大数据的方法，对每个个股，对每个行业建立他的关系图，上下游，竞争对手，画像画清楚，再辅助与社交上的信息，可以更好的指导我们做行业的轮动，风格的轮动，主题的轮动。百度、阿里的数据不够的，如果我们能加其他的数据纬度，比如说电商，把京东电商数据和淘宝电商的数据加在一起，它一定会更好的指导我们做行业的轮动，做得更精确，这个有待今后在座的积极加强研究。