扫码加入数据分析学习群

数据汇聚，首先必然要有数据来源，有了数据来源之后，需要确定采集工具，有了采集工具之后你还要确定存储位置。

数据来源

数据是数据中台的核心，所以数据汇聚无疑是数据中台的入口。企业中的数据来源极其多，但大都都离不开这几个方面：数据库，日志，前端埋点，爬虫系统等。

• 数据库我们不用多说，例如通常用mysql作为业务库，存储业务一些关键指标，比如用户信息、订单信息。也会用到一些Nosql数据库，一般用于存储一些不那么重要的数据。

• 日志也是重要数据来源，因为日志记录了程序各种执行情况，其中也包括用户的业务处理轨迹，根据日志我们可以分析出程序的异常情况，也可以统计关键业务指标比如PV,UV。

• 前端埋点同样是非常重要的来源，用户很多前端请求并不会产生后端请求，比如点击，但这些对分析用户行为具有重要的价值，例如分析用户流失率，是在哪个界面，哪个环节用户流失了，这都要靠埋点数据。

• 爬虫系统大家应该也不陌生了，虽然现在很多企业都声明禁止爬虫，但往往禁止爬取的数据才是有价值的数据，有些管理和决策就是需要竞争对手的数据作为对比，而这些数据就可以通过爬虫获取。

这些数据分散在不同的网络环境和存储平台中，另外不同的项目组可能还要重复去收集同样的数据，因此数据难以利用，难以复用、难以产生价值。数据汇聚就是使得各种异构网络、异构数据源的数据，方便统一采集到数据中台进行集中存储，为后续的加工建模做准备。

数据汇聚可以是实时接入，比如实时消费mysql的binlog进行数据同步，也可以是离线同步，比如使用sqoop离线同步mysql数据到hive。

技术选型

数据汇聚一般用到的技术包括:

• Flume

• Sqoop

• Datax

• Canal

数据落地

采集之后必然需要将数据落地，即存储层，常见的有：

• MYSQL、Oracle、Tidb

• Hive、Hdfs、HBase

• Redis

• ElasticSearch