2018-10-21 阅读量: 757
一般来说离线分析都是这个流程。
各流程概述：
1. 数据采集：定制开发采集程序，或使用开源框架FLUME
2. 数据预处理：定制开发mapreduce程序运行于hadoop集群
3. 数据仓库技术：基于hadoop之上的Hive
4. 数据导出：基于hadoop的sqoop数据导入导出工具
5. 数据可视化：定制开发web程序或使用kettle等产品
6. 整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品
数据收集完成后，因为数据量非常大，后续的操作都是使用分布式程序进行处理。
