用友UAP技术:企业构建大数据的四部曲_数据分析师

在传统的消费年代，商家对消费者的购买行为分析止于购买即可。而当移动互联网出现之后，消费者购买后又多了一个动作，即分享，从而导致消费习惯的改变。消费市场决定着商家的产品和整体策略，因此，在社会化大数据爆炸的年代，各行业企业不得不关注这些大数据，并提高其利用率。

　　如何对这些数据进行整理分析？以获得市场的真实声音，了解客户的切实需求。企业不禁陷于困扰。“畅想IT讲堂”近日组织了关于大数据的在线讨论，用友UAP数据平台产品部高级软件工程师张欣从他的项目经验分享了，企业如何构建大数据，处理大数据、以及如何应用大数据，从而利用大数据带来商业价值。

　　张欣的分享来源于他在用友UAP UDH大数据处理平台研发过程中总结的技术以及项目经验。UAP UDH可以快速整合，存储，集中管理不同类型的海量数据，如非结构化数据、半结构化数据或结构化数据。以提供批量和实时数据处理、数据分析等服务。

用友UAP UDH大数据处理平台工作流程

　　很多企业并不是十分了解大数据，也不清楚该如何构建大数据平台。张欣表示，对于传统企业而言，做大数据之前应该有个具体的计划，分步骤进行。大体可分为四步：

　　第一，建立数据化计划，实现数据的录入和存储。企业最先需要考虑的是，需要保存哪种类型的数据。各个公司因业务模式的不同，需要涉及的数据也不同，是更加关注产品还是企业运营亦或是人力的数据资源，这些问题需要在建立数据计划之初就做好考量。但涉及客户体验的数据，比如家电的零售卖场，客户所使用的交通工具、是否有老人小孩的陪同、看了哪些产品、最后买了什么等，这种客户素描形式的数据需要企业特别重视。或许当前这些数据还没有纳入到业务体系的审核，但在传统企业比拼客户体验和服务意识的未来，这些数据经过挖掘和分析后将产生巨大的价值。

　　第二，建立数据管理和应用平台。一方面是在IT基础设施上建立良好的数据处理结构，比如数据分布式存储、Hadoop等。另一方面，企业要建立自己的数据管理和应用平台，包含数据的采集、数据库架构、分析模块、API出口等。需要注意的是，数据管理和应用平台的建立必须从公司业务出发，建设适合自己的平台。

　　而在数据中心建设方面，随着云计算和数据中心的出现，外部数据中心的成本已经大幅下降，数据存储的费用也不再是障碍，对于很多企业来说建立自己的数据中心并无必要。

　　第三，量体裁衣建立数据团队。对于大型企业而言，自建数据挖掘的团队，无论是在成本控制还是业务响应机制上都相对有利。然而对于中小型企业来说，自建团队有时候并无必要，对这类型企业而言最重要的是将大数据思维融入到企业的日常运营之中。

　　另外，张欣表示，企业应为团队培养一些正确的数据理念，比如，数据的形式是多种多样的；数据的作用是用来预测；利用分布式存储计算搭建数据处理结构；考量数据的外部影响，或者搜索是否存在影响企业发展的外部数据。

　　第四，定制好外部数据战略。有哪些外部数据会影响企业的业务发展?比如竞争品牌的售价、销售策略等。这些都需要提前搜寻和沉淀。建立外部数据计划，企业可以通过公共渠道或者数据交换的方法来进行。

用友UAP UDH大数据处理平台的构成

　　当企业的大数据基础工作都准备就绪之后，就可以对这些数据进行有针对性的管理了。依照数据收集、收集存储、数据处理、数据呈现这样一个顺序来进行。

　　首先，数据收集。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。

　　其次，数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。

　　然后，数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。

　　最后，结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。

用友UAP UDH功能——系统监控

　　有很多大数据平台就是依照以上四个步骤的顺序来进行企业大数据处理工作的。比如用友UAP UDH，它可以快速整合、存储、集中管理不同类型的海量数据；提供批量和实时数据处理服务；与数据集成等产品结合为构建企业级数据仓库提供大数据平台支撑；结合商业智能产品和挖掘可视化产品，提供数据分析服务；提供平台中各服务组件的管理和系统运行监控等。构建于UDH的可靠存储以及数据的批量和实时处理能力，还可以为企业提供基于搜索引擎，语义分析的精准、全面、自动化的监测和分析。

　　张欣介绍，用友UAP UDH已经做出了一个应用——舆情信息管理系统。通过系统可以对企业的各种维度的舆情信息进行监控，收集竞争对手的情报，行业的发展动态等数据变成自己的报告。据了解，目前用友集团UAP中心目前已用该自主研发的舆情信息系统替代了之前的第三方平台服务。张欣告诉记者，UAP UDH还将会把舆情信息管理作为一项服务对外提供。