京公网安备 11010802034615号
经营许可证编号:京B2-20210330
舆情分析:大数据中的先行产业_数据分析师
对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,正在大数据的第一波浪潮中创造出越来越大的市场空间。而如何利用从互联网、社交网络、移动应用等创新领域创造的、呈现出爆发式增长的海量非结构化数据中创造价值,是当前大数据行业最为关注的热点话题。利用海量数据分析工具和算法对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,从而为政府和企业管理者的工作提供决策支持,也正在大数据的第一波浪潮之中创造出越来越大的市场空间。
面对互联网上的海量信息,如何有效地发现和分析互联网舆情,是当前各类互联网信息系统必须面对的事实。2013年7月,国务院办公厅公布的《国务院关于加快促进信息消费扩大内需的若干意见》中指出了六个方面,其中一个方面就是加大信息消费产品的供给。大数据舆情属于互联网信息服务产业,同时也属于目前新一代信息技术和软件领域的热门领域。
而在整个大数据产业之中,互联网舆情监测行业作为先发者也正在迎来巨大的机遇。有分析数据显示,在中国舆情监测软件的市场规模将很快达到10亿以上,而在未来几年之中,舆情监测服务产业将会进一步迎来爆发式的增长,整个市场规模将达到100亿左右。
大数据市场中的引领产业
对于所有意欲在大数据产业中有所作为的IT服务商而言,互联网舆情监测服务的巨大商机都意味着所有市场的角逐者都会将其当做是不可能忽视的巨大馅饼。诚然互联网舆情对信息获取的实时性、全面性有更高的要求,因此,互联网舆情系统必须能支持大数据的舆情处理,才能有效为用户提供舆情服务。
对ISV的全才式要求
在整个互联网舆情分析产业之中,舆情软件主要围绕互联网舆情搜索与监测进行,虽然一些厂商提出了一些面向不同政府部门的舆情系统改进版本,但几乎仍是传统舆情监测的功能,仅仅是界面等有些变化。没有体现出行业互联网舆情海量非结构化数据处理的特点。陈宗华表示。
在他看来,政府不同的职能部门的舆情监控功能应当有所侧重,比如政府宣传部门监测舆情,应该是对本地域所有重大事件进行监控,而且还有舆情导控的功能,而消防部门关注的是本地与消防有关的舆情,组织部门侧重的是本地的干部监测等。只有在深入的结合行业工作特点的基础上,才能体现互联网舆情处理的优势。
而要想做到这些,整个舆情处理系统必须具有很好的架构支持,比如在采集目标管理和知识库构建上都要分公共和行业管理,而且可进行自由扩展,监测专题的自动生成需结合行业特征进行。系统的功能应该是可配置的,为不同的行业配置不同的功能模块。
因此,面对大数据舆情,系统的发展方向应该是面向行业的细分,比如政府版、组织检察版、消防版、环保版、教育版等等,而且应该和行业固有工作密切结合。随着移动终端的普及,不仅仅是给用户提供浏览器或者App方式的手机客户端,而是要研发多元化的输入模式的搜索、精准的内容返回、个性化的搜索体验。陈宗华说。
互联网舆情监控解决方案的开发,需要ISV在各个前沿的技术领域具备一定的能力。在陈宗华看来,这一行业中的ISV必须有能力结合云计算、大数据、社交网络分析、移动搜索等密切相关的技术,这样研发出的产品才具有技术竞争力。其中,互联网知识工程是以知识为基础构建的互联网智能信息系统。涉及到知识获取、知识表示和知识应用等技术。
改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
社会网络分析关注的焦点是关系和关系的模式,涉及到数据挖掘中的关联分析,相关矩阵或差异矩阵的统计分析,社交网络划分,核心人物识别,信息扩展过程,圈子话题倾向分析,小世界理论,六度空间分割等方法和技术。
而智能信息处理是计算机科学中的前沿交叉学科,是应用导向的综合性学科,其目标是处理海量和复杂信息,研究新的、先进的理论和技术。以互联网应用为主要背景的特定领域智能信息处理,包括:大规模文本处理、多媒体信息检索与处理、基于Web的知识挖掘、提炼和集成等。
互联网海量信息的高效采集方法,需结合模板定制采集,更重要的是使用诸多媒体自带的内置搜索功能,靠完全爬取多个媒体的信息技术已经很难满足客户的综合需要。而监测主题的机器理解,在监测互联网舆情时陈宗华,多是以专题的形式定制的,而专题在描述时有关键词、短语、规则(关键词及与、或关系)、一段话、若干篇文章,如何支持多种形式的主题描述,如何能自动理解用户对主题的描述,是舆情主题监测的首页一环。
此外,舆情处理系统在采集、正文提取、排重、分词、命名实体识别、分类、聚类、检索、简报专报生成、各类舆情统计、存储等环节中,需要面对并行处理问题。大数据处理的核心问题是并行化处理和信息存储,只有解决好了这些环节,才能体现一个舆情处理系统在大数据处理上的优势。
即便是在各个技术领域都做好了准备,利用大数据技术搭建互联网舆情分析系统对ISV而言同样意味着重大挑战。在陈宗华看来,与用户具体工作和业务流程的结合,以及舆情处理分析过程中的安全性,是这一产业ISV所面临最为主要的难点和挑战。
行业大数据舆情系统开发与用户工作的结合,研发的系统在业务领域,工作模式,工作流程,功能设计等环节都应与用户的工作密切结合。他表示,此外,我们公司的互联网舆情分析采用先进的SaaS模式提供服务,而在软件服务过程中,舆情安全性、保密性、可追溯性都值得注意。
而对于企业本身,研发团队的培养同样是进军这一市场所必需的关注点。大数据舆情涉及情报分析、新闻传播、计算语言、数据挖掘、机器学习、自然语言理解、社交网络分析、网络安全、知识工程、信息检索等等知识领域,如何组建一支知识结构合理、水平高的专业研发团队是一个舆情软件研发公司必须面对的问题。此外,企业的商业模式同样要具有独特价值,才能在这个新兴的产业市场之中取得较大的核心竞争优势。
打造多维度生态圈
在基于互联网的舆情分析产业之中,拥有发展机遇的不仅仅是分析技术的提供者。自行开发之外,IT方案商也可以通过合作的方式,将其他企业的技术用于用户解决方案的部署。从而与提供核心技术的ISV之间,形成立体的生态合作关系。
在互联网舆情分析领域,人民网拥有雄厚的实力和共识性的身份,他们旗下的技术团队开发了全套基于大数据技术的互联网舆情分析系统,并在许多政府和大型国有企业的宣传部门中使用,我公司也与他们建立了合作关系,将他们的解决方案在我们的智慧城市等项目中部署。南京幻方科技有限公司CEO陈哲介绍。
在陈哲看来,传统行业包括物流运输等领域受到应用开放程度限制,大数据挖掘的需求并不是特别高。而在政府和国有企业中,对舆情的分析和处理投入巨大,在政府舆情监控的带动下,一些大型的国有企业都参与到舆情监测控制项目的投入中。这方面的非结构化数据分析处理解决方案市场发展前景看好。
而对于竞争力优势在大数据之外领域的企业而言,要想进入这一被看好的市场,采取与其他企业合作的方式,同样能够帮助企业获得成功。如陈宗华所言,互联网大数据舆情分析市场的推广,离不开产业链上下游伙伴之间精诚的合作。在生态圈中,ISV最为主要的任务是推动市场更加创新,用更快的速度复制应用,从而把整个蛋糕做大。只有应用足够吸引人,后面的发展才会顺理成章。而将创新的应用与用户个性化的需求进行结合,让更多的政府、企业单位宣传、市场和业务部门负责人接受这一新的技术,同样也是贴近用户的IT方案商最重要的任务和最核心的业务价值所在。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在用户行为分析实践中,很多从业者会陷入一个核心误区:过度关注“当前数据的分析结果”,却忽视了结果的“泛化能力”——即分析 ...
2026-03-13在数字经济时代,用户的每一次点击、浏览、停留、转化,都在传递着真实的需求信号。用户行为分析,本质上是通过收集、整理、挖掘 ...
2026-03-13在金融、零售、互联网等数据密集型行业,量化策略已成为企业挖掘商业价值、提升决策效率、控制经营风险的核心工具。而CDA(Certi ...
2026-03-13在机器学习建模体系中,随机森林作为集成学习的经典算法,凭借高精度、抗过拟合、适配多场景、可解释性强的核心优势,成为分类、 ...
2026-03-12在机器学习建模过程中,“哪些特征对预测结果影响最大?”“如何筛选核心特征、剔除冗余信息?”是从业者最常面临的核心问题。随 ...
2026-03-12在数字化转型深度渗透的今天,企业管理已从“经验驱动”全面转向“数据驱动”,数据思维成为企业高质量发展的核心竞争力,而CDA ...
2026-03-12在数字经济飞速发展的今天,数据分析已从“辅助工具”升级为“核心竞争力”,渗透到商业、科技、民生、金融等各个领域。无论是全 ...
2026-03-11上市公司财务报表是反映企业经营状况、盈利能力、偿债能力的核心数据载体,是投资者决策、研究者分析、从业者复盘的重要依据。16 ...
2026-03-11数字化浪潮下,数据已成为企业生存发展的核心资产,而数据思维,正是CDA(Certified Data Analyst)数据分析师解锁数据价值、赋 ...
2026-03-11线性回归是数据分析中最常用的预测与关联分析方法,广泛应用于销售额预测、风险评估、趋势分析等场景(如前文销售额预测中的多元 ...
2026-03-10在SQL Server安装与配置的实操中,“服务名无效”是最令初学者头疼的高频问题之一。无论是在命令行执行net start启动服务、通过S ...
2026-03-10在数据驱动业务的当下,CDA(Certified Data Analyst)数据分析师的核心价值,不仅在于解读数据,更在于搭建一套科学、可落地的 ...
2026-03-10在企业经营决策中,销售额预测是核心环节之一——无论是库存备货、营销预算制定、产能规划,还是战略布局,都需要基于精准的销售 ...
2026-03-09金融数据分析的核心价值,是通过挖掘数据规律、识别风险、捕捉机会,为投资决策、风险控制、业务优化提供精准支撑——而这一切的 ...
2026-03-09在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心工作,是通过数据解读业务、支撑决策,而指标与指标体系 ...
2026-03-09在数据处理的全流程中,数据呈现与数据分析是两个紧密关联却截然不同的核心环节。无论是科研数据整理、企业业务复盘,还是日常数 ...
2026-03-06在数据分析、数据预处理场景中,dat文件是一种常见的二进制或文本格式数据文件,广泛应用于科研数据、工程数据、传感器数据等领 ...
2026-03-06在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心价值,早已超越单纯的数据清洗与统计分析,而是通过数据 ...
2026-03-06在教学管理、培训数据统计、课程体系搭建等场景中,经常需要对课时数据进行排序并实现累加计算——比如,按课程章节排序,累加各 ...
2026-03-05在数据分析场景中,环比是衡量数据短期波动的核心指标——它通过对比“当前周期与上一个相邻周期”的数据,直观反映指标的月度、 ...
2026-03-05