京公网安备 11010802034615号
经营许可证编号:京B2-20210330
舆情分析:大数据中的先行产业_数据分析师
对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,正在大数据的第一波浪潮中创造出越来越大的市场空间。而如何利用从互联网、社交网络、移动应用等创新领域创造的、呈现出爆发式增长的海量非结构化数据中创造价值,是当前大数据行业最为关注的热点话题。利用海量数据分析工具和算法对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,从而为政府和企业管理者的工作提供决策支持,也正在大数据的第一波浪潮之中创造出越来越大的市场空间。
面对互联网上的海量信息,如何有效地发现和分析互联网舆情,是当前各类互联网信息系统必须面对的事实。2013年7月,国务院办公厅公布的《国务院关于加快促进信息消费扩大内需的若干意见》中指出了六个方面,其中一个方面就是加大信息消费产品的供给。大数据舆情属于互联网信息服务产业,同时也属于目前新一代信息技术和软件领域的热门领域。
而在整个大数据产业之中,互联网舆情监测行业作为先发者也正在迎来巨大的机遇。有分析数据显示,在中国舆情监测软件的市场规模将很快达到10亿以上,而在未来几年之中,舆情监测服务产业将会进一步迎来爆发式的增长,整个市场规模将达到100亿左右。
大数据市场中的引领产业
对于所有意欲在大数据产业中有所作为的IT服务商而言,互联网舆情监测服务的巨大商机都意味着所有市场的角逐者都会将其当做是不可能忽视的巨大馅饼。诚然互联网舆情对信息获取的实时性、全面性有更高的要求,因此,互联网舆情系统必须能支持大数据的舆情处理,才能有效为用户提供舆情服务。
对ISV的全才式要求
在整个互联网舆情分析产业之中,舆情软件主要围绕互联网舆情搜索与监测进行,虽然一些厂商提出了一些面向不同政府部门的舆情系统改进版本,但几乎仍是传统舆情监测的功能,仅仅是界面等有些变化。没有体现出行业互联网舆情海量非结构化数据处理的特点。陈宗华表示。
在他看来,政府不同的职能部门的舆情监控功能应当有所侧重,比如政府宣传部门监测舆情,应该是对本地域所有重大事件进行监控,而且还有舆情导控的功能,而消防部门关注的是本地与消防有关的舆情,组织部门侧重的是本地的干部监测等。只有在深入的结合行业工作特点的基础上,才能体现互联网舆情处理的优势。
而要想做到这些,整个舆情处理系统必须具有很好的架构支持,比如在采集目标管理和知识库构建上都要分公共和行业管理,而且可进行自由扩展,监测专题的自动生成需结合行业特征进行。系统的功能应该是可配置的,为不同的行业配置不同的功能模块。
因此,面对大数据舆情,系统的发展方向应该是面向行业的细分,比如政府版、组织检察版、消防版、环保版、教育版等等,而且应该和行业固有工作密切结合。随着移动终端的普及,不仅仅是给用户提供浏览器或者App方式的手机客户端,而是要研发多元化的输入模式的搜索、精准的内容返回、个性化的搜索体验。陈宗华说。
互联网舆情监控解决方案的开发,需要ISV在各个前沿的技术领域具备一定的能力。在陈宗华看来,这一行业中的ISV必须有能力结合云计算、大数据、社交网络分析、移动搜索等密切相关的技术,这样研发出的产品才具有技术竞争力。其中,互联网知识工程是以知识为基础构建的互联网智能信息系统。涉及到知识获取、知识表示和知识应用等技术。
改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
社会网络分析关注的焦点是关系和关系的模式,涉及到数据挖掘中的关联分析,相关矩阵或差异矩阵的统计分析,社交网络划分,核心人物识别,信息扩展过程,圈子话题倾向分析,小世界理论,六度空间分割等方法和技术。
而智能信息处理是计算机科学中的前沿交叉学科,是应用导向的综合性学科,其目标是处理海量和复杂信息,研究新的、先进的理论和技术。以互联网应用为主要背景的特定领域智能信息处理,包括:大规模文本处理、多媒体信息检索与处理、基于Web的知识挖掘、提炼和集成等。
互联网海量信息的高效采集方法,需结合模板定制采集,更重要的是使用诸多媒体自带的内置搜索功能,靠完全爬取多个媒体的信息技术已经很难满足客户的综合需要。而监测主题的机器理解,在监测互联网舆情时陈宗华,多是以专题的形式定制的,而专题在描述时有关键词、短语、规则(关键词及与、或关系)、一段话、若干篇文章,如何支持多种形式的主题描述,如何能自动理解用户对主题的描述,是舆情主题监测的首页一环。
此外,舆情处理系统在采集、正文提取、排重、分词、命名实体识别、分类、聚类、检索、简报专报生成、各类舆情统计、存储等环节中,需要面对并行处理问题。大数据处理的核心问题是并行化处理和信息存储,只有解决好了这些环节,才能体现一个舆情处理系统在大数据处理上的优势。
即便是在各个技术领域都做好了准备,利用大数据技术搭建互联网舆情分析系统对ISV而言同样意味着重大挑战。在陈宗华看来,与用户具体工作和业务流程的结合,以及舆情处理分析过程中的安全性,是这一产业ISV所面临最为主要的难点和挑战。
行业大数据舆情系统开发与用户工作的结合,研发的系统在业务领域,工作模式,工作流程,功能设计等环节都应与用户的工作密切结合。他表示,此外,我们公司的互联网舆情分析采用先进的SaaS模式提供服务,而在软件服务过程中,舆情安全性、保密性、可追溯性都值得注意。
而对于企业本身,研发团队的培养同样是进军这一市场所必需的关注点。大数据舆情涉及情报分析、新闻传播、计算语言、数据挖掘、机器学习、自然语言理解、社交网络分析、网络安全、知识工程、信息检索等等知识领域,如何组建一支知识结构合理、水平高的专业研发团队是一个舆情软件研发公司必须面对的问题。此外,企业的商业模式同样要具有独特价值,才能在这个新兴的产业市场之中取得较大的核心竞争优势。
打造多维度生态圈
在基于互联网的舆情分析产业之中,拥有发展机遇的不仅仅是分析技术的提供者。自行开发之外,IT方案商也可以通过合作的方式,将其他企业的技术用于用户解决方案的部署。从而与提供核心技术的ISV之间,形成立体的生态合作关系。
在互联网舆情分析领域,人民网拥有雄厚的实力和共识性的身份,他们旗下的技术团队开发了全套基于大数据技术的互联网舆情分析系统,并在许多政府和大型国有企业的宣传部门中使用,我公司也与他们建立了合作关系,将他们的解决方案在我们的智慧城市等项目中部署。南京幻方科技有限公司CEO陈哲介绍。
在陈哲看来,传统行业包括物流运输等领域受到应用开放程度限制,大数据挖掘的需求并不是特别高。而在政府和国有企业中,对舆情的分析和处理投入巨大,在政府舆情监控的带动下,一些大型的国有企业都参与到舆情监测控制项目的投入中。这方面的非结构化数据分析处理解决方案市场发展前景看好。
而对于竞争力优势在大数据之外领域的企业而言,要想进入这一被看好的市场,采取与其他企业合作的方式,同样能够帮助企业获得成功。如陈宗华所言,互联网大数据舆情分析市场的推广,离不开产业链上下游伙伴之间精诚的合作。在生态圈中,ISV最为主要的任务是推动市场更加创新,用更快的速度复制应用,从而把整个蛋糕做大。只有应用足够吸引人,后面的发展才会顺理成章。而将创新的应用与用户个性化的需求进行结合,让更多的政府、企业单位宣传、市场和业务部门负责人接受这一新的技术,同样也是贴近用户的IT方案商最重要的任务和最核心的业务价值所在。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析、后端开发、业务运维等工作中,SQL语句是操作数据库的核心工具。面对复杂的表结构、多表关联逻辑及灵活的查询需求, ...
2026-01-26支持向量机(SVM)作为机器学习中经典的分类算法,凭借其在小样本、高维数据场景下的优异泛化能力,被广泛应用于图像识别、文本 ...
2026-01-26在数字化浪潮下,数据分析已成为企业决策的核心支撑,而CDA数据分析师作为标准化、专业化的数据人才代表,正逐步成为连接数据资 ...
2026-01-26数据分析的核心价值在于用数据驱动决策,而指标作为数据的“载体”,其选取的合理性直接决定分析结果的有效性。选对指标能精准定 ...
2026-01-23在MySQL查询编写中,我们习惯按“SELECT → FROM → WHERE → ORDER BY”的语法顺序组织语句,直觉上认为代码顺序即执行顺序。但 ...
2026-01-23数字化转型已从企业“可选项”升级为“必答题”,其核心本质是通过数据驱动业务重构、流程优化与模式创新,实现从传统运营向智能 ...
2026-01-23CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2026-01-22在数字化时代,企业积累的海量数据如同散落的珍珠,而数据模型就是串联这些珍珠的线——它并非简单的数据集合,而是对现实业务场 ...
2026-01-22在数字化运营场景中,用户每一次点击、浏览、交互都构成了行为轨迹,这些轨迹交织成海量的用户行为路径。但并非所有路径都具备业 ...
2026-01-22在数字化时代,企业数据资产的价值持续攀升,数据安全已从“合规底线”升级为“生存红线”。企业数据安全管理方法论以“战略引领 ...
2026-01-22在SQL数据分析与业务查询中,日期数据是高频处理对象——订单创建时间、用户注册日期、数据统计周期等场景,都需对日期进行格式 ...
2026-01-21在实际业务数据分析中,单一数据表往往无法满足需求——用户信息存储在用户表、消费记录在订单表、商品详情在商品表,想要挖掘“ ...
2026-01-21在数字化转型浪潮中,企业数据已从“辅助资源”升级为“核心资产”,而高效的数据管理则是释放数据价值的前提。企业数据管理方法 ...
2026-01-21在数字化商业环境中,数据已成为企业优化运营、抢占市场、规避风险的核心资产。但商业数据分析绝非“堆砌数据、生成报表”的简单 ...
2026-01-20定量报告的核心价值是传递数据洞察,但密密麻麻的表格、复杂的计算公式、晦涩的数值罗列,往往让读者望而却步,导致核心信息被淹 ...
2026-01-20在CDA(Certified Data Analyst)数据分析师的工作场景中,“精准分类与回归预测”是高频核心需求——比如预测用户是否流失、判 ...
2026-01-20在建筑工程造价工作中,清单汇总分类是核心环节之一,尤其是针对楼梯、楼梯间这类包含多个分项工程(如混凝土浇筑、钢筋制作、扶 ...
2026-01-19数据清洗是数据分析的“前置必修课”,其核心目标是剔除无效信息、修正错误数据,让原始数据具备准确性、一致性与可用性。在实际 ...
2026-01-19在CDA(Certified Data Analyst)数据分析师的日常工作中,常面临“无标签高维数据难以归类、群体规律模糊”的痛点——比如海量 ...
2026-01-19在数据仓库与数据分析体系中,维度表与事实表是构建结构化数据模型的核心组件,二者如同“骨架”与“血肉”,协同支撑起各类业务 ...
2026-01-16