大数据时代下的意图搜索 个性化服务是关键
一、目的意义
大数据时代,任何网络行为所留下的“蛛丝马迹”都以数据的形式隐藏在大数据中,正所谓“存在就有痕迹,联系就有信息”,通过应用物联网、大数据、人工智能等技术,构建网络空间中行为事件、思想事件等模型。在实体空间和虚拟空间中全面收集、甄别、过滤、分类、整合人的存在痕迹和联系信息,关注人物或事件间联系链,从而实现网络空间中存在的各种意图,完成对意图产生源头、传播途径和发展趋势的全方位描述,达到对个人和组织的所思所想行为所在的全面搜索和分析。做到提前预警、智能决策。
2013年的“棱镜门”事件为国家安全敲响警钟的同时我们也看到正是有了“大数据”的存在,才让“棱镜”项目得以实施。目前,我国面临的安全形势严峻,反恐问题更是当前国际面临的重要安全问题,大数据环境下的意图搜索将能积极应对新时期各种安全威胁,运用大数据技术和人工智能技术进行深入分析,实现对安全事件的准确识别和提前预警,有力提升我国基于大数据的国家安全防护能力。
二、关键技术
1、人工智能技术:意图搜索引擎构建了人与信息的意识主动化的连接,通过不断的交换学习,形成模拟人脑的智能系统,从而实现人与机器的相互了解,因此人工智能技术将是意图所搜的核心技术。主要相关的人工智能技术有:机器深度学习、计算机神经网络、脑机接口、自然语言处理等技术。
2、大数据技术:而对数据进行收集、存储、处理、挖掘分析是搜索技术的基本环节,因此以数据存储、数据挖掘等技术为主的大数据技术也是意图搜索的关键技术之一。主要相关的大数据技术有:数据采集、数据存储、数据处理、数据挖掘与分析技术等。
3、物联网技术:随着传感器的发展和移动化的能力,意图搜索也呈现多样化的形态。因此,以传感器技术为主的物联网技术也是意图搜索的关键技术之一。
4、其他信息技术:此外,搜索实现从传统搜索到人工智能的过渡,还需要分词技术、硬件存储、云计算、超级计算、知识图谱等相关技术的成熟。
三、目标成果
大数据环境下的意图搜索技术将是构建一个构建虚拟空间信息社会雷达系统。该系统的主体是搭建一个完整的知识库,开发意图搜索引擎系统、并构建云计算与大数据的基础设施平台。
搜索引擎系统:搜集器、控制器、索引器、检索器、用户接口、处理分析系统
技术成果:人工智能、智能推理及知识研发、信息提取与分析技术、虚拟化工具、系统运行保障研发、系统算法、信息检索能力研发等技术上的突破成果。
四、国内外状况
1、美国
(1)美国技术优势明显
以微软和Google为代表的互联网巨头技术和应用皆处于领先地位。微软亚洲研究院的人立方关系搜索提供的搜索结果中,将所有信息都按照“人”进行重新整合,以人与人之间的关系为纽带,将埋藏在网络信息海洋中的“人”的信息连接汇总,图文并茂地展现出来,开启的意图搜索的新篇章。棱镜门事件以来,NSA的全球监控行为遭到各国政府和人民的谴责,但美国情报部门所展现的大数据和信息安全技术实力不容忽视。Accumulo数据库系统是NSA企业架构的核心。大多数NSA的关键分析应用都运行在Accumulo上,从技术角度看,NSA已经能够识别网络上的各种可疑行为和个人,可以说美国政府在相关技术已走到了Google、微软等互联网巨头之前。
(2)政府支持力度大
美国在相关技术的研发上给予高度重视。奥巴马政府大数据研究和发展倡议中推出的XDATA项目将在四年里耗费2500万美元来开发计算技术和防护数据软件。2014年美国国防高级研究计划局(DARPA)启动其“大机理”项目,目的是发展可以发现隐藏在大数据中的因果关系模型。美国国防部每年投入2.5亿美元资助利用海量数据的新方法研究,并将传感、感知和决策支持结合在一起,制造能自己运行和做出决策的自治系统,为军事行动提供更好的支持。NSA在大数据项目的规模、可扩展性、安全性在很多方面甚至超过了Google、亚马逊和苹果这样的大型互联网企业。NSA旗下的风险投资公司In-Q-Tel迄今已经投资了200多个云计算、大数据、搜索与分析创业项目。美国国土安全部正在开展“可视化和数据分析卓越中心”项目,通过对大规模异构数据的研究,使应急救援人员能够解决人为或自然灾害、恐怖主义事件、网络威胁等方面的问题。
(3)美军利用大数据搜索提升侦查和反恐能力
美军正在开发的新一代大数据系统,能够通过计算机的速度和精度以及人的敏捷性,来理解和解释现实世界,协助指挥官和分析人员将以100倍于当前的速度来理解传感器收集的海量数据。例如,当阿富汗境内的大毒枭准备为基地组织等恐怖分子提供资金时,美军的情报分析人员能够借助大数据技术,把作战方案库里的数据与有关基地组织情况库里的资金数据进行实时、自主关联,指导美军先敌一步采取行动。
在美国国防部的资助下,美国“记录未来”公司,专门研究如何通过分析互联网信息,特别是“脸谱”、“推特”等社交网站,预先察知恐怖袭击等重大事件。2013年6月,美国国家安全局局长兼美国赛博司令部司令亚历山大在参加众议院特设情报委员会听证会时承认,通过秘密进行的“棱镜”等监视项目,美国政府至少挫败了50起恐怖袭击事件。这是大数据技术运用的成功案例。
2、我国的发展现状
在我国百度、搜狗、360等互联网公司以及海康威视等安防企业处于技术和应用的前沿。从整体上来看,在商业开放和应用方面尚具备一定的国际竞争力,但从大数据智能搜索应用于国家安全防护上来看,我国在此方面与美国尚存在着较大的差距。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14