大数据量的数据库表设计技巧

2017-12-26

大数据量的数据库表设计技巧 即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。 ...

面向大数据的分布式调度

2017-12-25

面向大数据的分布式调度 大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些 ...

大数据战略的实践与应用

2017-12-22

大数据战略的实践与应用 大数据相关概念 　　1.大数据 　　维克托·迈尔·舍恩伯格、肯尼斯·库克耶编写的《大数据时代》一书给出的定义是：大数据指不用随机分析法(抽样调查)这种捷径，而采用所有数据进行分析 ...

人工智能、大数据、云计算“三驾马车”赋能实体经济

2017-12-22

人工智能、大数据、云计算“三驾马车”赋能实体经济 驻足回望，即将过去的这一年里，人工智能是杭州经济社会发展无法避开的一个词。 伴随着人工智能小镇开园，之江实验室在这里挂牌，百度（杭州）创新中心、 ...

Hadoop作业提交多种方案具体流程详解

2017-12-19

Hadoop作业提交多种方案具体流程详解 提交hadoop作业时我们遇到了许多的问题，在网上也查过许多的文章，有许多对hadoop提交作业原理进行分析的文章，却总看不到对具体操作过程讲解的文章，导致我们在eclipse提 ...

如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么

2017-12-19

如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么 一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的 goalSize = totalSize / ...

大数据时代的技术挑战

2017-12-17

大数据时代的技术挑战 Google的独立URL索引数量超过了1万亿，用户获得一次满意搜索的时间却不超过1秒；淘宝商品数高达8亿，每天有6000万用户登录淘宝寻找商品，最终要促成每天800万包裹量的交易；Monst ...

农业监测预警迈入大数据新时代

2017-12-17

农业监测预警迈入大数据新时代 春天应该种什么？秋天卖什么能赚钱？买什么生产资料最实惠？市场价格如何变化？哪些农产品短缺和过剩了？这些都是农业生产者和经营者最关心的问题。 而政府和涉农部门则关注扶 ...

闲谈大数据和算法 知道这些让你受益无穷

2017-12-09

闲谈大数据和算法 知道这些让你受益无穷 本篇总结一下自己对大数据算法认知的过程。正文包含两部分：自己对算法的认知过程和对大数据算法的理解。 写这篇博客的原因有很多，总的来讲有下面几点： 自己在 ...

复杂与失控的现实：大数据平台的思考

2017-12-09

复杂与失控的现实：大数据平台的思考 “在大数据行业干了这么些年，我相信大家都有一种在泥潭中挣扎的感觉。要搞清楚到底有哪些数据、数据的结构、数据的来源、数据的意义、数据的上下文、数据的质量、数据可能 ...

2017年大数据风控报告

2017-12-08

2017年大数据风控报告 金融科技的发展解决了传统金融机构两大难题：一是，降低运营成本。传统消费信贷市场是一单一单去做，尽管消费信贷定价较高，但商业银行运营和作业成本太大。金融科技下的批量化获客、作 ...

大科学产生大数据对IT技术是挑战

2017-12-05

中国高能物理实验的大数据对我国大数据的发展也做出了重要贡献，北京正负电子对撞机数据处理是中国大数据发展的开端。高能物理作为典型的大科学，过去数十年一直有力推动信息技术的发展和创新，大科学产生大数据对 ...

我国大数据战略实施面临的五大挑战

2017-12-01

我国大数据战略实施面临的五大挑战 一、我国实施国家大数据战略的新成效 近几年，在国家政策支持下，我国大数据战略取得多方面成效： 一是产业集聚效应初步显现。国家八个大数据综合实验区建设促进了具有 ...

深度学习已成功应用于这三大领域

2017-11-20

深度学习已成功应用于这三大领域 在本章中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实 ...

大数据+人工智能：新常态下的金融科技革命

2017-11-15

大数据+人工智能：新常态下的金融科技革命 “天下武功，唯快不破”，在飞速发展的互联网时代更是如此。各行各业都追求一个快字，而到了金融行业，则在追求“快”的同时，又要追求一个“稳”字，既要求整个流程 ...

物联网深入发展 将如何改变大数据分析

2017-11-12

物联网深入发展 将如何改变大数据分析 数据一直在业务中发挥关键作用，但大数据分析的兴起，大量存储的信息可以在计算上挖掘出来，揭示有价值的见解、模式和趋势，使其在现代商业领域几乎不可或缺。收集 ...

大数据10的个常见误解：算法即预言家、大数据必须干净

2017-11-10

大数据10的个常见误解：算法即预言家、大数据必须干净 也许对大数据更好的一个类比是它就像一匹意气风发的冠军赛马: 通过适当的训练和天赋的骑师，良种赛马可以创造马场记录–但没有训练和骑手，这个强大的动物 ...

数据科学面临的共同挑战有哪些

2017-11-03

数据科学面临的共同挑战有哪些 随着我们进入2017年下半年，是时候看看那些使用数据科学和机器学习的公司面临的共同挑战。假设你的公司已经在大规模收集数据，需要用到分析工具，而且你已经认识到数据科学可以发 ...

大数据重构安防系统安防大数据的挑战

2017-10-29

大数据重构安防系统安防大数据的挑战 据IDC预测，2020年全球的数据总量将达到35ZB，并以每两年翻一番的速度在急速的增长。大数据时代的数据不仅仅是数据总量的庞大，同时也是种类的庞大。安防行业有着海量的视 ...

大数据时代下的存储形态

2017-10-28

大数据时代下的存储形态 大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连 ...