经典大数据问题分析

2017-11-11

经典大数据问题分析 第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最 ...

一文读懂数据分析的流程和方法论

2017-10-29

一文读懂数据分析的流程和方法论 关于数据分析，这里想站在更大却更为实际的角度讲一下。 这里要讲的数据分析可能并不是某一个细小的事件，更多的是站在一项业务上去考虑，流程和工作量都要更为庞杂些。 ...

大数据时代下的存储形态

2017-10-28

大数据时代下的存储形态 大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连 ...

大数据时代,个人信息如何保护

2017-10-21

大数据时代,个人信息如何保护 当前，互联网新技术新业务正改变着个人信息的收集和使用方式，对个人信息保护带来巨大挑战。云计算让个人信息远离个人终端，用户对于个人信息的控制能力大大降低，个人甚至并不清 ...

大数据时代网络爬虫为银行提供了全新的策略

2017-10-09

大数据时代网络爬虫为银行提供了全新的策略 人类社会已经进入大数据时代，传统的信息存储和传播媒介已逐渐为计算机所替代，并呈现出指数增长的趋势，成为21世纪最为重要的经济资源之一。作为掌握大量真实交易数 ...

大数据时代“互联网+”重塑商业模式

2017-10-09

大数据时代“互联网+”重塑商业模式 近年来，各类大数据研发中心、创新中心不断涌现，数据开放取得积极进展，数据正在成为企业互联网化过程中最重要的资源之一，互联网与传统产业的融合不断加深。在企业互联网 ...

大数据渗透到物流行业，成为一项重要的战略资源

2017-10-01

大数据渗透到物流行业，成为一项重要的战略资源 面对海量数据，物流企业在不断增加大数据方面投入的同时，不该仅仅把大数据看作是一种数据挖掘、数据分析的信息技术，而应该把大数据看作是一项战略资源，充分 ...

论大数据时代下的海量数据存储技术

2017-09-26

论大数据时代下的海量数据存储技术 高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外，对存储容量的需求亦成几何式增长。例如: 前端IPC有130W到500W像素,码流也从有2Mbps到8Mbps，而 ...

大数据技术蔓延让农业生产模式向智慧农业升级

2017-09-23

大数据技术蔓延让农业生产模式向智慧农业升级 近年来在互联网技术和互联网概念的渗透下，我国生态农业发展呈现出生产标准化，管理规范化，流通快捷化的趋势。再加上政府不断出台的“互联网+农业”政策推动，一 ...

你对云计算、大数据、人工智能真的够了解吗

2017-09-21

你对云计算、大数据、人工智能真的够了解吗 一、大数据 1、大数据的概念 大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长 ...

python实现稀疏矩阵示例代码

2017-09-09

python实现稀疏矩阵示例代码 工程实践中，多数情况下，大矩阵一般都为稀疏矩阵，所以如何处理稀疏矩阵在实际中就非常重要。本文以Python里中的实现为例，首先来探讨一下稀疏矩阵是如何存储表示的。 1.sparse ...

python对json的相关操作实例详解

2017-08-29

python对json的相关操作实例详解 本文实例分析了python对json的相关操作。分享给大家供大家参考，具体如下： 什么是json： JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和 ...

R语言与函数估计学习笔记（样条方法）

2017-07-20

R语言与函数估计学习笔记（样条方法） 样条估计 如果函数在不同地方有不同的非线性度，或者有多个极值点，那么用多项式特别是低阶多项式来完成拟合是非常不合适的。一种解决办法是我们之前提到的近邻多项式 ...

R语言与点估计学习笔记（刀切法与最小二乘估计）

2017-07-20

R语言与点估计学习笔记（刀切法与最小二乘估计） 一、       刀切法（jackknife）         刀切法的提出，是基于点估计准则无偏性。刀切 ...

互联网时代,你应该了解的五种物联网大数据

2017-06-29

互联网时代,你应该了解的五种物联网大数据 大数据是我们这个时代伟大的经济机遇之一。 但它的概念非常模糊。在一些谈话中，不同的参与者用“大数据”所表示的意思可能有以下三种：1.大量的数据；2.超出传统 ...

传统企业数字化转型的五大战略思考

2017-06-20

传统企业数字化转型的五大战略思考 一场数字化革命正在中国风起云涌。目前中国的网民规模达到6. 32亿，且在持续增长。根据麦肯锡全球研究院的计算，考虑到互联网的发展速度和各行业的运用程度，预计2013 ...

大数据的概念定义及其发展历史

2017-06-17

大数据的概念定义及其发展历史 大数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍 ...

大数据时代聊存储 这些技术名词不要忘

2017-06-09

大数据时代聊存储 这些技术名词不要忘 我们知道如今已经进入大数据与云计算的时代，数据分析、公有云、私有云、混合云看似纷繁复杂，实际上，如果你仔细观察会发现，在这个时代最大的改变就是存储变得越来越重 ...

让大数据发挥精准治理效益

2017-06-07

让大数据发挥精准治理效益 大数据开启了一场生活、工作与思维的大变革。对各级政府而言，用好大数据思维，才能解决拍脑门、靠经验、一言堂式决策等顽疾，实现执政理念的升级；才能推进“互联网+政务服务”走向 ...

Python标准库的学习准备

2017-06-04

Python标准库的学习准备 Python标准库是Python强大的动力所在，我们已经在前文中有所介绍。由于标准库所涉及的应用很广，所以需要学习一定的背景知识。 硬件原理 这一部份需要了解内存，CPU，磁盘存储以 ...