京公网安备 11010802034615号
经营许可证编号:京B2-20210330
SAS如何看待大数据
“大数据”现在是一个炙手可热的词语,数据分析师这个词虽然比较新,但收集与存储大量信息的历史却不短了。
早在本世纪初,行业分析师Doug Laney就提出了“3V模型”来定义大数据,如今已经成为主流。所谓“3V模型”分别是指数据量(Volume)、速率(Velocity)、多样性(Variety)。
数据量(Volume)是指一些组织从商业交易、社会媒体等来源收集数据,从传感器或者机器通信(M2M)数据中获取信息。以前存储这些数据或者信息是一个难题,但新兴的技术(如Hadoop等)减轻了这项负担。
速率(Velocity)是指数据以一种空前的速度流入,而且必须得到及时的处理。无线射频识别 (RFID)标签、传感器以及智能仪表使得对于连续涌来的数据进行“准实时”处理的需求越发突出。
多样性(Variety)获得的数据具有各种各样的格式(从传统数据库中的结构化数值型数据到非结构化的文本文档、邮件、视频、音频、股票行情及经济交易等)。
不过SAS对大数据另有独到看法。SAS是在中国的文化大革命时期建立和发展起来的一家数据处理公司,现在已经是数据行业的领军企业。SAS在3V模型的基础上加入了另外两个维度:可变性(Variability)和复杂性(Complexity)。
可变性(Variability)是指数据流不稳定易变化的特征。除了数据速率提升及多样性增加的问题,数据流还有着极不稳定的周期峰值。是否有什么在社会媒体中起了导向作用?每日的、季度的以及事件触发性的数据负载高峰会给数据管理造成极大的挑战,这在处理非结构化数据时尤为明显。
复杂性(Complexity)是指随着数据来源多样化、数据流可变性增加,数据处理日益复杂化。如今数据的来源各种各样,这会给跨系统的数据关联、匹配、清洗以及转换造成困难。然而,对数据间的关系、层级以及多数据间的联结点进行关联是十分重要的,否则你的数据很快就会失控。
来自VISA的启示
全球已产生的和存储的数据量是无法想象的,而且它还在持续增长。毫无疑问,大数据在商业分析方面有巨大的潜力。那么企业怎样才能更好地应用这些每天新增的原始数据呢?
大数据的重要性不在于你拥有多少数据,而在于CDA数据分析师如何使用这些数据,同时数据分析师还要得到数据分析师认证。你能从任意来源渠道获取数据,并且通过对其进行分析从而减少损耗、缩短用时、发展新产品和优化供应方案、最终使智能决策成为可能。
著名的信用卡服务公司VISA就利用大数据,减少了欺骗性信用卡和借贷卡的办理。和绝大多数信用卡公司一样,Visa在为客户提供看不见的服务的时候面临着诈骗活动的挑战——解决这个问题的难处在于提供服务和避免欺诈并不能总是一同解决。
比如说,当信用卡公司首次运用计算机系统自动分析判断欺诈交易时,有更多的在外度假或公干的客户反映支付被拒,因为这项技术的难点在于计算机很难评估用户是在旅游,还是信用卡被盗刷了。
Visa中为北亚问题提供解决方案的负责人Nathan Falkenborg说:“如果我们得知你很可能在旅游,那么我们就会告诉你参与的金融机构,让你在购物的时候不会被拒绝支付,我们也会协助银行制定更优的Visa工具和积分系统的使用策略。”
而利用大数据分析,Visa可以实时地分析超过500项独立的变量,来判断用户到底是在异地度假或公干使用信用卡、还是用户的信用卡在异地被盗刷了。这对于减少欺骗性交易、又不让用户被不必要的支付遭拒所困扰有很大的帮助,而且潜在地节省了每年二十亿美元的欺骗性支付额。
各行业如何利用大数据
大数据对几乎每个行业的组织都产生了影响,让我们来看看每个产业怎样才能从信息的大量涌入中获益呢。
银行
随着大量的信息流,银行正在寻找新的并且创新的方法来管理大数据。虽然去理解顾客和让他们更满意是很重要的,但是在遵从法规的同时减少风险和欺诈也是同样的重要。大数据带来了伟大的见解,但是它也要求金融机构要利用先进的分析策略和技术,在这场大数据游戏中领先一步。
教育
有着数据驱动思维的教育者将对教育系统,学生和课程产生重要的影响。通过分析大数据,他们可以识别有潜在困难的学生,从而确保学生在学业上有适当的进展,还可以形成一个更好的系统,以评估和支持教师和校长。
政府
当政府机关有能力去利用分析学分析大数据,在管理公用工程,机构的运行,处理交通拥堵或者以防犯罪的问题上他们可以得到非常有意义的资料。但是大数据虽然有非常多的好处,政府必须解决隐私和透明度的问题。
卫生保健
病人的记录,治疗计划,处方信息。当谈到卫生保健,每一件事都需要快速准确的完成,在有一些情况下,我们还需要有足够的透明度去达到该产业的严格规章。如果大数据被高效的运用,卫生保健服务供应者可以揭示一些不易察觉的见解以提升患者护理质量。
制造业
有着大数据可以提高的见解,制造业可以在减少浪费的同时提高质量和产量——这是一个在当今高度竞争市场上的重要一个关键过程。越来越多的制造商正在处于一个可以更快的解决的问题和快速做出商业决策。
零售
在零售业建立客户关系是重要的一部分——而最好办法就是管理大数据。零售商需要知道向客户推销的最好方式,处理交易的最有效方式以及让疲软的经济再次繁荣的最富有策略的方式,而大数据是所有的这些的核心。数据分析师培训
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 MySQL 数据查询中,“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中,“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”,直观呈现数据的分布特征 ...
2025-10-31在 CDA(Certified Data Analyst)数据分析师的工作中,“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30在构建前向神经网络(Feedforward Neural Network,简称 FNN)时,“隐藏层数目设多少?每个隐藏层该放多少个神经元?” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是:Excel 透 ...
2025-10-29在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29在数据分析中,“正态分布” 是许多统计方法(如 t 检验、方差分析、线性回归)的核心假设 —— 数据符合正态分布时,统计检验的 ...
2025-10-28箱线图(Box Plot)作为展示数据分布的核心统计图表,能直观呈现数据的中位数、四分位数、离散程度与异常值,是质量控制、实验分 ...
2025-10-28在 CDA(Certified Data Analyst)数据分析师的工作中,“分类变量关联分析” 是高频需求 —— 例如 “用户性别是否影响支付方式 ...
2025-10-28在数据可视化领域,单一图表往往难以承载多维度信息 —— 力导向图擅长展现节点间的关联结构与空间分布,却无法直观呈现 “流量 ...
2025-10-27这个问题问到了 Tableau 中两个核心行级函数的经典组合,理解它能帮你快速实现 “相对位置占比” 的分析需求。“index ()/size ( ...
2025-10-27对 CDA(Certified Data Analyst)数据分析师而言,“假设检验” 绝非 “套用统计公式的机械操作”,而是 “将模糊的业务猜想转 ...
2025-10-27在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23