
如何让大数据好看又实用
现如今,每个人都在谈论大数据,但很大程度上是由于其挥之不去的复杂性,故而,企业真正对于大数据的采用率仍然相对较低。事实上,在最近的一项针对大数据从业者的调查发现,只有百分之十三的企业对于大数据已经实现了全方位的应用。
这一比例无疑是非常小的。
Zoomdata 公司首席执行官Justin Langseth在接受采访时告诉我说,当谈到大数据时,其设计与性能其实同样重要。事实证明,“大”数据如若不能转化为“有用的”数据的话,也没有多大意义。
大数据的小成功
大数据革命最好的特点之一是其由于有了零成本的开源软件变得更强大。而商务智能一直受困于复杂而价格昂贵的软件,但在今天,最具创新性的大数据技术仅仅只需一个下载即可获得。
至少,理论上是这样的。
但在实践中,任何曾试图下载过Hadoop的人都可能会告诉你说,其是否奏效要“看人品”。当Cloudera的联合创始人迈克·奥尔森宣称,“在过去的十年里,没有任何一款占主导地位的平台级软件基础架构是在封闭源代码,专有的形式下兴起并发展起来的。”他是绝对正确的,包括像Hadoop,MongoDB,Spark及Cassandra等最佳的数据基础设施。
但占据主导并不一定意味着容易。
根据凯捷的一项调研显示,其受访者中,只有27%的受访者认为他们所在企业的大数据项目是“成功的”;而只有8%的受访者将其大数据项目描述为“非常成功”。即使有概念证明项目陷入困境,成功率也只有38%。
有些问题很难从人们所部署的技术中分离出来,包括“处理分散的筒仓数据,分析计划协调不力,缺乏清晰的商业案例以支撑大数据,以及依赖于传统遗留的系统来处理和分析大数据”。
但所有这些最终都将归结为将大数据的承诺转化为企业充分利用大数据分析技术能力的困难程度。
大数据的设计也是相当重要的。Langseth告诉我说,他在Zoomdata公司所雇用的首批员工之一,是来自纽约的著名爵士乐Blue Note Records唱片公司,且屡获殊荣的专辑封面设计师。(想象一下John Coltrane,Thelonious Monk,Sonny Rollins,等等的专辑封面均出自他们之手)。
是的,一名曾经的专辑封面设计师现在正在设计大数据系统——而在Zoomdata公司的大数据项目设计团队雇佣这种背景的设计师更多的是规则而不是例外。显然,Zoomdata公司有着其不同的大数据方法。当我问Langseth如何以简洁的观点来提炼这种以设计为中心的方法时,他说,这可以归结为三个主要方面:
1、自上而下的授权委任。首先,必须要有来自企业高层的授权委任,以推动建设一款以设计驱动的应用程序的任务。这对于企业技术来说是非常罕见的。
托尼·法戴尔,iPod的“设计之父”之一,就显示出了优秀的设计如何有助于消费类产品的原理,如苹果公司的iPod,及其后来加盟的Nest公司,乃至现在的谷歌。史蒂夫·乔布斯是苹果公司具有前瞻性的标志性的领导。而托尼曾在史蒂夫的领导下工作,并把这种观点带到了Nest公司,以及谷歌。
尽管这在面向消费者的技术领域获得了成功,但几乎没有经企业领导授权成功开发企业软件这方面的例子。这就是为什么大多数企业软件均不乐观的原因所在了。
2、设计人员占员工数量的比例。Langseth还强调,企业需要将以设计为中心的理念纳入到自己的招聘中。也就是说,企业必须让其UX设计师在开发人员中占据一定的比例,以便能够影响企业的以设计为中心的任务。
Zoomdata公司,旨为在让团队中开发人员与设计人员的比例达到5比1。而在大多数的企业软件公司,这一比例则接近50比1。所以这也可以说是大多数软件企业的用户体验是如此糟糕的一个主要的原因——包括大数据,这毕竟是一个开发人员所推动的趋势。
3、定期让普通员工参与测试。Langseth的第三条建议是,整个UX团队必须定期让一般的普通员工参与进来,而不仅进只是让分析专家执行可用性测试。极客们固然非常擅长开发软件,但这真正关系到的是企业的项目运行,所以必须让主流用户能够充分理解并领会。
Langseth指出:
这能够使我们的应用程序更易于为大街上任何一个普通人随意使用,他们可能熟悉诸如Excel等软件,但可能并不是一位商务智能分析专员。从战略的角度来看,这让我们的应用程序能够面临更广泛的受众,而不仅仅只是关注于少数专家。
这是至关重要的。最终,大数据必须要当它能够适用于所有形式时才是真正可用的。数据专家Peter Goldmacher在一点年前就提出这样的观点。他说,在大数据领域,最大赢家是那些构建了易于使用的应用程序的企业。
设计人员也是开发人员
同时,企业需要了解开发人员毕竟比不上最优秀的设计师,Zoomdata希望公司的设计师了解如何编程。Langseth坚持认为,“所有的优秀的艺术家和设计师均要熟悉他们向外界传达艺术的媒介。举例来说,一个好画家肯定会自己调配颜料,并自己建画布。”
这意味着,她/他知道自己向外界传达艺术的媒介的局限性在哪里,以及如何更好的表达艺术。Zoomdata并不希望自己的设计师与开发人员不能很好的沟通,所以他们必须熟悉代码。
为我们其余的人设计
同样重要的是,使用程序语言运行大量的研究测试。Langseth建议,关键的一点在于“一定要避免在其中使用特定行业的专业术语,诸如Hive或Pig的细微差别?”千万不要!大数据项目的最终目标是成为民主化企业的数据资产,这意味着其必须为那些一般性的员工使用,而非核心数据科学家或分析师。
这应该是其最终的落脚点。大数据想要真正获得长足发展,就需要成为不仅仅只是数据科学家的工具。Gartner分析师Svetlana Sicular指出,“要让学习Hadoop比学习公司的业务更容易。”
至少,其应该是这样。但问题在于企业需要的是那些学会了Hadoop的人能够将其翻译成企业一般员工熟悉的业务语言。微软正在试图做到这一点,就像Zoomdata正在试图将非结构化数据从NoSQL数据库、Hadoop等等提取出来一样。
虽然大数据项目的设计并不是实现这一目标的唯一因素,但这其也是相当关键的组成部分,而大多数企业忽视了这一重要组成部分。这也可以说是大数据项目不断失败的一大原因。为了将大数据项目做到更好。专注于大数据的设计,可以提供帮助。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15