无论是“小数据”时代还是现在的“大数据”时代,对数据的挖掘、存储、分析和使用从来就不是一件简单的事儿,而且这件事的难度还会随着数据量的增长而变得越来越大。同时,单个企业若是仅仅想要进行数据的存放和处理,去配备一整套Hadoop集群也并不经济。于是,阿里云准备将这件事做成一门生意,帮助企业对他们手中的数据进行存储和分析。
不久前,阿里云正式对外公布了一个叫做ODPS的商用服务。ODPS的全称是Open Data Processing Service,也就是开放数据处理服务。企业可以将来自前端的大量数据集中导入到阿里云中存储,这一点类似于亚马逊此前推出的Redshift数据仓库。
不仅如此。官方还表示,在这个基础上,阿里云将会开放更多的数据分析服务。目前,ODPS开放了SQL功能,以用于数据仓库和日志分析。这就像是Google此前推出的BigQuery——它可以让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。同样地,现在企业也可以使用ODPS来对数据进行处理了。
在价格和性能方面,ODPS是按照使用量付费的:存储1GB的数据,每个月收取大概0.5元钱左右;阿里云还官方公布了一个数据处理能力供参考:6个小时ODPS可以处理100PB的数据。至于至关重要的商用后的SLA(服务等级协议),ODPS产品经理汤子楠披露了一部分:在技术层面,阿里云承诺放在ODPS中的数据不会泄漏,阿里巴巴和阿里云也不会查看;在服务层面,鉴于不能承诺所有提交的数据处理作业都能计算成功,如果是阿里云方面的原因导致作业失败,那么阿里云则不会收费,而且对于离线作业来说,只对作业成功的那次进行收费。
在此前,ODPS一直被应用于阿里内部的业务系统中,一个典型的应用就是阿里小贷公司的审核和放款流程。阿里巴巴的官方数据称,有超过36万人从阿里小贷借款,最小贷款额为1元,并且能够实现3分钟申请、1秒放款、0人工干预。在这些背后,阿里小贷每天需要处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型……这些都是放在ODPS上存储和分析的。阿里云还表示,淘宝和支付宝等阿里巴巴的部分核心数据业务,也都运行在ODPS平台之上。而在ODPS的产品页面则拿出了阿里巴巴的关联公司天弘基金和众安保险作为案例来进行宣传。
从目前来看,ODPS开放的还只是针对大量数据的数据仓库功能,以及部分数据分析服务。但阿里云显然并不想止步于此。
你可以把阿里云此前一个叫做“御膳房”的服务看作ODPS未来发展方向的缩影。简单来说,“御膳房”实际上是对淘宝和天猫电商数据的挖掘、存储、分析和服务输出的整套服务。在“御膳房”中,淘宝和天猫平台上的大量电商数据被放到ODPS上进行存储,阿里巴巴还引入了第三方ISV(独立软件开发商)来针对这些数据开发分析工具和模型进行分析,最后他们将分析结果拿到服务市场上去销售给卖家——所谓针对淘宝天猫用户进行的精准广告营销,就是通过这种方法得来的。
在ODPS被开放出来之前,“御膳房”完全是阿里巴巴内部的电商平台上生长出来的产物,从数据来源,到数据取向,都是服务于淘宝和天猫平台。而在开放以后,就会有更多类型的企业和数据(包括一些阿里巴巴内部不太擅长处理的非结构化数据)被放在ODPS上,而使用范围也将不仅仅局限于阿里巴巴平台了。
用更加直白的语言来解释就是,ODPS此次作为PaaS被开放了出来进行商用,接下来,企业自身、或者借用ISV开发的工具再在ODPS之上进行数据分析,然后使用这些分析结果。
不过,ODPS现阶段仍有不少问题。汤子楠坦言,对非结构数据的支持将会是ODPS面临的一大挑战。因为ODPS最早是基于阿里巴巴内部的业务成长起来的,而阿里巴巴分析的数据主要是交易数据和用户行为数据——这些数据大多都是结构化和半结构化的。这决定了,ODPS最初开放的服务面向的也都是结构化数据,比如无人分析、数据仓库、BI(商业智能)分析。而随着更多的企业使用ODPS,一定会有大量非结构化的数据放到这个平台上来,这将会是ODPS接下来要探索的很重要的一个方面。
另外则是数据的传输问题。阿里云官方的建议是直接使用ODPS的数据仓库,这样就可以直接调用ODPS之上的分析工具;但如果客户的数据并不存储在阿里云上,也想使用ODPS对数据进行分析,则只能通过API使用https协议传输——这意味着网络传输不得不受到网速的限制。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14