
AI、大数据、云计算深度融合,星环大数据3.0给用户带来啥体验
“伴随着人工智能、云计算、大数据的深度融合,大数据技术已经进入3.0时代。”星环科技创始人兼CEO孙元浩8月14日在2018星环科技大数据3.0研讨会北京站上明确表示。
当前,人类社会快速数据化。一方面,全球使用互联网的人数突破70亿,50亿设备接入网络,拥有的数据量达到40ZB,其中90%为近两年产生的数据,而大数据应用的规模将突破5000亿美元。另一方面,大数据应用向纵深发展,覆盖行业逐步扩展到政府、金融、安全、教育等众多领域。同时,计算模式也在快速变化,IOT边缘计算机、AI、云计算将逐渐成为计算模式中时代内容。
大数据3.0阶段,大数据分析平台将成为一个联系IT系统与从员工、客户、合作伙伴、社会,到设备的一个全生态的核心系统。大数据3.0的影响已经开始变得越来越广泛。而未来星环科技在人工智能、云计算、大数据三大“跑道”竞速,为用户提供大数据基础平台,也让大数据应用体验进入一个新阶段。
融合引领大数据3.0五大态势
孙元浩从技术趋势、开发与维护、数据与业务的关系三个维度说明,大数据已经进入3.0阶段。
星环科技创始人兼CEO孙元浩
从技术趋势的维度看,大数据、云计算和人工智能将走向深度融合,容器编排系统、大数据分析和深度学习能够融合在一起,大数据从技术上而言迈入3.0阶段。在3.0阶段,大数据技术基本上普及化,可以随手获得,绝大部分的人都能够非常便捷地获取大数据分析能力。
大数据平台也经历了三个发展阶段。1.0阶段,大数据应用开发和运维都有非常高的技术门槛,只有少量的高科技企业才能自建和使用;2.0阶段,随着专业的Hadoop生态的出现,大数据应用开发和运维的门槛大幅降低,像财富500强公司,因为拥有自己的IT团队,可以去运维这一复杂的系统;3.0阶段,包括星环以及一些公有云服务商可以提供完整的大数据产品线,也可以提供云化方式服务,把大数据变成PaaS和微服务化,客户可以随时使用
数据与业务的关系也在悄然发生变化。1.0阶段是业务电子化阶段,企业要信息化,业务要能够IT化、数字化,业务需求是主流;2.0阶段是技术支撑业务应用阶段,响应业务部门的业务需求,图形化报表是主要表现形式,科技被动响应服务需求;3.0阶段是业务数据化阶段,数据分析开始成为企业的创新驱动力,大数据以业务部门为主,业务需求能够用大数据技术迅速支撑。
孙元浩认为,大数据3.0时代实现5大融合,具有5大特征:
首先,数据平台的融合,统一了数据湖、数据仓库、数据集市,不再需要混合结构。而借助星环的技术和产品,只需一套引擎,就能够解决数据分析的所有问题,而不需要在不同架构之间换来换去。这也是大数据技术向简单化、应用化方向迈出的重要一步,IT架构可以极度简化。
其次,开发方式融合,只需要一套SQL+R/Python开发语音与接口。未来,进行大数据分析,只需要掌握SQL+R/Python三种语言就够了。R/Python将是预测性分析和机器学习的主流,R专注在统计上面,Python专注在深度学习上。
第三,BI与AI的融合,数据分析工具链走向融合。 BI与AI已经嵌在一起,密不可分,因为AI做数据特征分析需要用到BI,需要可视化。BI通常也会嵌入一些机器学习的算法来做智能分析。
第四,人工智能、大数据、云计算的融合,弹性资源策略让服务随处可见。利用云计算的资源池化,利用容器技术统一管理和调度,支持单行扩展,按需使用,按需付费。星环让业务人员随时使用数据分析平台成为可能。
第五,应用、数据与企业应用生态的融合,数据、服务、应用相互促进,形成闭环,促进企业大数据应用生态的发展。
TDC践行大数据、人工智能与云计算的融合趋势
在2018星环科技大数据3.0研讨会的每一站,星环科技都带着最新的产品和案例,与各地的企业用户与观众分享。
星环科技研发总监、首席工程师刘汪根
接受记者采访的星环科技研发总监、首席工程师刘汪根介绍,经过多年自主研发,星环科技已经建立了包括ABCD+一体机在内的五大产品系列:其中,A是人工智能产品,如智子人工智能平台Transwarp Sophon;B是大数据产品,包括一站式大数据平台Transwarp Data Hub (TDH);C是云计算产品,包括基于容器的智能大数据云平台Transwarp Data Cloud (TDC);D是数据库产品,包括分布式闪存数据库ArgoDB、分布式图数据库StellarDB、交易型数据库KunDB等;一体机则各种超融合一体机,包括超融合大数据一体机TxData Appliance、流处理器一体机、智能识别一体机等。
刘汪根认为,在大数据、人工智能、云计算三者共同蓬勃发展的时代背景下,星环新一代智能大数据云平台TDC作为这三个领域相互融合的代表性产品,推动了服务容器化以及大数据生态上云。TDC在实现大数据技术落地时利用云计算三项核心技术——虚拟化技术、数据中心技术、多租户技术,继承云平台资源弹性伸缩、自动修复、同一平台服务于多租户的能力,满足企业对大数据云平台的多种需求。星环科技产品实现ABC全面融合,可以最大程度地支持大数据3.0时代下企业的多方面需求。
目前,TDC已实现私有云和托管云的部署方式,为不同体量、不同业务类型、不同运作模式的企业提供针对性的服务。TDC可部署在大型企业内部,提供定制化的实现,集中数据资源和计算资源,为各个业务部门和分支机构提供数据分析服务,满足企业对大数据分析云的需求
而在今年下半年,TDC将提供公有云部署方式与服务,提供PaaS平台。在公有云领域,TDC提供各种内部的数据产品和业务,云上的客户可以自主快速的构建集群、创建应用,启动大数据业务,立即创建立即销毁,减少技术中心成本投入。
未来,TDC也可以用于混合云的构架,对于特定的需要对外提供服务的私有云企业,TDC支持接入公有云IaaS服务,从而在业务高峰期提供良好的弹性扩展、精确计费等能力,提高企业的服务响应能力。
北京站会场
自主可控数据库实现终点突破
今年5月,全球最知名的数据管理系统评测基准标准化组织TPC宣布,星环TDH平台通过TPC-DS基准测试,打破了该领域12年来没有厂商通过该项测试的局面,在世界范围内填补了该项技术的空白。刘汪根说,这标志着星环在Hadoop上打造的分布数据库,在功能上已经可以与传统的关系数据库相媲美,同时处理的数据量也比传统关系数据库高几个量级。这说明在大数据基础软件领域,国产技术已经实现弯道超车,星环的分布数据库已经能够取代传统关系数据库做复杂的处理了。
刘汪根认为,作为本土的软件研发企业,星环科技在过去五年中坚持大数据底层基础产品的研发,坚持自主创新,在一些领域如大数据分布式数据库领域实现了技术突破,实现的基础软件的弯道超车。
据介绍,ArgoDB是星环自研的新一代分布式闪存数据库,能够同时满足多维实时检索、准实时分析和海量数据离线分析业务场景。在当前混合业务场景逐渐成为主流的情况下,ArgoDB能够极大的简化数据平台架构、降低实施与运维成本。
Transwarp StellarDB是一款为企业级图应用而打造的分布式图数据库,用于快速查找数据间的关联关系,并提供强大 的算法分析能力。StellarDB克服了海量关联图数据存储的难题,通过自定义图存储格式和集群化存储,实现了传统数据库 无法提供的低延时多层关系查询,在社交网络、公安、金融领域都有巨大应用潜力。
大数据的发展也离不开生态建设。星环已经逐渐形成以星环技术为核心的生态系统,包括免费社区版用户遍布21个省市,累计培训开发者超过2000人,累计为超过400家企业提供培训,累积颁发证书超过1000张。我们期望在大数据3.0时代,星环能给用户带来不一样的体验。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15