京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代,人们越来越清楚地意识到数据中蕴藏的价值。海量数据的拥有者——运营商,银行,物流公司等等——都在积极地寻求方法利用手中的数据。然而,爆发式增长的数据量正在超出传统数据库的处理能力。为了应对这样的增长,企业需要对数据库进行升级。基于小型机DB2或Oracle架构的传统数据库升级依靠纵向扩展,也就是通过提升服务器本身的性能来提高处理能力。更大更强的服务器价格高昂,但性能的提升却是有限的。企业为自己的传统数据库做纵向扩展只会钱越花越多,收效越来越少。
Hadoop架构很好地解决了扩展的瓶颈,它设计部署在经济实惠的硬件上,通过横向扩展,便可无限地提升数据处理能力。基于Hadoop的大数据软件因为其强大的处理能力和高性价比在数据分析市场崭露头角。星环信息科技(上海)有限公司(以下简称星环科技)的企业级一站式大数据综合平台Transwarp Data Hub (以下简称TDH)是Hadoop发行版中的佼佼者。它在国内拥有最多的上线案例,已经为众多企业解决了棘手的大数据难题。TDH下的分布式内存分析引擎Transwarp Inceptor将数据和计算中间结果放在内存中,依靠内存的高速读写,克服了大数据处理中常见的I/O瓶颈,加上它对SQL和R的全面支持,可以轻松地应对海量数据的复杂计算,极大地提高了数据处理的效率,解放了企业的生产力。然而,星环科技的开发人员并不满足于此。
一方面,Transwarp Inceptor运行在JVM上,使用大内存的时候,对GC的影响非常严重,用户体验不够平滑;另一方面,完全使用内存作为存储介质价格较高。星环科技的开发人员发现,随着硬件技术的发展,SSD的读写速度已经远远甩开机械硬盘,向内存靠拢,但在价格上,SSD相对昂贵的内存有巨大的优势,这让SSD成为了内存强有力的竞争者。“我们相信,大数据分析应该朝着更经济更普及的方向发展,”星环科技的CTO孙元浩说道,“我们的产品为企业提高生产力,而将内存替换为SSD可以在不影响性能的情况下提升用户体验并且降低成本。”
在为某省级移动通信运营商部署大数据解决方案时,星环科技第一次将SSD作为内存的替代应用在了生产中。在比较市场上各品牌型号的固态盘的信息之后,星环科技最终选择了具备高稳定性技术的英特尔® 固态盘DC S3500系列来构建新的解决方案。对于固态盘而言,影响读写能力的最大因素在于固态盘的控制芯片和固件算法。英特尔在芯片技术和固件算法上的优势让英特尔® 固态盘DC S3500系列在处理读写任务时拥有得天独厚的优势。英特尔® 固态盘DC S3500系列具有50微秒的顺序读取延迟,在 99.9% 的时间内 500 微秒的最大读取延迟,以及4KB 随机读取性能高达75,000的每秒输入输出操作次数(IOPS)。同时具备较低的有功读取 功率(小于 1.3 瓦)。这些特点保证了英特尔® 固态盘数据存储和读取的出色能力以及在频繁操作情况下的性能稳定性。作为一款优秀的企业级固态盘,除了高性能优势之外,英特尔® 固态盘DC S3500系列还具备防止数据丢失和损坏的特性。英特尔® 固态盘DC S3500系列提供能够端到端数据安全性保护,使数据从进入硬盘到离开硬盘时刻处于保护之中。此外,英特尔还将固态盘将NAND、SRAM和DRAM内存的高级错误纠正方案结合起来,通过奇偶校验、循环冗余检查(CRC),以及逻辑块地址(LBA)标记验证来保护传输中的数据。它还使用高级加密标准(AES)和增强的电源损耗保护进一步增强数据的安全性。英特尔® 固态盘DC S3500系列产品稳定的高性能使星环科技的解决方案得到了有效的保障。而英特尔® 固态盘技术人员专业而严谨的前期产品测试、积极响应的售后服务方案和强大的渠道供货能力,更是为项目提供了强有力的后盾。
与传统方案相比,星环科技的解决方案有如下几点优势:
该省级移动运营商单月清单数量在1000亿条左右,每月数据量达100TB,完全超出了原有数据库架构的处理能力,无法为用户提供优质服务。星环科技的解决方案使用了800G英特尔® 固态盘DC S3500替换了256G的内存。测试环境下,在单张表统计操作中,传统方案需耗时230秒,Transwarp Inceptor仅耗时3秒,查询速度是原有方案的76倍。而在多张数据表关联操作中,传统方案需耗时414秒,Transwarp Inceptor耗时仅为26秒,原有方案的效率仅是新方案的6%。可见,在处理大数据量、复杂账单等情况的环境下,新解决方案完胜传统方案,能够应对移动通信行业爆发式的大数据需求,支持数百万用户同时在线查询,极大地提高用户体验。跟完全使用内存的Transwarp Inceptor相比,这套解决方案的性能也不遑多让,英特尔® 固态盘 DC S3500表现出了与内存极其接近的反应速度:
从成本上来看,256G内存成本在2万元左右,而5000元左右便能买到800G的DC S3500,绝对成本大约下降了75%;从价格容量比来看,内存所需成本约为78元/GB,而DC S3500 800G仅为6.25元/GB,单位容量成本大约下降了92%,大大降低方案成本。这个项目中,SSD显示了其极大的优越性——在极少影响性能的情形下,SSD可以为企业节省开支。
“我们已经习惯了用SSD来替代传统硬盘。现在我们欣喜地看到SSD的技术已经发展到可以在某些场景取代内存。”英特尔非易失性存储解决方案事业部中国区市场总监刘钢说道,“大数据是现在最热门的应用之一,大数据分析处理所需要的持续、多路并发、快速读写对计算平台带来了极大的挑战,基于传统硬盘的存储方案已成为瓶颈。英特尔® 固态盘具备快速稳定的并发读写能力、出色的可靠性以及数据保护功能,尤其是最新发布的基于NVMe的PCIe SSD是大数据分析处理的完美搭配。我们很高兴能够和星环科技合作,提供一流的大数据解决方案。希望在未来,使用SSD作为缓存的大数据解决方案会成为行业标准。”随着SSD技术的成熟,其性价比优势将继续增强。未来,星环科技还将继续与英特尔紧密合作,借助性能出色的企业级固态盘来有效增强解决方案,为用户提供更优质、更可靠的服务。请拭目以待。
CDA学员免费下载查看报告全文:2026全球数智化人才指数报告【CDA数据科学研究院】.pdf
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Excel数据分析中,数据透视表是汇总、整理海量数据的高效工具,而公式则是实现数据二次计算、逻辑判断的核心功能。实际操作中 ...
2026-04-30Excel透视图是数据分析中不可或缺的工具,它能将透视表中的数据快速可视化,帮助我们直观捕捉数据规律、呈现分析结果。但在实际 ...
2026-04-30 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-04-30在中介效应分析中,人口统计学变量(如年龄、性别、学历、收入、职业等)是常见的控制变量或调节变量,其处理方式直接影响分析结 ...
2026-04-29在SQL数据库实操中,日期数据的存储与显示是高频需求,而“数字日期”(如20240520、20241231、45321)是很多开发者、数据分析师 ...
2026-04-29 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-04-29在手游行业竞争日趋白热化的当下,“流量为王”早已升级为“留存为王”,而付费用户留存率更是衡量一款手游盈利能力、运营质量的 ...
2026-04-28在日常MySQL数据库运维与开发中,经常会遇到“同一台服务器上,两个不同数据库(以下简称“源库”“目标库”)的表数据需要保持 ...
2026-04-28 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-04-28箱线图(Box Plot)作为一种经典的数据可视化工具,广泛应用于统计学、数据分析、科研实证等领域,核心价值在于直观呈现数据的集 ...
2026-04-27实证分析是社会科学、自然科学、经济管理等领域开展研究的核心范式,其核心逻辑是通过对多维度数据的收集、分析与解读,揭示变量 ...
2026-04-27 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-04-27在大数据技术飞速迭代、数字营销竞争日趋激烈的今天,“精准触达、高效转化、成本可控”已成为企业营销的核心诉求。传统广告投放 ...
2026-04-24在游戏行业竞争白热化的当下,用户流失已成为制约游戏生命周期、影响营收增长的核心痛点。据行业报告显示,2024年移动游戏平均次 ...
2026-04-24 很多业务负责人开会常说“我们要数据驱动”,最后却变成“看哪张报表数据多就用哪个”,往往因为缺乏一套结构性的方法去搭建 ...
2026-04-24在Power BI数据可视化分析中,切片器是连接用户与数据的核心交互工具,其核心价值在于帮助使用者快速筛选目标数据、聚焦分析重点 ...
2026-04-23以数为据,以析促优——数据分析结果指导临床技术改进的实践路径 临床技术是医疗服务的核心载体,其水平直接决定患者诊疗效果、 ...
2026-04-23很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“哪些指标是所有企业都需要的”“哪些指标是因行业而异的”“北极星指标和 ...
2026-04-23在数字化时代,客户每一次点击、浏览、下单、咨询等行为,都在传递其潜在需求与决策倾向——这些按时间顺序串联的行为轨迹,构成 ...
2026-04-22数据是数据分析、建模与业务决策的核心基石,而“数据清洗”作为数据预处理的核心环节,是打通数据从“原始杂乱”到“干净可用” ...
2026-04-22