
大数据量导出到Excel时需要注意的问题
1、现象:问题描述
我们发现当统计的数量超大时候,在统计总量明细时,导出到Excel表格的时候就会抛出如下表格的异常
(1)内存溢出异常
javax.servlet.ServletException: Servlet execution threw an exception
com.huawei.insa2.filter.EncodingFilter.doFilter(EncodingFilter.java:67)
java.lang.OutOfMemoryError
(2)超过边界值
jxl.write.biff.RowsExceededException: The maximum number of rows permitted on
a
worksheet been exceeded at
jxl.write.biff.WritableSheetImpl.getRowRecord(WritableSheetImpl.java:
779)
2、关键过程:根本原因分析
(1) 内存溢出问题,是因为一次性将大量数据载入到内存中,导致虚拟内存不足
(2) 对边界值问题,对该现象进行分析。
private void exportSMDownData(HttpServletRequest request,
HttpServletResponse response) throws IOException
{
response.setContentType("application/vnd.ms-excel");
try
{
jxl.write.WritableWorkbook workbook =
jxl.Workbook.createWorkbook(response.getOutputStream());
jxl.write.WritableSheet sheet = workbook.createSheet("发送短
信统计", 0);
…………………………..
sheet.addCell(new jxl.write.Label(0, 0, "开始时间:"));
sheet.addCell(new jxl.write.Label(1, 0, s1));
}
看下日志抛异常的地方,在向Excel表格写数据时,超过了Excel表格所允许的最大容量,导致异常发生
3、结论:解决方案及效果
(1) 对第一个问题:可以在系统的环境变量中加入虚拟内存即可。
(2) 对第二个问题
Int maxRowCount = 60000;//不能够超过Excel的最大容量
for(int i=0;i<mqb.getRowCount()/maxRowCount;i++)
{
workbook.copySheet(0,"发送短信统计"+i+1,i+1);
}
。。。。。。。。。。。
if(index> maxRowCount)
{
sheet=workbook.getSheet(++currentSheetId);
index=0;
}
一个Excel页的最大行数为65536。程序中需要加入对Excel最大容量的限制,可对每个sheet设定的显示的最大数量,当达到设定的数量时,便更换Excel的sheel写入(即使对Excel进行分页)
4、经验总结:预防措施和规范建议
该问题的出现暴露出值得关注的几点:
(1)将大量数据加载到内存中,会使虚拟内存不足,导致程序无法运行,可以通过增加
虚拟内存来解决此问题,但不推荐此方式,建议将大量数据的操作划分成小量数据
进行操作
(2) 需要注意Excel的行数限制,在导入文件的时候对大数据量导入进行分页处理。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
TMT行业内审内控咨询顾问 1-2万 上班地址:朝阳门北大街8号富华大厦A座9层 岗位描述 1、为客户提供高质量的 ...
2025-06-16一文读懂 CDA 数据分析师证书考试全攻略 在数据行业蓬勃发展的今天,CDA 数据分析师证书成为众多从业者和求职者提升竞争力的重要 ...
2025-06-16数据分析师:数字时代的商业解码者 在数字经济蓬勃发展的今天,数据已成为企业乃至整个社会最宝贵的资产之一。无论是 ...
2025-06-16解锁数据分析师证书:开启数字化职业新篇 在数字化浪潮汹涌的当下,数据已成为驱动企业前行的关键要素。从市场趋势研判、用 ...
2025-06-16CDA 数据分析师证书含金量几何?一文为你讲清楚 在当今数字化时代,数据成为了企业决策和发展的重要依据。数据分析师这一职业 ...
2025-06-13CDA 数据分析师:数字化时代的关键人才 在当今数字化浪潮席卷全球的时代,数据已然成为驱动企业发展、推动行业变革的核心要素。 ...
2025-06-13CDA 数据分析师报考条件全解析 在大数据和人工智能时代,数据分析师成为了众多行业追捧的热门职业。CDA(Certified Data Analyst ...
2025-06-13“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2025-06-092025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-05-27CDA数据分析师证书考试体系(更新于2025年05月22日)
2025-05-26解码数据基因:从数字敏感度到逻辑思维 每当看到超市货架上商品的排列变化,你是否会联想到背后的销售数据波动?三年前在零售行 ...
2025-05-23在本文中,我们将探讨 AI 为何能够加速数据分析、如何在每个步骤中实现数据分析自动化以及使用哪些工具。 数据分析中的AI是什么 ...
2025-05-20当数据遇见人生:我的第一个分析项目 记得三年前接手第一个数据分析项目时,我面对Excel里密密麻麻的销售数据手足无措。那些跳动 ...
2025-05-20在数字化运营的时代,企业每天都在产生海量数据:用户点击行为、商品销售记录、广告投放反馈…… 这些数据就像散落的拼图,而相 ...
2025-05-19在当今数字化营销时代,小红书作为国内领先的社交电商平台,其销售数据蕴含着巨大的商业价值。通过对小红书销售数据的深入分析, ...
2025-05-16Excel作为最常用的数据分析工具,有没有什么工具可以帮助我们快速地使用excel表格,只要轻松几步甚至输入几项指令就能搞定呢? ...
2025-05-15数据,如同无形的燃料,驱动着现代社会的运转。从全球互联网用户每天产生的2.5亿TB数据,到制造业的传感器、金融交易 ...
2025-05-15大数据是什么_数据分析师培训 其实,现在的大数据指的并不仅仅是海量数据,更准确而言是对大数据分析的方法。传统的数 ...
2025-05-14CDA持证人简介: 万木,CDA L1持证人,某电商中厂BI工程师 ,5年数据经验1年BI内训师,高级数据分析师,拥有丰富的行业经验。 ...
2025-05-13CDA持证人简介: 王明月 ,CDA 数据分析师二级持证人,2年数据产品工作经验,管理学博士在读。 学习入口:https://edu.cda.cn/g ...
2025-05-12