登录
首页精彩阅读大数据量导出到Excel时需要注意的问题
大数据量导出到Excel时需要注意的问题
2017-11-15
收藏

大数据量导出到Excel时需要注意的问题

1、现象:问题描述
我们发现当统计的数量超大时候,在统计总量明细时,导出到Excel表格的时候就会抛出如下表格的异常
(1)内存溢出异常
javax.servlet.ServletException: Servlet execution threw an exception
com.huawei.insa2.filter.EncodingFilter.doFilter(EncodingFilter.java:67)
java.lang.OutOfMemoryError

(2)超过边界值
jxl.write.biff.RowsExceededException: The maximum number of rows permitted on
a
worksheet been exceeded at
jxl.write.biff.WritableSheetImpl.getRowRecord(WritableSheetImpl.java:
779)
2、关键过程:根本原因分析
(1) 内存溢出问题,是因为一次性将大量数据载入到内存中,导致虚拟内存不足
(2) 对边界值问题,对该现象进行分析。
private void exportSMDownData(HttpServletRequest request,
HttpServletResponse response) throws IOException
{
response.setContentType("application/vnd.ms-excel");
try
{
jxl.write.WritableWorkbook workbook =
jxl.Workbook.createWorkbook(response.getOutputStream());
jxl.write.WritableSheet sheet = workbook.createSheet("发送短
信统计", 0);
…………………………..
sheet.addCell(new jxl.write.Label(0, 0, "开始时间:"));
sheet.addCell(new jxl.write.Label(1, 0, s1));
}
看下日志抛异常的地方,在向Excel表格写数据时,超过了Excel表格所允许的最大容量,导致异常发生
3、结论:解决方案及效果
(1) 对第一个问题:可以在系统的环境变量中加入虚拟内存即可。
(2) 对第二个问题
Int maxRowCount = 60000;//不能够超过Excel的最大容量
for(int i=0;i<mqb.getRowCount()/maxRowCount;i++)
{

workbook.copySheet(0,"发送短信统计"+i+1,i+1);
}
。。。。。。。。。。。
if(index> maxRowCount)
{
sheet=workbook.getSheet(++currentSheetId);
index=0;
}
一个Excel页的最大行数为65536。程序中需要加入对Excel最大容量的限制,可对每个sheet设定的显示的最大数量,当达到设定的数量时,便更换Excel的sheel写入(即使对Excel进行分页)
4、经验总结:预防措施和规范建议
该问题的出现暴露出值得关注的几点:
(1)将大量数据加载到内存中,会使虚拟内存不足,导致程序无法运行,可以通过增加
虚拟内存来解决此问题,但不推荐此方式,建议将大量数据的操作划分成小量数据
进行操作
(2) 需要注意Excel的行数限制,在导入文件的时候对大数据量导入进行分页处理。

数据分析咨询请扫描二维码

客服在线
立即咨询