POI读取大数据EXCEL思路

摘要: 其实总体上说来,也几时在office 2007 之后,EXCEL 其实也就是一种XML 格式,完全可以通过解析XML 来得到数据,并作出处理。但事实上,如果数据量很大,也的确比较耗内存,所以也必须要有好的设计模式来应对。在这里我有一个基本的想法,就是多线程,这就是废话。具体来说,有如下两个思路:1. 解析XML , 将XML 分段处理,用多线程,一个线程处理一段。2. 采用队列,一个线程读取(一条或多条)EXCEL记录后,丢到队列中去, 然后再用几个线程从队列中取数据,插入到数据库中,其实也就是生产者消费者程序

POI 解析大EXCEL 思路,收集了一些资料放在这里,以后可以参考:
http://javaedge-yc.iteye.com/blog/1308714
http://poi.apache.org/spreadsheet/how-to.html#sxssf

其实总体上说来,也几时在office 2007 之后,EXCEL 其实也就是一种XML 格式,完全可以通过解析XML 来得到数据,并作出处理。
但事实上,如果数据量很大,也的确比较耗内存,所以也必须要有好的设计模式来应对。在这里我有一个基本的想法,就是多线程,这就是废话。具体来说,有如下两个思路:
1. 解析XML , 将XML 分段处理,用多线程,一个线程处理一段。
2. 采用队列,一个线程读取(一条或多条)EXCEL记录后,丢到队列中去, 然后再用几个线程从队列中取数据,插入到数据库中,其实也就是生产者消费者程序。

先记录下思路,有空去实现一个大数据的导入。

上一篇: 三角形横向时间轴定制
下一篇: js处理时间,年月日,星期的公共方法

Avatar

liuhaihua.cn 评论于: 2016-11-30

挺好的一个思路
 评论 ( What Do You Think )
名称
邮箱
网址
评论
验证
   
 

 


  • 微信公众号

  • 我的微信

站点声明:

1、一号门博客CMS,由Python, MySQL, Nginx, Wsgi 强力驱动

2、部分文章来源于互联网, 若有侵权, 联系邮箱:summer@yihaomen.com, 同时欢迎大家注册用户,主动发布文章.

3、鄂ICP备14001754号-3, 鄂公网安备 42280202422812号