news 2026/7/4 11:53:43

分批导出大文件:JPA Slice 使用解决page查询做导出时无效count问题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
分批导出大文件:JPA Slice 使用解决page查询做导出时无效count问题

1.要重写底层readPage方法,删除掉count的部分

package com.konka.api.bms.repository; import com.konka.api.voucher.domain.SnView; import org.springframework.data.domain.Page; import org.springframework.data.domain.PageImpl; import org.springframework.data.domain.Pageable; import org.springframework.data.domain.Slice; import org.springframework.data.jpa.domain.Specification; import org.springframework.data.jpa.repository.JpaRepository; import org.springframework.data.jpa.repository.JpaSpecificationExecutor; import org.springframework.data.jpa.repository.support.JpaEntityInformation; import org.springframework.data.jpa.repository.support.SimpleJpaRepository; import org.springframework.stereotype.Repository; import javax.persistence.EntityManager; import javax.persistence.TypedQuery; import java.io.Serializable; import java.util.List; public class CustomNotCountRepository<T,ID extends Serializable> extends SimpleJpaRepository<T,ID> { public CustomNotCountRepository(JpaEntityInformation<T, ?> entityInformation, EntityManager entityManager) { super(entityInformation, entityManager); } public CustomNotCountRepository(Class<T> domainClass, EntityManager em) { super(domainClass, em); } @Override protected <S extends T> Page<S> readPage(TypedQuery<S> query, Class<S> domainClass, Pageable pageable, Specification<S> spec) { query.setFirstResult((int)pageable.getOffset()); query.setMaxResults(pageable.getPageSize()); List<S> content = query.getResultList(); return new PageImpl<>(content, pageable, content.size()); } }

2.封装slice查询方法

package com.konka.api.bms.repository; import com.konka.api.voucher.domain.SnView; import org.springframework.data.domain.Pageable; import org.springframework.data.domain.Slice; import org.springframework.data.jpa.domain.Specification; import org.springframework.stereotype.Repository; import javax.persistence.EntityManager; import javax.persistence.PersistenceContext; @Repository public class HelperRepository<T>{ @PersistenceContext private EntityManager em; public <T> Slice<T> findAll(Specification<T> specification, Pageable pageable, Class<T> domainClass){ CustomNotCountRepository customNotCountRepository = new CustomNotCountRepository<>(domainClass, em); return customNotCountRepository.findAll(specification, pageable); } }

3.调用查询

spec = getSpec(searchData); pageable = Pageutil.getPageRequest(searchData); all = this.helperRepository.findAll(spec, pageable, SnView.class);

4.分批导出

@Async @Transactional(readOnly = true) public void pageForExportV2(PageParam<SnViewDTO> searchData, Authentication currentAuth) { SecurityUtils.buildAuthentication(currentAuth); Specification<SnView> spec; String entityName = "条码库存"; DownloadTaskCenterDTO taskCenterDTO = commonFeignService.saveDownloadTaskSimple("条码库存", entityName, entityName); Class<SnViewDTO> clazz = SnViewDTO.class; String fileName = entityName + "-" + DateUtil.umsNow() + ExcelTypeEnum.XLSX.getValue(); Path f = Paths.get(FileUtils.getCachePath(), fileName); ExcelWriter excelWriter = EasyExcel.write(f.toString(), clazz) .registerConverter(new LocalDateConverter()) .registerConverter(new LocalDateTimeConverter()) .registerConverter(new BooleanConverter()) // 注意:移除入参中的excelTemps,避免全量加载 .build(); WriteSheet sheet1 = EasyExcel.writerSheet("sheet1").build(); // 一次 EXPORT_BATCH_SIZE 条 searchData.setPageSize(EXPORT_BATCH_SIZE); int page = 1; Pageable pageable; Slice<SnView> all; try{ while (true) { spec = getSpec(searchData); pageable = Pageutil.getPageRequest(searchData); all = this.helperRepository.findAll(spec, pageable, SnView.class); if (!CollectionUtils.isEmpty(all.getContent())){ excelWriter.write(all.getContent(), sheet1); }else { break; } // 终止循环条件:当前批次无数据(说明已查询完所有数据) if (all.getContent().size() < EXPORT_BATCH_SIZE) { break; } searchData.setPageIndex(++page); } if (excelWriter != null) { excelWriter.finish(); log.info("Excel文件写入完成,已生成完整文件"); } FileInfoDTO fileInfo = commonFeignService.uploadFile(entityName, f); commonFeignService.updateDownloadTaskCenter(fileInfo.getId(), taskCenterDTO.getId(), null); }catch (Exception e){ // 全局异常捕获:所有步骤的异常均在此处理,更新任务为失败 log.error("条码库存导出失败,任务ID:{}", e.getMessage()); if (Objects.nonNull(taskCenterDTO)) { taskCenterDTO.setTaskArgs(e.getMessage()); commonFeignService.updateDownloadMsg(taskCenterDTO); } }finally { // ########################################################### // 关键修复2:finally块做**双重兜底**+资源释放,确保无遗漏 // ########################################################### try { // 兜底:若未主动执行finish,在此执行(防止异常导致主动finish未执行) if (excelWriter != null) { excelWriter.finish(); } } catch (Exception e) { log.error("ExcelWriter关闭失败", e); } try { // 删除临时Excel文件:无论成功/失败,都删除,避免临时文件堆积 if (f != null && Files.exists(f)) { Files.deleteIfExists(f); log.info("临时Excel文件已删除:{}", f); } } catch (IOException e) { log.error("删除临时Excel文件失败,文件路径:{}", f, e); } } }
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/26 2:08:22

【课程设计/毕业设计】基于Flask的在线教育平台的设计与实现基于python+flask框架的智慧教学平台的设计与实现【附源码、数据库、万字文档】

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

作者头像 李华
网站建设 2026/7/3 15:05:28

Linux系统安全革命:Amutable公司推出全新验证完整性技术

在计算机安全领域&#xff0c;最能抓住眼球的事情之一就是宣布自己的存在&#xff0c;但却不完全解释计划要做什么。本周&#xff0c;Linux世界就体验了一次这样神秘的营销策略&#xff0c;总部位于柏林的Linux安全公司Amutable正式走出隐秘状态。虽然该公司的目标在发布公告中…

作者头像 李华
网站建设 2026/7/2 5:10:19

vue+springboot在线调查问卷系统本科毕业论文

目录系统概述技术选型核心功能模块创新点与难点论文结构建议参考文献方向项目技术支持可定制开发之功能亮点源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同行可合作系统概述 VueSpringBoot在线调查问卷系统是一个基于前后端分离架构的Web应用&…

作者头像 李华
网站建设 2026/7/1 23:40:56

CTF Web 专项:XSS 跨站脚本攻击快速入门

CTF Web 专项&#xff1a;XSS 跨站脚本攻击快速入门 XSS&#xff08;Cross - Site Scripting&#xff0c;跨站脚本攻击&#xff09;是 Web 安全领域的核心考点&#xff0c;其本质是攻击者向 Web 页面注入恶意脚本&#xff08;像 JavaScript 脚本&#xff09;&#xff0c;当用户…

作者头像 李华
网站建设 2026/7/1 15:53:11

2026Web渗透学习路线 非常详细 推荐学习!

2026Web渗透学习路线 非常详细 推荐学习&#xff01; 当前&#xff0c;网络安全已成为企业生存的“生命线”&#xff0c;而Web渗透测试作为攻防对抗的核心领域。本文结合行业趋势和技术动态&#xff0c;为初学者量身定制一套系统化、实战导向的Web渗透学习路线&#xff0c;覆盖…

作者头像 李华