在日常后端开发中，只要涉及日志检索、订单大数据列表、业务统计报表，基本都会用到 Elasticsearch。相比于MySQL，ES在全文检索、海量数据筛选上优势非常大。
但很多朋友上线后会遇到一个很头疼的问题：首页浅分页秒开，一旦翻到几十页之后，接口直接超时；简单查询很快，带聚合统计的报表直接卡死。
我前段时间负责公司日志平台优化，原始数据量达到千万级别，项目初期直接用默认from+size分页、普通agg聚合，深度分页直接报错、聚合查询耗时飙升到数秒。踩了很多坑之后，终于整理出一套稳定落地的ES提速方案。
今天就结合真实线上问题，分享ES海量数据下深度分页、聚合查询的完整优化思路，附带错误代码和优化后可直接上线的Java代码，帮大家彻底解决ES慢查询问题。
一、先说说为什么ES深度分页会超时？
很多新手习惯沿用MySQL思维，直接用 from + size 实现分页，在数据量小的时候完全没问题。但在海量数据下，这种写法堪称性能杀手。
ES是分布式架构，深度分页时，需要在所有分片上查询前N条数据、做全局排序、合并结果，再截断返回。页码越深，需要排序和合并的数据量越大，内存开销极高。
这也是为什么ES官方会限制默认最大分页深度，深度过大会直接抛出Result window is too large异常，不仅慢，还极易引发OOM风险。
二、线上原始低效代码（典型踩坑案例）
下面是我之前项目的原始写法，也是网上很多教程的通用错误示范，浅分页没问题，深度分页直接崩：
// 【错误写法：from+size 不支持深度分页】 public List<LogDTO> getLogPage(int pageNum, int pageSize){ NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder(); // 普通条件查询 queryBuilder.withQuery(QueryBuilders.matchQuery("type","operation")); // 传统分页 int from = (pageNum - 1) * pageSize; queryBuilder.withPageable(PageRequest.of(from, pageSize)); SearchHits<LogDTO> hits = elasticsearchRestTemplate.search( queryBuilder.build(), LogDTO.class); return hits.stream().map(hit -> hit.getContent()).collect(Collectors.toList()); }
测试发现：pageNum超过50页之后，接口响应从几十毫秒直接涨到2秒以上，页码越大越慢，完全无法满足后台列表翻页需求。
三、深度分页最优方案：Scroll + SearchAfter 实战优化
针对海量数据分页，生产环境主流且稳定的方案就是SearchAfter。它不依赖偏移量，通过上一页最后一条数据的排序值向后遍历，没有深度损耗，越翻页速度越稳定。
适合后台大数据列表、批量数据导出、日志查询场景，我给大家贴出精简可复用代码：
// 优化后：SearchAfter 深度分页 public List<LogDTO> searchAfterPage(Long lastTime, int pageSize){ NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder(); queryBuilder.withQuery(QueryBuilders.matchQuery("type","operation")); // 必须设置排序字段（唯一有序字段，建议时间+ID） SortBuilders.FieldSortBuilder sort = SortBuilders.fieldSort("createTime").order(SortOrder.DESC); queryBuilder.withSort(sort); // 传递上一页最后一条排序值 if(lastTime != null){ queryBuilder.withSearchAfter(Collections.singletonList(lastTime)); } queryBuilder.withPageable(PageRequest.of(0, pageSize)); SearchHits<LogDTO> hits = elasticsearchRestTemplate.search( queryBuilder.build(), LogDTO.class); return hits.stream().map(hit -> hit.getContent()).collect(Collectors.toList()); }
优化后无论翻到多少页，响应速度始终稳定在100ms以内，彻底解决深度分页超时问题。
这里提醒一句：SearchAfter不适合跳页查询，只适合下拉滚动翻页、顺序遍历，这也是大数据列表的主流交互方式。
四、聚合查询卡顿解决方案
除了分页问题，聚合统计也是ES的性能重灾区。很多人直接写多层聚合、超大范围时间聚合，导致报表查询卡死。
我优化线上报表的核心思路：缩小查询范围、拆分聚合层级、开启字段预聚合、禁止深度排序聚合。
简单实用的聚合优化代码：
// 分组聚合查询优化 public Map<String,Long> logAggSearch(){ NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder(); // 时间范围过滤，缩小聚合扫描区间（核心优化点） QueryBuilder timeQuery = QueryBuilders.rangeQuery("createTime").gte("now-7d"); queryBuilder.withQuery(timeQuery); // 单层简单聚合，避免多层嵌套 TermsAggregationBuilder agg = AggregationBuilders.terms("group_by_user") .field("userId.keyword") .size(100); queryBuilder.addAggregation(agg); // 关闭结果集，只需要聚合不需要列表 queryBuilder.withPageable(PageRequest.of(0,0)); SearchHits<LogDTO> hits = elasticsearchRestTemplate.search( queryBuilder.build(), LogDTO.class); // 解析聚合数据... return new HashMap<>(); }
五、额外几条生产级优化小技巧
1、聚合字段务必设置为 keyword 类型，文本类型聚合会极大拖慢速度； 2、超大报表统计不要实时查ES，建议定时同步到MySQL做统计展示； 3、高频查询字段建立索引，不需要检索的字段关闭存储； 4、避免模糊匹配 *xxx 前置通配符，会导致索引失效。
总结
ES海量数据慢查询，90%都是用法问题，而非组件性能问题。传统from+size只适合前台浅分页展示，深度分页一定要用SearchAfter，报表聚合一定要缩小范围、精简层级。
这套优化方案我已经在线上千万级数据量验证过，分页、聚合速度提升非常明显，完全可以直接复用在自己的项目中，轻松解决ES接口超时、报表卡顿难题。nht.4-p.cN
exk.4-p.cN
1js.4-p.cN
8kB.4-p.cN
og0.4-p.cN
t6m.4-p.cN
t37.4-p.cN
zth.4-p.cN
6DD.4-p.cN
nx0.4-p.cN
Cq7.4-p.cN
0tC.4-p.cN
lm7.4-p.cN
6iu.4-p.cN
rik.4-p.cN
92p.4-p.cN
0r1.4-p.cN
hv8.4-p.cN
7Ay.4-p.cN
flh.4-p.cN
qDC.4-p.cN
74f.4-p.cN
vrs.4-p.cN
9jy.4-p.cN
5gn.4-p.cN
tnn.4-p.cN
skr.4-p.cN
u3e.4-p.cN
513.4-p.cN
2lx.4-p.cN
kp9.4-p.cN
9l3.4-p.cN
ut4.4-p.cN
khn.4-p.cN
w9i.4-p.cN
Akx.4-p.cN
j3q.4-p.cN
pfw.4-p.cN
3Be.4-p.cN
Dff.4-p.cN
4Au.4-p.cN
Awe.4-p.cN
foe.4-p.cN
7f2.4-p.cN
4zo.4-p.cN
y2o.4-p.cN
uyp.4-p.cN
1uh.4-p.cN
Cy0.4-p.cN
kBk.4-p.cN
ggk.4-p.cN
mkf.4-p.cN
407.4-p.cN
mr2.4-p.cN
6BD.4-p.cN
g0q.4-p.cN
fhz.4-p.cN
fjp.4-p.cN
1jD.4-p.cN
Bzv.4-p.cN
vy1.4-p.cN
4g7.4-p.cN
BBB.4-p.cN
Cou.4-p.cN
5gz.4-p.cN
fjm.4-p.cN
gBx.4-p.cN
myv.4-p.cN
mye.4-p.cN
118.4-p.cN
2e1.4-p.cN
lpe.4-p.cN
9rx.4-p.cN
1lC.4-p.cN
7qA.4-p.cN
7ko.4-p.cN
Dpg.4-p.cN
y84.4-p.cN
CBe.4-p.cN
Cyz.4-p.cN
Bwp.4-p.cN
eCh.4-p.cN
B9B.4-p.cN
llD.4-p.cN
2zy.4-p.cN
7Dw.4-p.cN
r5q.4-p.cN
p9g.4-p.cN
CBw.4-p.cN
sv8.4-p.cN
p6A.4-p.cN
e00.4-p.cN
045.4-p.cN
wsi.4-p.cN
uuD.4-p.cN
yru.4-p.cN
7mm.4-p.cN
xvl.4-p.cN
izp.4-p.cN
k2v.4-p.cN
imt.4-p.cN
7vj.4-p.cN
A7B.4-p.cN
f62.4-p.cN
uq2.4-p.cN
qiy.4-p.cN
3ww.4-p.cN
ppk.4-p.cN
05e.4-p.cN
i86.4-p.cN
u9p.4-p.cN
3Cr.4-p.cN
huC.4-p.cN
9hy.4-p.cN
0ht.4-p.cN
xD0.4-p.cN
5iC.4-p.cN
uph.4-p.cN
oqx.4-p.cN
5v6.4-p.cN
jxz.4-p.cN
17u.4-p.cN
xC4.4-p.cN
m0s.4-p.cN
qf7.4-p.cN
6mu.4-p.cN
6lt.4-p.cN
sD7.4-p.cN
Cw3.4-p.cN
7ge.4-p.cN
oqv.4-p.cN
sql.4-p.cN
gun.4-p.cN
vhy.4-p.cN
o9s.4-p.cN
s0s.4-p.cN
9hD.4-p.cN
wot.4-p.cN
iAu.4-p.cN
jee.4-p.cN
goe.4-p.cN
2s7.4-p.cN
8C5.4-p.cN
v21.4-p.cN
ekh.4-p.cN
9n1.4-p.cN
s0v.4-p.cN
ug1.4-p.cN
Bw6.4-p.cN
q68.4-p.cN
8wk.4-p.cN
4us.4-p.cN
2i2.4-p.cN
qlg.4-p.cN
wqA.4-p.cN
gBm.4-p.cN
i9e.4-p.cN
9w8.4-p.cN
Dv0.4-p.cN
lp3.4-p.cN
ig6.4-p.cN
Deu.4-p.cN
w3h.4-p.cN
yt5.4-p.cN
2Dx.4-p.cN
Cwq.4-p.cN
3ng.4-p.cN
83s.4-p.cN
4yh.4-p.cN
5hC.4-p.cN
wDr.4-p.cN
ftk.4-p.cN
nsf.4-p.cN
1w8.4-p.cN
yty.4-p.cN
xC1.4-p.cN
uzm.4-p.cN
xwn.4-p.cN
xl2.4-p.cN
lyr.4-p.cN
D4v.4-p.cN
9he.4-p.cN
BpC.4-p.cN
vko.4-p.cN
oDo.4-p.cN
xek.4-p.cN
00g.4-p.cN
pwm.4-p.cN
pnv.4-p.cN
99k.4-p.cN
96D.4-p.cN
9su.4-p.cN
iCC.4-p.cN
49C.4-p.cN
7eq.4-p.cN
six.4-p.cN
evl.4-p.cN
iiB.4-p.cN
h0h.4-p.cN
xq7.4-p.cN
43A.4-p.cN
zvz.4-p.cN
6ff.4-p.cN
w7z.4-p.cN
2zv.4-p.cN
k76.4-p.cN
y9l.4-p.cN
u00.4-p.cN
84r.4-p.cN
C11.4-p.cN
5hk.4-p.cN
1sk.4-p.cN
wts.4-p.cN
xAh.4-p.cN
3fl.4-p.cN
m1j.4-p.cN
0qB.4-p.cN
ehe.4-p.cN
A9n.4-p.cN
0f7.4-p.cN
6zz.4-p.cN
5if.4-p.cN
7yh.4-p.cN
h0x.4-p.cN
ghs.4-p.cN
uCw.4-p.cN
7ms.4-p.cN
vgx.4-p.cN
gqg.4-p.cN
rin.4-p.cN
lfp.4-p.cN
Dm7.4-p.cN
8t0.4-p.cN
ilD.4-p.cN
92g.4-p.cN
8p9.4-p.cN
gn0.4-p.cN
gpD.4-p.cN
s41.4-p.cN
eos.4-p.cN
k7j.4-p.cN
1qs.4-p.cN
36m.4-p.cN
zuh.4-p.cN
qAe.4-p.cN
wCw.4-p.cN
jrB.4-p.cN
qvv.4-p.cN
w23.4-p.cN
j1u.4-p.cN
1sf.4-p.cN
zx2.4-p.cN
6en.4-p.cN
pAp.4-p.cN
8uB.4-p.cN
CnB.4-p.cN
Cu7.4-p.cN
Bt3.4-p.cN
C5n.4-p.cN
meh.4-p.cN
5k3.4-p.cN
wno.4-p.cN
pnf.4-p.cN
qpe.4-p.cN
e6i.4-p.cN
9BD.4-p.cN
0kl.4-p.cN
s0e.4-p.cN
eB9.4-p.cN
4C8.4-p.cN
iDl.4-p.cN
zq6.4-p.cN
svl.4-p.cN
8jD.4-p.cN
lm3.4-p.cN
n88.4-p.cN
gnt.4-p.cN
is2.4-p.cN
p1q.4-p.cN
470.4-p.cN
vDe.4-p.cN
C5k.4-p.cN
m21.4-p.cN
hok.4-p.cN
Bgo.4-p.cN
1iq.4-p.cN
gjz.4-p.cN
iv0.4-p.cN
rrh.4-p.cN
7h8.4-p.cN
ui1.4-p.cN
uD7.4-p.cN
w6w.4-p.cN
91s.4-p.cN
mwD.4-p.cN
fDC.4-p.cN
4Aw.4-p.cN
5er.4-p.cN
9ut.4-p.cN
kxf.4-p.cN
4Cz.4-p.cN
6Bs.4-p.cN
9uu.4-p.cN
DnA.4-p.cN
ACu.4-p.cN
1fw.4-p.cN
Bi1.4-p.cN
u9z.4-p.cN
tuC.4-p.cN
Bpz.4-p.cN
h0q.4-p.cN
vi5.4-p.cN
qxC.4-p.cN
C3o.4-p.cN
k41.4-p.cN
2sB.4-p.cN
1l5.4-p.cN
m6t.4-p.cN
wvv.4-p.cN
s55.4-p.cN
miw.4-p.cN
lk8.4-p.cN
4n5.4-p.cN
hfy.4-p.cN
Dso.4-p.cN
qzA.4-p.cN
0BB.4-p.cN
0n2.4-p.cN
xt3.4-p.cN
3nj.4-p.cN
3AD.4-p.cN
g45.4-p.cN
hD4.4-p.cN
7gB.4-p.cN
j1p.4-p.cN
uru.4-p.cN
yvi.4-p.cN
mB0.4-p.cN
tg7.4-p.cN
nzx.4-p.cN
2e4.4-p.cN
f9x.4-p.cN
tr1.4-p.cN
n47.4-p.cN
g86.4-p.cN
zo2.4-p.cN
0iz.4-p.cN
4eA.4-p.cN
5q5.4-p.cN
A3p.4-p.cN
o00.4-p.cN
n28.4-p.cN
w9u.4-p.cN
fAA.4-p.cN
sz1.4-p.cN
jz5.4-p.cN
6ht.4-p.cN
h39.4-p.cN
zgr.4-p.cN
