本文探讨了在spring data elasticsearch中，如何根据搜索结果的最高得分（maxscore）的百分比来动态过滤文档。由于elasticsearch原生查询难以直接实现这种基于动态阈值的过滤，文章提出并详细阐述了一种实用的客户端分页与过滤策略，通过逐步获取搜索结果并计算阈值，高效地筛选出高相关性文档，并提供了具体的实现思路和注意事项。
在Elasticsearch的搜索实践中，我们经常会遇到这样的场景：查询返回了大量的文档，但其中许多文档的相关性得分（score）极低，例如，最高得分可能为5，而许多文档的得分却低至0.0001。这些得分极低的文档往往不具备实际价值，我们希望能够根据一个动态的、相对于最高得分的百分比阈值来过滤结果，例如，只保留得分在最高得分80%以上的文档。本文将深入探讨如何在Spring Data Elasticsearch中实现这一需求。
理解Elasticsearch的得分与过滤挑战
Elasticsearch通过相关性算法（如BM25）为每个匹配的文档计算一个得分，得分越高表示文档与查询越相关。然而，直接在Elasticsearch查询层面实现“过滤掉得分低于最高得分X%的文档”这一逻辑是具有挑战性的。主要原因在于：
动态阈值： 最高得分是在查询执行后才能确定的，而不是一个固定的值。Elasticsearch的查询DSL（Domain Specific Language）主要用于在查询执行前定义匹配规则和过滤条件。查询阶段： 得分计算通常发生在查询的“匹配”阶段，而过滤（如post_filter或bool查询中的filter子句）通常在匹配之后或与匹配并行执行，但它们需要一个预先确定的条件。脚本复杂性： 理论上可以通过复杂的script_score或script查询来实现，但这通常会带来显著的性能开销，并且脚本逻辑的维护也更为复杂。
因此，对于这种动态的、基于结果集最高得分的过滤需求，更推荐采用客户端（应用层）的策略。
客户端分页与过滤策略
一种高效且实用的方法是利用Spring Data Elasticsearch提供的分页功能，结合客户端逻辑进行逐步过滤。核心思想是：先获取少量结果以确定最高得分，然后根据该得分计算出过滤阈值，再逐步获取并过滤后续结果。
1. 确定初始最高得分与阈值
首先，执行一个带分页的搜索请求，获取第一页结果。Spring Data Elasticsearch的SearchHits对象中包含了当前结果集的maxScore。利用这个maxScore，我们可以计算出我们所需的得分阈值。
例如，如果第一页的maxScore是5.0，而我们希望保留80%以上的文档，那么阈值就是 5.0 * 0.8 = 4.0。
2. 逐步获取与过滤结果
在确定阈值之后，我们就可以开始遍历当前页的文档，将得分高于或等于阈值的文档添加到最终结果列表中。如果当前页的文档全部满足条件，或者我们还没有达到预期的结果数量，并且Elasticsearch还有更多结果（searchHits.hasMore()），那么就继续请求下一页。在后续页的遍历中，我们只需根据之前计算的阈值进行过滤，直到遇到第一个得分低于阈值的文档，或者所有满足条件的文档都被获取，或者没有更多结果为止。
3. 实现示例
下面是一个使用Spring Data Elasticsearch实现此策略的示例代码：
import org.springframework.data.domain.PageRequest;import org.springframework.data.domain.Pageable;import org.springframework.data.elasticsearch.core.ElasticsearchOperations;import org.springframework.data.elasticsearch.core.SearchHit;import org.springframework.data.elasticsearch.core.SearchHits;import org.springframework.data.elasticsearch.core.query.Criteria;import org.springframework.data.elasticsearch.core.query.CriteriaQuery;import org.springframework.stereotype.Service;import java.util.ArrayList;import java.util.List;import java.util.Objects;@Servicepublic class DocumentSearchService { private final ElasticsearchOperations elasticsearchOperations; public DocumentSearchService(ElasticsearchOperations elasticsearchOperations) { this.elasticsearchOperations = elasticsearchOperations; } /** * 根据最高得分的百分比过滤Elasticsearch文档。 * * @param queryText 查询字符串 * @param scorePercentageThreshold 得分百分比阈值 (例如 0.8 代表 80%) * @param maxResults 期望返回的最大结果数 * @param 文档类型 * @return 过滤后的文档列表 */ public List searchAndFilterByMaxScorePercentage( String queryText, double scorePercentageThreshold, int maxResults, Class entityClass) { List filteredDocuments = new ArrayList(); int pageSize = Math.min(maxResults, 20); // 初始页面大小，可根据实际情况调整 int pageNumber = 0; double maxScore = -1.0; double scoreThreshold = -1.0; boolean stopFetching = false; while (!stopFetching && filteredDocuments.size() < maxResults) { Pageable pageable = PageRequest.of(pageNumber, pageSize); CriteriaQuery query = new CriteriaQuery(new Criteria("content").contains(queryText), pageable); // 示例查询 SearchHits searchHits = elasticsearchOperations.search(query, entityClass); if (searchHits.getTotalHits() == 0) { break; // 没有结果 } if (maxScore == -1.0) { // 首次获取，确定 maxScore 和阈值 maxScore = searchHits.getMaxScore(); if (maxScore <= 0) { // 如果maxScore为0或负数，意味着所有文档得分都非常低， // 此时可以根据业务逻辑决定是返回所有匹配文档，还是返回空列表， // 或者设置一个非常小的正阈值。这里我们直接停止。 System.out.println("Max score is zero or negative, stopping filtering."); break; } scoreThreshold = maxScore * scorePercentageThreshold; // 确保阈值不会过低导致不必要的过滤，或过高导致无结果 if (scoreThreshold 0) { // 避免因浮点数精度导致阈值过低 scoreThreshold = 0.0001; } } for (SearchHit hit : searchHits) { if (hit.getScore() >= scoreThreshold) { filteredDocuments.add(hit.getContent()); if (filteredDocuments.size() >= maxResults) { stopFetching = true; // 达到最大结果数 break; } } else { // 遇到第一个得分低于阈值的文档，停止继续获取 stopFetching = true; break; } } if (searchHits.hasMore() && !stopFetching) { pageNumber++; } else { stopFetching = true; // 没有更多页或已决定停止 } } return filteredDocuments; }}
使用示例：
// 假设 MyDocument 是你的 Elasticsearch 实体类// @Document(indexName = "my_documents")// public class MyDocument { ... }@Autowiredprivate DocumentSearchService documentSearchService;public List getTopRelevantDocuments(String query) { // 获取得分在最高得分80%以上，且最多100个结果的文档 return documentSearchService.searchAndFilterByMaxScorePercentage(query, 0.8, 100, MyDocument.class);}
注意事项与优化
页面大小（pageSize）选择：初始页面大小的选择很重要。如果设置过小，可能需要多次往返Elasticsearch，增加延迟。如果设置过大，可能会获取大量不必要的文档。一个折衷的方案是根据预期返回的最大结果数或经验值来设置，例如20-50。性能考量：这种方法涉及多次Elasticsearch请求，相比单次大请求可能带来更高的网络延迟。然而，它避免了在客户端处理大量低相关性数据，也避免了Elasticsearch服务器端复杂脚本的性能开销。如果需要处理的文档数量非常庞大，并且对性能有极高的要求，可能需要重新评估。maxScore为零或负数的情况：在某些极端情况下，如果所有匹配文档的得分都为零或负数（尽管不常见），maxScore可能为0。此时，根据业务需求决定如何处理，例如，可以返回所有匹配文档，或者直接返回空列表。示例代码中加入了相应的处理逻辑。阈值精度：浮点数计算可能存在精度问题。在比较得分时，可以考虑使用一个小的容差值，或者确保阈值不会因为精度问题而变得过低。查询类型：示例代码使用了简单的CriteriaQuery，实际应用中可以根据需要使用更复杂的NativeSearchQuery来构建查询。替代方案（高级）：如果绝对需要在Elasticsearch服务器端完成此过滤，可以考虑使用script_score查询结合painless脚本。脚本可以在查询执行时计算每个文档的得分，并与一个动态值进行比较。但这通常需要更深入的Elasticsearch知识，并且对性能有一定影响，因为脚本会在每个文档上执行。对于大多数场景，客户端分页过滤是更简单和高效的选择。
总结
在Spring Data Elasticsearch中，根据最高得分的百分比动态过滤搜索结果，虽然无法通过简单的原生查询直接实现，但通过结合客户端分页与过滤策略，可以高效且灵活地达到目的。这种方法通过逐步获取数据、计算动态阈值并在应用层进行筛选，平衡了性能与实现的复杂性，为处理大量相关性不同的搜索结果提供了一个实用的解决方案。在实际应用中，需要根据具体业务场景和性能要求，合理选择页面大小并处理各种边界情况。
以上就是使用Spring Data Elasticsearch按最高得分百分比过滤结果的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/195231.html
微信扫一扫 
支付宝扫一扫 
