Zerank-1: 用于提升搜索结果精度的重排序模型

Zerank-1 是由 ZeroEntropy 公司开发的一款先进的重排序（reranker）模型。 在信息检索或语义搜索系统中，它扮演着“第二道筛选器”的关键角色。 首先，一个初步的检索系统（如向量搜索）会从海量的文档库中快速找出一批可能相关的内容。 接着，Zerank-1 会对这批初步筛选出的内容进行更精细的分析和重新排序，最终输出一个更精准、更符合用户查询意图的结果列表。 这种模型的核心优势在于它会同时处理用户查询和单个文档，从而能够捕捉两者之间更深层次、更细微的语义关联。 根据公开的基准测试数据，Zerank-1 在多个领域的表现优于同类模型，能够显著提升搜索系统的准确性。

功能列表

• 计算相关性得分: 模型接收一个“查询-文档”对作为输入，然后输出一个分数，该分数代表了文档与查询的相关程度。
• 结果重排序: 在初步检索（例如向量搜索或关键词搜索）后，使用该模型对候选文档进行二次排序，将最相关的文档排在最前面。
• 提升检索精度: 通过精细化排序，过滤掉初步检索中可能存在的干扰项或不太相关的内容，从而提高最终提供给用户或大型语言模型（LLM）的信息质量。
• 跨领域适用性: 在包括金融、法律、医疗、代码和对话等多个专业领域都表现出优秀的性能。
• 支持RAG系统: 在检索增强生成（RAG）流程中，通过提供更精准的上下文信息，可以显著改善大型语言模型生成内容的准确性和相关性。

使用帮助

什么是重排序（Reranking）？

在介绍 Zerank-1 如何使用之前，需要先理解它在整个搜索流程中所处的位置。一个现代的智能搜索系统通常分为两个阶段：

1. 召回/检索（Retrieval）: 这是第一阶段。系统使用一个快速高效的方法（比如基于关键词的BM25算法或基于向量的相似度搜索）从庞大的数据库中迅速找出数百或数千个与用户查询可能相关的文档。这个阶段的目标是“宁可错杀一千，不可放过一个”，保证尽可能多的相关文档被包含进来，所以速度是首要考虑的因素。
2. 重排序（Reranking）: 这是第二阶段。由于第一阶段追求速度和广度，其结果的精准度可能不够高。重排序模型（如 Zerank-1）就在此时介入。 它会对第一阶段召回的文档进行逐一精细评估，计算每个文档与查询的精准相关性得分，然后根据这个得分重新排序。 这种方法虽然计算量更大、速度更慢，但精度更高。

Zerank-1 就是一个专门用于第二阶段的交叉编码器（Cross-Encoder）模型。

如何在Python中使用Zerank-1

通过 Hugging Face 的 sentence-transformers 库，可以非常方便地在你的项目中使用 Zerank-1。

第一步：安装必要的库

如果你的环境中还没有安装 sentence-transformers 和 torch，可以通过 pip 进行安装。

pip install -U sentence-transformers torch

第二步：加载模型

使用 CrossEncoder 类从 Hugging Face Hub 加载 zeroentropy/zerank-1 模型。第一次运行时，程序会自动下载模型文件到本地缓存。

from sentence_transformers import CrossEncoder
# 加载模型，trust_remote_code=True 是必须的
model = CrossEncoder("zeroentropy/zerank-1", trust_remote_code=True)

第三步：准备查询和文档

你需要准备一个查询（query）和一系列待排序的文档（documents）。数据格式是一个包含多个元组（tuple）的列表，每个元组都是 (查询, 文档) 的形式。

例如，假设你有一个查询和几个从第一阶段检索到的文档：

query = "全球变暖的主要原因是什么？"
documents = [
"太阳活动周期的变化是地球气候波动的一个自然因素。",
"根据IPCC的报告，人类活动，特别是温室气体排放，是自20世纪中期以来观测到的全球变暖的主要驱动力。",
"火山爆发会向大气中释放气溶胶，短期内可能导致地球表面温度下降。",
"燃烧化石燃料（如煤、石油和天然气）为交通和电力生产提供能源，会释放大量的二氧化碳。"
]

第四步：进行预测并获取分数

将查询和文档组合成模型需要的输入格式，然后调用 model.predict() 方法。

# 按照 (查询, 文档) 的格式创建输入对
query_document_pairs = [(query, doc) for doc in documents]
# 使用模型预测相关性得分
scores = model.predict(query_document_pairs)
print("各文档的相关性得分:", scores)

输出会是一个NumPy数组，其中的每个值对应一个输入对的相关性得分。分数越高，代表文档与查询的语义相关性越强。

第五步：根据分数进行排序

现在，你可以将分数与原始文档对应起来，并按分数从高到低进行排序，得到最终的精确结果列表。

import numpy as np
# 将分数和文档打包
scored_documents = list(zip(scores, documents))
# 按分数降序排序
sorted_documents = sorted(scored_documents, key=lambda x: x[0], reverse=True)
# 打印排序后的结果
print("重排序后的结果:")
for score, doc in sorted_documents:
print(f"得分: {score:.4f} - 文档: {doc}")

执行以上代码后，你会看到与“全球变暖主要原因”最相关的文档被排在了最前面，这正是重排序模型发挥的作用。

应用场景

1. 企业级语义搜索
   对于企业内部知识库或网站的搜索引擎，用户输入的查询往往不是简单的关键词。Zerank-1可以部署在初级搜索（如Elasticsearch或向量检索）之后，对返回的前100个结果进行重排序，确保排在最前面的10个结果是用户最想看的内容，极大地提升搜索体验和效率。
2. 检索增强生成 (RAG)
   在RAG应用中，大型语言模型（LLM）回答问题的质量直接取决于提供给它的上下文信息的质量。 在将检索到的文档片段送入LLM之前，使用Zerank-1对这些片段进行重排序，可以过滤掉不相关或噪声信息，只保留与问题最相关的上下文，从而让LLM生成更准确、更具事实性的答案。
3. 智能问答系统
   在自动客服、技术支持等问答场景中，系统需要从大量的FAQ文档、产品手册中找到最能回答用户问题的段落。Zerank-1可以精确计算每个候选段落与用户问题的匹配度，从而定位到最准确的答案，提升问题解决率。
4. 文档或代码去重
   在处理大型文档集或代码库时，可能会遇到大量语义上重复但文本内容不完全相同的内容。通过将一个文档作为“查询”，其他文档作为“待比较项”，可以利用Zerank-1计算它们之间的相关性得分，从而有效地识别和聚类内容相似的文档或代码片段。

QA

1. Zerank-1 和普通的嵌入模型（Embedding Model）有什么区别？
   普通的嵌入模型（也称作双编码器，Bi-Encoder）会独立地为查询和文档生成一个向量（即嵌入），然后通过计算这两个向量的余弦相似度来判断相关性。 而Zerank-1作为交叉编码器（Cross-Encoder），它会同时处理查询和文档，这使得它可以捕捉到两者之间更复杂的交互和语义关系，因此在排序精度上通常更高，但计算成本也相应增加。
2. Zerank-1 是免费的吗？
   zeroentropy/zerank-1 模型本身在Hugging Face上提供，但有使用许可限制。 它采用非商业许可（non-commercial license）。 如果需要用于商业目的，需要直接联系ZeroEntropy公司获取授权。 不过，他们也提供了一个规模稍小、完全开源（Apache 2.0许可）的版本 zeroentropy/zerank-1-small，可供免费商用。
3. 使用Zerank-1需要什么样的硬件？
   作为一个深度学习模型，使用GPU会大大加快其计算速度，尤其是在需要处理大量文档排序时。但在数据量不大的情况下，它也可以在CPU上运行，只是速度会慢一些。具体需求取决于你的应用场景和性能要求。
4. 模型输出的分数范围是多少？
   模型输出的是一个浮点数，代表相关性。这个分数本身没有固定的上下限，它是一个相对值。在对一批文档进行排序时，你只需要比较它们各自得分的高低即可，分数越高的文档越相关。