多模态检索的召回怎么调
从向量维度、文本与图像权重、分块策略几个方面,说明多模态检索召回的调整思路。
向量空间的对齐
文本和图像映射到同一空间后,距离才有可比性。
训练数据的配对质量,决定了跨模态检索的上限。
权重怎么分配
查询里文字描述多时,适当提高文本向量的比重。
以图搜图时,图像特征应占主导。
分块策略
图像切块太细会丢失整体语义,太大又难以定位细节。
文本分块要考虑段落完整性,避免一句被切开。
召回数量与重排
先取较多候选,再用更精细的模型重排,效果通常更好。
候选太少容易漏掉正确答案,召回阶段宁可多取一些。
评估方法
用固定查询集看召回率,同时抽样检查排序结果。
只看单一指标,容易忽略跨模态的偏差。
本文由合亚嗒资讯网编辑部整理撰写,观点仅供参考;转载请注明来源与链接。