電子報讀者募集中！歡迎 訂閱電子報！

現代的語義檢索技術（如 FAISS 向量資料庫）在 NLP 應用中非常強大，能夠根據用戶的輸入快速找到相關的內容。然而，在某些情況下，我們需要對檢索結果進行限制。

確保返回的答案只來自我們設定的資料範圍，避免回答超出範圍的問題。

本文將以 FAISS 向量資料庫為例，介紹如何通過設置相似度閾值（similarity threshold）來控制檢索範圍。

1. 什麼是 FAISS？

FAISS（Facebook AI Similarity Search）是一款專門用於向量檢索和相似性搜索的工具。它能有效地處理大規模向量數據，並根據查詢向量，快速找到最相似的項目。這種能力在 NLP、推薦系統和搜索引擎中應用廣泛。

2. 什麼是相似度閾值？

在向量檢索中，相似度閾值 是用於衡量用戶查詢與資料庫中內容的相關性程度的參數。該值可以根據以下兩種度量方式進行解釋：

(1) 相似度分數

• 值的範圍通常在 0（完全不相關）到 1（完全相同）之間。
• 如果使用的是「相似度」度量方式（如 餘弦相似度），0.8 意味著檢索器只會返回與查詢向量的相似度大於 0.8 的文件，範圍通常是 0 到 1：

範圍	意義
1.0	完全相同
0.8	高度相似，但不是完全一致
0.0	完全不相似

在這種情況下：

• 值越高，檢索的結果越相關，但可能檢索到的數量更少。
• 值越低，檢索的結果可能包含更多不相關的項目。

(2) 距離分數

• 如果使用的是「距離」度量方式（如 歐幾里得距離 或 內積距離），0.8 代表查詢向量與檢索到的文件向量之間的距離不能超過 0.8。
  • 距離越小，表示向量越接近（越相關）。
  • 距離越大，檢索結果可能變得不相關。

3. 實際應用中的選擇

• 語義檢索系統中，0.8 是一個相對中等的閾值，表示檢索器會優先返回與查詢有較高語義相關性的結果。
• 如果資料庫的內容很豐富且高質量，可以考慮將此值設得更高（如 0.9）。
• 如果資料庫的內容有限，可以將此值設得更低（如 0.6），以避免因限制過嚴而檢索不到任何結果。

4. 如何選擇合適的值？

• 如果想要系統回答只與查詢強相關的內容，可以將閾值設高一些（如 0.85 或 0.9）。
• 如果希望返回更廣泛的可能答案（尤其是資料量小時），則設低一些（如 0.6 或 0.7）。

5. 具體的例子

假設使用語義相似度進行檢索：

查詢：

"解毒的藥草有哪些？"

文件：

• 文件 A："曼德珍珠奶茶草是一種用於恢復石化的植物。"
• 文件 B："山羊可愛蓮花石是一種有效的解毒石頭。"

相似度分數：

• 文件 A 與查詢的相似度是 0.7。
• 文件 B 與查詢的相似度是 0.85。

閾值設置結果：

• 設置閾值為 0.8 時，只有文件 B 會被返回。
• 設置閾值為 0.6 時，文件 A 和文件 B 都會被返回。

6. 為什麼要設置相似度閾值？

設置相似度閾值的目的是為了提高檢索的準確性，防止返回與查詢內容不相關或低相關的結果。這對於以下情境特別有用：

• 資料庫主題明確但內容有限：避免返回無關的資料。
• 回應需要高精度：如醫學、法律等高精度領域，低相關的回應可能誤導用戶。
• 內容過多：過低的閾值可能導致返回過多噪音數據。

7. 崴寶結語

通過設置相似度閾值，FAISS向量資料庫能更有效地控制檢索結果的範圍，確保返回的內容與用戶查詢的相關性達到預期標準。無論是在原生的 FAISS 還是封裝工具（如 LangChain）中，這一功能都能提升檢索準確性，讓應用更加智能與精準。

下一篇會進行實作教學。