同樣地，這種方式可以應用于處理文檔，PDF，郵件，網絡資訊等等尚未被LLM訓練數據集覆蓋到的內容。比如：
實現原理
本地知識問答系統(Local QA System)主要是通過結合了大語言模型的推理能力和向量數據庫的存儲和檢索能力。來實現通過向量檢索到最相關的語義片段，然后讓大語言模型結合相關片段上下文來進行正確的推理得到結論。在這個過程中主要有兩個流程：
a. 后端數據處理和存儲流程
b. 前端問答流程
同時其底層主要依賴兩個模塊：
1. 基于大語言模型的推理模塊
2. 基于向量數據庫的向量數據管理模塊
后端數據處理和存儲流程
上圖黑色的部分為后端的數據處理流程，主要是將我們的原始數據求解embedding，并和原始數據一起存入到向量數據庫ADB-PG中。這里你只需要關注上圖的藍色虛線框部分。黑色的處理模塊和ADB-PG向量數據庫。
前端問答流程
在這個過程中主要分為三個部分：1.問題提煉部分；2.向量檢索提取最相關知識；3.推理求解部分。在這里我們需要關注橙色部分。單單說原理可能比較晦澀，我們還是用上面的例子來說明。
Part1 問題提煉
這個部分是可選的，之所以存在是因為有些問題是需要依賴于上下文的。因為用戶問的新問題可能沒辦法讓LLM理解這個用戶的意圖。
比如用戶的新問題是“它能做什么”。LLM并不知道它指的是誰，需要結合之前的聊天歷史，比如“通義千問是什么”來推理出用戶需要求解答案的獨立問題“通義千問能做什么”。LLM沒法正確回答“它有什么用”這樣的模糊問題，但是能正確回答“通義千問有什么用”這樣的獨立問題。如果你的問題本身就是獨立的，則不需要這個部分。
得到獨立問題后，我們可以基于這個獨立問題，來求取這個獨立問題的embedding。然后去向量數據庫中搜索最相似的向量，找到最相關的內容。這個行為在Part2 Retrieval Plugin的功能中。
Part2 向量檢索
獨立問題求取embedding這個功能會在text2vec模型中進行。在獲得embedding之后就可以通過這個embedding來搜索已經事先存儲在向量數據庫中的數據了。比如我們已經在ADB-PG中存儲了下面內容。我們就可以通過求取的向量來獲得最相近的內容或者知識，比如第一條和第三條。通義千問是…，通義千問可以幫助我們xxx。
Part3 推理求解
在獲得最相關的知識之后，我們就可以就可以讓LLM基于最相關的知識和獨立問題來進行求解推理，得到最終的答案了。這里就是結合“通義千問是…”，“通義千問可以幫助我們xxx”等等最有效的信息來回答“通義千問有什么用”這個問題了。最終讓GPT的推理求解大致是這樣：
4、ADB-PG：內置向量檢索+全文檢索的一站式企業(yè)知識數據庫
為什么ADB-PG適合作為Chatbot的知識數據庫？ADB-PG是一款具備大規(guī)模并行處理能力的云原生數據倉庫。它支持行存儲和列存儲模式，既可以提供高性能的離線數據處理，也可以支持高并發(fā)的海量數據在線分析查詢。因此我們可以說ADB-PG是一個支持分布式事務、混合負載的數據倉庫平臺，同時也支持處理多種非結構化和半結構化數據源。如通過向量檢索插件實現了對圖片、語言、視頻、文本等非結構化數據的高性能向量檢索分析，對JSON等半結構化數據的全文檢索分析。
因此在AIGC場景下，ADB-PG既可以作為一款向量數據庫滿足其對向量存儲和檢索的需求，也可以滿足其他結構化數據的存儲和查詢，同時也可以提供全文檢索的能力，為AIGC場景下的業(yè)務應用提供一站式的解決方案。下面我們將對ADB-PG的向量檢索、融合檢索和全文檢索這三方面的能力進行詳細介紹。
ADB-PG向量檢索和融合檢索功能于2020年首次在公有云上線，目前已經在人臉識別領域得到了非常廣泛的應用。ADB-PG的向量數據庫繼承自數據倉庫平臺，因此它幾乎擁有DBMS的所有好處，如ANSISQL、ACID事務、高可用性、故障恢復、時間點恢復、可編程性、可擴展性等。同時它支持了點積距離、漢明距離和歐氏距離的向量和向量的相似度搜索。這些功能目前在人臉識別、商品識別和基于文本的語義搜索中得到了廣泛應用。隨著AIGC的爆炸式增長，這些功能為基于文本的Chatbot奠定了堅實的基礎。另外，ADB-PG向量檢索引擎也使用Intel SIMD指令極其有效地實現了向量相似性匹配。
下面我們用一個具體的例子來說明ADB-PG的向量檢索和融合檢索如何使用。假設有一個文本知識庫，它是將一批文章分割成chunk再轉換為embedding向量后入庫的，其中chunks表包含以下字段：
那么對應的建表DDL如下：
為了對向量檢索進行加速，我們還需要建立一個向量索引：
同時為了對向量結構化融合查詢提供加速，我們還需要為常用的結構化列建立索引：
在進行數據插入的時候，我們可以直接使用SQL中的insert語法：
在這個例子中，如果我們要通過文本搜索它的來源文章，那么我們就可以直接通過向量檢索進行查找，具體SQL如下：
同樣，如果我們的需求是查找最近一個月以內的某個文本的來源文章。那么我們就可以直接通過融合檢索進行查找，具體SQL如下：
在看完上面的例子之后，我們可以很清楚地發(fā)現，在ADB-PG中使用向量檢索和融合檢索就跟使用傳統數據庫一樣方便，沒有任何的學習門檻。同時，我們對向量檢索也有針對性地做了很多優(yōu)化，如向量數據壓縮、向量索引并行構建、向量多分區(qū)并行檢索等等，這里不再詳述。
ADB-PG同時也具有豐富的全文檢索功能，支持復雜組合條件、結果排名等檢索能力；另外對于中文數據集，ADB-PG也支持中文分詞功能，能夠高效、自定義地對中文文本加工分詞；同時ADB-PG也支持使用索引加速全文檢索分析性能。這些能力同樣也可以在AIGC業(yè)務場景下得到充分的使用，如業(yè)務可以對知識庫文檔結合上述向量檢索和全文檢索能力進行雙路召回。
知識數據庫搜索部分包括傳統的關鍵詞全文檢索和向量特征檢索，關鍵詞全文檢索保證查詢的精準性，向量特征檢索提供泛化性和語義匹配，除字面匹配之外召回和語義匹配的知識，降低無結果率，為大模型提供更加豐富的上下文，有利于大語言模型進行總結歸納。
5、總結
結合本文前面所提到的內容，如果把滿腹經綸的Chatbot比喻為人類，那么大語言模型可以看成是Chatbot在大學畢業(yè)前從所有書本和各領域公開資料所獲得的知識和學習推理能力。所以基于大語言模型，Chatbot能夠回答截止到其畢業(yè)前相關的問題，但如果問題涉及到特定專業(yè)領域（相關資料為企業(yè)組織專有，非公開）或者是新出現的物種概念（大學畢業(yè)時尚未誕生），僅靠在學校的知識所得（對應預訓練的大語言模型）則無法從容應對，需要具備畢業(yè)后持續(xù)獲得新知識的渠道（如工作相關專業(yè)學習資料庫），結合本身的學習推理能力，來做出專業(yè)應對。
同樣的Chatbot需要結合大語言模型的學習推理能力，和像ADB-PG這樣包含向量檢索和全文檢索能力的一站式數據庫（存儲了企業(yè)組織專有的以及最新的知識文檔和向量特征），在應對問題時具備基于該數據庫中的知識內容來提供更專業(yè)更具時效性的回答。
