抖音大規(guī)模實(shí)踐，火山引擎向量數(shù)據(jù)庫(kù)是這樣煉成的

量子位的朋友們 2023-09-14 16:12:29 來(lái)源：量子位

AI時(shí)代，如何用好大模型是當(dāng)前各行各業(yè)矚目的焦點(diǎn)。向量數(shù)據(jù)庫(kù)作為大模型“記憶體”，不僅能夠?yàn)槠涮峁?shù)據(jù)存儲(chǔ)，而且能通過(guò)數(shù)據(jù)檢索、分析讓大模型進(jìn)行知識(shí)增強(qiáng)，成為生成式AI應(yīng)用開(kāi)發(fā)新范式的重要組成部分。

用圖片搜索圖片或者文本搜索文本時(shí)，在數(shù)據(jù)庫(kù)中存儲(chǔ)和對(duì)比的并不是圖片和視頻片段，而是通過(guò)深度學(xué)習(xí)等算法將其提取出來(lái)的“特征”，“特征”提取的過(guò)程稱為 Embedding，提取出的“特征”用數(shù)學(xué)中的向量來(lái)表示。向量化的目的是為了通過(guò)向量相似來(lái)進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的檢索，向量化后的數(shù)據(jù)才能夠被AI模型更好的理解使用。向量數(shù)據(jù)庫(kù)就是用于生產(chǎn)、存儲(chǔ)、索引和分析來(lái)自機(jī)器學(xué)習(xí)模型產(chǎn)生的海量向量數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)。其典型應(yīng)用場(chǎng)景比如：基于大語(yǔ)言模型的智能客服、基于企業(yè)知識(shí)庫(kù)的問(wèn)答以及Chatdoc等工具應(yīng)用。

火山引擎向量數(shù)據(jù)庫(kù)技術(shù)演進(jìn)之路

? 存算分離的分布式架構(gòu)搭建

在抖音集團(tuán)內(nèi)部，早期的向量化檢索引擎是圍繞搜索、推薦、廣告業(yè)務(wù)來(lái)構(gòu)建的，由于這些業(yè)務(wù)天然具有極大的數(shù)據(jù)規(guī)模，因此從一開(kāi)始，就需要思考如何在向量索引中支持百億數(shù)據(jù)的檢索需求，比如圖蟲(chóng)擁有幾億圖片素材，數(shù)量規(guī)模早已超出單機(jī)內(nèi)存的極限，舉個(gè)例子，對(duì)于1億條128維的Float向量，不考慮任何輔助結(jié)構(gòu)，就需要100000000 * 128 * 4 bytes 也就是約48GB的服務(wù)器內(nèi)存。

研發(fā)團(tuán)隊(duì)設(shè)計(jì)了一套存算分離的分布式系統(tǒng)架構(gòu)，來(lái)進(jìn)行向量數(shù)據(jù)的分片和分布式編排，通過(guò)向量存儲(chǔ)、批式構(gòu)建和實(shí)時(shí)在線檢索，解決一份向量多個(gè)索引、支持多個(gè)場(chǎng)景的問(wèn)題，同時(shí)，還能夠節(jié)省索引構(gòu)建資源，加快索引構(gòu)建，使在線檢索服務(wù)穩(wěn)定性得到明顯提升。對(duì)于用戶來(lái)講，在抖音上搜索內(nèi)容則會(huì)又快又準(zhǔn)。

? 計(jì)算內(nèi)核性能優(yōu)化

構(gòu)建一個(gè)企業(yè)級(jí)的向量檢索應(yīng)用，數(shù)據(jù)量可能超過(guò)億級(jí)，延遲在10ms內(nèi)，要求用起來(lái)更快、更穩(wěn)，所以在計(jì)算框架搭建好之后，也必須關(guān)注其內(nèi)核，如何提供高性能的向量化檢索服務(wù)以滿足業(yè)務(wù)的苛刻需求。由于向量化檢索是典型的計(jì)算密集、數(shù)據(jù)密集場(chǎng)景，其優(yōu)化方向主要圍繞提升吞吐、降低服務(wù)成本、提升穩(wěn)定性開(kāi)展。通過(guò)一系列性能優(yōu)化工作，如降低內(nèi)存占用、優(yōu)化索引性能、CPU指令集計(jì)算優(yōu)化、優(yōu)化過(guò)濾和重排序等業(yè)務(wù)相關(guān)的計(jì)算過(guò)程，這套架構(gòu)可以很好解決各類(lèi)業(yè)務(wù)場(chǎng)景的離線和在線檢索計(jì)算需求，相同檢索精度下的吞吐和時(shí)延相比開(kāi)源基線有了3倍以上的改善，且滿足大規(guī)模線上業(yè)務(wù)的穩(wěn)定性要求，因此被抖音集團(tuán)大量業(yè)務(wù)采用。

但因?yàn)槊總€(gè)索引搭建一套集群的成本較高，且存在配置復(fù)雜等問(wèn)題，研發(fā)團(tuán)隊(duì)又對(duì)框架進(jìn)一步迭代，進(jìn)行云原生改造，實(shí)現(xiàn)組件多租戶化，提供自動(dòng)化調(diào)度能力，以降低錯(cuò)誤率，加快交付。

? 向量標(biāo)量混合檢索能力

向量數(shù)據(jù)庫(kù)用于業(yè)務(wù)場(chǎng)景時(shí)，向量數(shù)據(jù)通常與結(jié)構(gòu)化數(shù)據(jù)配合使用，例如，在將文檔表示為向量的同時(shí)，還需要存儲(chǔ)文檔所屬的部門(mén)，以方便在檢索時(shí)進(jìn)行權(quán)限過(guò)濾。這類(lèi)需求可以抽象為使用與向量相關(guān)的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行過(guò)濾，業(yè)界通常有兩種解決方案：一是后過(guò)濾，將排名top的K個(gè)結(jié)果擴(kuò)大一定倍數(shù)，檢索出更多的向量，然后用結(jié)構(gòu)化數(shù)據(jù)做過(guò)濾，留下topK個(gè)，這種方法適用于結(jié)構(gòu)化過(guò)濾掉的比例較低，向量召回結(jié)果比例較高的場(chǎng)景；二是先過(guò)濾，先使用DSL過(guò)濾數(shù)據(jù)集，然后在結(jié)果集中進(jìn)行向量排序，適用于DSL過(guò)濾結(jié)果較少的場(chǎng)景。

隨著數(shù)據(jù)量的增加，這兩種檢索鏈路的性能各有適用的場(chǎng)景，但如何在執(zhí)行時(shí)自動(dòng)找到最適合的執(zhí)行路徑呢？為此，技術(shù)團(tuán)隊(duì)又研發(fā)了DSL定向引擎，支持在檢索過(guò)程中同時(shí)進(jìn)行向量檢索和DSL過(guò)濾（結(jié)構(gòu)化過(guò)濾），具有高性能、邏輯完備、可按需終止和執(zhí)行計(jì)劃優(yōu)化等特點(diǎn)。在混合查詢性能對(duì)比行業(yè)評(píng)測(cè)中，該向量數(shù)據(jù)庫(kù)的無(wú)過(guò)濾吞吐、1%過(guò)濾吞吐和99%過(guò)濾吞吐多項(xiàng)性能均排名第一。

? 幫助大模型知識(shí)庫(kù)更快落地

大模型應(yīng)用場(chǎng)景的不斷拓寬，催生了向量數(shù)據(jù)的存儲(chǔ)、檢索需求。將企業(yè)自身數(shù)據(jù)轉(zhuǎn)化為向量數(shù)據(jù)時(shí)遇到不少困難，如何幫助業(yè)務(wù)選擇開(kāi)箱即用的向量化模型，也影響到大模型應(yīng)用的落地速度。技術(shù)團(tuán)隊(duì)在知識(shí)庫(kù)、生成式AI素材管理等場(chǎng)景，開(kāi)始嘗試提供預(yù)設(shè)的向量化方法以供業(yè)務(wù)選擇。大多數(shù)業(yè)務(wù)只需要選擇一個(gè)適合自身數(shù)據(jù)的向量化方法，即可用原始數(shù)據(jù)直接寫(xiě)入向量數(shù)據(jù)庫(kù)，并用相同的模型將請(qǐng)求數(shù)據(jù)轉(zhuǎn)換為請(qǐng)求向量進(jìn)行查詢。

? 向量數(shù)據(jù)庫(kù)技術(shù)全景

經(jīng)過(guò)長(zhǎng)期的內(nèi)部探索和優(yōu)化，抖音采用的向量數(shù)據(jù)庫(kù)產(chǎn)品結(jié)構(gòu)如下圖所示：基于云基礎(chǔ)設(shè)施，提供經(jīng)過(guò)深度打磨和優(yōu)化的各個(gè)引擎，提供從多模態(tài)數(shù)據(jù)寫(xiě)入，到向量生成，再到在線檢索，以及上線后的彈性調(diào)度和監(jiān)控的一整套全鏈路解決方案。

火山引擎向量數(shù)據(jù)庫(kù)的場(chǎng)景化落地實(shí)踐

經(jīng)過(guò)抖音集團(tuán)內(nèi)部的技術(shù)實(shí)踐，向量數(shù)據(jù)庫(kù)目前已經(jīng)覆蓋50+的業(yè)務(wù)線，基本支撐了內(nèi)部所有的向量檢索場(chǎng)景，比如抖音、頭條、懂車(chē)帝、圖蟲(chóng)、火山引擎Oncall智能問(wèn)答和剪映等，主要的業(yè)務(wù)場(chǎng)景包括智能搜索、AIGC跨模態(tài)檢索、推薦和去重、智能問(wèn)答、相關(guān)排序、聚類(lèi)分析和數(shù)據(jù)挖掘等，并且多個(gè)場(chǎng)景庫(kù)規(guī)模達(dá)百億級(jí)別。

下面以圖蟲(chóng)和火山引擎Oncall智能問(wèn)答為例，展示向量數(shù)據(jù)庫(kù)的應(yīng)用實(shí)踐。

? 智能搜索場(chǎng)景——圖蟲(chóng)的以圖搜圖

圖蟲(chóng)提供了以圖搜圖的能力，致力于為用戶提供正版素材內(nèi)容及數(shù)字資產(chǎn)管理解決方案。目前，圖蟲(chóng)創(chuàng)意在庫(kù)圖片量4.6億、高清視頻超2000萬(wàn)條，每天有大量用戶來(lái)搜索、查詢圖片和視頻。億級(jí)海量數(shù)據(jù)對(duì)向量檢索服務(wù)能力提出更高要求，業(yè)務(wù)如何靈活的設(shè)置分片，當(dāng)數(shù)據(jù)量大幅增加時(shí)又如何避免重新部署集群，加快索引構(gòu)建、節(jié)約資源。

解決方案是提供端到端的圖片搜索能力，流程是先將圖片源數(shù)據(jù)上傳到向量數(shù)據(jù)庫(kù)，把圖片數(shù)據(jù)進(jìn)行向量化、存儲(chǔ)并形成向量索引，然后，用戶將要搜索的圖片上傳，上傳后向量化，向量化的圖片與向量數(shù)據(jù)庫(kù)進(jìn)行向量檢索比對(duì)查詢，獲取相似度最高的結(jié)果，返回給用戶。

? 企業(yè)知識(shí)庫(kù)場(chǎng)景——火山引擎Oncall智能問(wèn)答

火山引擎Oncall智能問(wèn)答能夠輔助一線客服、提供客戶問(wèn)題回復(fù)參考。火山引擎官網(wǎng)每天會(huì)收到大量的客戶售后進(jìn)線，高峰時(shí)段人均要并行受理多個(gè)問(wèn)題，需要能夠快速排查并且給出客戶反饋。對(duì)于工程師來(lái)講，面對(duì)眾多技術(shù)門(mén)檻較高的產(chǎn)品，要進(jìn)行快速理解和判斷，難度較大。

解決方案就是，將火山知識(shí)庫(kù)文檔和數(shù)據(jù)通過(guò)向量特征提取，然后存儲(chǔ)到向量數(shù)據(jù)庫(kù)中，應(yīng)用LLM大語(yǔ)言模型與向量化的知識(shí)庫(kù)檢索和比對(duì)知識(shí)，構(gòu)建火山引擎Oncall智能問(wèn)答，可以讓聊天機(jī)器人的回答更具專(zhuān)業(yè)性和時(shí)效性，構(gòu)建專(zhuān)屬Chatbot。未來(lái)，火山引擎Oncall的FAQ知識(shí)將持續(xù)沉淀，知識(shí)庫(kù)持續(xù)完善，同時(shí)還能提供大模型訓(xùn)練數(shù)據(jù)，處理大量客戶咨詢問(wèn)題，實(shí)現(xiàn)機(jī)器人自動(dòng)生成回復(fù)結(jié)果。

如今，向量數(shù)據(jù)庫(kù)已經(jīng)成為整個(gè)大模型生態(tài)的基礎(chǔ)設(shè)施，支撐著大模型在業(yè)界的推廣和應(yīng)用。火山引擎向量數(shù)據(jù)庫(kù)技術(shù)經(jīng)過(guò)抖音等業(yè)務(wù)的實(shí)踐打磨，已經(jīng)對(duì)外開(kāi)放，賦能千行百業(yè)，加速AI大模型落地應(yīng)用。未來(lái)隨著新的應(yīng)用場(chǎng)景的出現(xiàn)，向量數(shù)據(jù)庫(kù)還將持續(xù)創(chuàng)新，提供更加靈活和多樣化的功能，滿足不同用戶的需求。