3 月 23 日-24 日,聚焦全球開發者精英,由上海市人工智能行業協會(SAIA)主辦的 2024 全球開發者先鋒大會(2024 GDC)在上海舉辦。Zilliz 作為向量數據庫賽道的領軍者,受邀參與了此次活動,不僅在不同形式的活動中進行了 3 場主題分享,還與百川智能、Dify.AI、Moonshot AI 等公司一同在「大模型展示及研討專區」的產品互動展臺,與來自各地的開發者進行互動。
據悉,本次大會由世界人工智能大會組委會、上海市經濟和信息化委員會、上海市徐匯區人民政府、中國(上海)自由貿易試驗區臨港新片區管理委員會共同指導,上海市人工智能行業協會聯合上海人工智能實驗室、上海臨港經濟發展(集團)有限公司、開放原子開源基金會共同主辦。
全球開發者先鋒大會(GDC)緣起總.理在達沃斯世界經濟論壇打 CALL 的世界人工智能大會(WAIC),作為 WAIC 聚焦科技和人才力量的重要板塊,GDC 已發展成為全球開發者的盛大節日、頂尖技術趨勢的風向標。向量數據庫賽道正是 AIGC 時代的重要技術風向標,Zilliz 在現場向全球的開發者展示了其在頂尖向量數據庫技術的多重探索。
Zilliz 資深解決方案架構師沈亮以《百億級向量數據庫架構創新與優化之路》的主題進行了分享。他表示,向量數據庫最早誕生于 2019 年,由 Zilliz 公司推出并開源了全球首款向量數據庫 Milvus。在那個時期,向量數據庫的功能相對比較簡單,主要是基于向量檢索庫 Faiss 的基礎上,封裝了遠程過程調用(RPC)接口,并支持了基于 Write-Ahead Logging(WAL)的持久化能力。相比于傳統的向量檢索方法,Milvus 1.0 的最大意義在于解耦了業務邏輯、模型和數據存儲這三者之間的緊密關聯。這意味著應用開發者不再需要關注底層基礎設施的維護工作,這些工作包括但不限于集群的部署、數據的持久化和數據的遷移等。因此,Milvus 1.0 為許多用戶提供了從傳統煙囪式的人工智能開發模式向大模型時代。
隨著大模型技術的蓬勃發展,向量數據庫開始進入 2.0 時代,更多的個人開發者涌入賽道,對向量數據庫的關注也逐漸遷移到開發效率、部署簡單以及面向大模型加強場景的功能需求。向量數據庫絕不僅僅是用來進行簡單的向量檢索,要想真正提升開發者的開發效率和使用成本,需要系統開發者深入理解硬件、存儲、數據庫、AI、高性能計算、分布式系統、編譯原理、云原生等,以確保其穩定性、性能和易用性。在此基礎上,Zilliz 推出了Zilliz Cloud,可提供全托管的 SaaS 及 BYOC 向量數據庫服務,具備深度優化、開箱即用的 Milvus 體驗。使用 Zilliz Cloud 可以輕松構建百億級向量數據庫,分鐘級部署和擴展向量搜索服務,并由全球最專業的向量數據庫團隊提供運維、優化、及綜合支持。
Zilliz 開發者生態及市場運營負責人 Jerry 首先進行了主題為《走進向量數據庫和 RAG ——讓 LLMs 停止幻覺》的分享。Jerry 表示,過去一年,RAG 在技術層面發展迅速,為向量數據庫賽道添了一把火。RAG 和向量數據庫的結合,能夠有效解決幻覺、時效性差、專業領域知識不足等阻礙大模型應用的核心問題。
具體來看,大模型的局限性包括:其一,缺乏領域特定信息:LLM 僅基于公開數據集訓練;缺乏領域特定信息或專有信息等非公開數據。其二,容易產生幻覺:LLM 只能根據其現有數據提供信息和答案;如果超過該范圍,LLM 會提供錯誤或捏造的信息。其三,無法獲取最新信息:LLM 訓練成本十分高昂,無法及時更新其知識庫。其四,不變的預訓練數據:LLM 使用的預訓練數據可能包含過時或不正確的信息,且這些數據無法更正或刪除。
向量數據庫可有效針對解決上述問題,例如針對缺乏領域特定信息的問題,可利用向量數據庫建立知識庫,拓展認知邊界;針對無法獲取最新信息的問題,可以利用向量數據庫為大模型建立記憶、及時更新。
在此基礎上,RAG 技術棧應運而生,通過 LLM、向量數據庫和提示詞的相互配合,讓 LLM 停止幻覺。此外,Jerry 還介紹了向量數據庫的其他應用場景,包括圖片搜索、視頻搜索、文本搜索、數據去重、跨模態搜索、推薦系統、問答系統、版權保護、網絡安全、AI 制藥等。
在《2024 年,重新再來說說關于向量數據庫的那些事兒》主題分享中,Jerry 回顧了向量數據庫從小眾賽道到爆火的全過程,并提及了外界對于向量數據庫和 RAG 的疑問。他表示,大模型技術正在改變世界,但無法改變世界的運行規律。對于大模型而言,長期記憶的重要性也將持續存在。AI 應用的開發者一直在追求查詢質量和成本之間的完美平衡。當大型企業將生成式人工智能投入生產時,需要在控制成本的同時保持最佳的響應質量。在此情況下,RAG 技術和向量數據庫依然是實現這一目標的重要工具。
最后,Jerry 提到,Zilliz 最近面向 AI 初創企業推出了一項扶持計劃,預計提供總計 1000 萬元的 Zilliz Cloud 抵扣金,致力于幫助 AI 開發者構建高效的非結構化數據管理系統,助力打造高質量 AI 服務與運用,加速產業落地。屆時將為全球的 AI 初創團隊提供資源、技術、市場推廣、銷售等全方位的支持,符合要求的團隊可獲得獨家資源與支持。歡迎各位開發者訪問 Zilliz 中文官網首頁點擊 Zilliz AI 初創計劃,與 Zilliz 一起共建 AI 生態!
審核編輯 黃宇
-
數據庫
+關注
關注
7文章
3848瀏覽量
64689 -
大模型
+關注
關注
2文章
2551瀏覽量
3172
發布評論請先 登錄
相關推薦
【「基于大模型的RAG應用開發與優化」閱讀體驗】+Embedding技術解讀
云數據庫是哪種數據庫類型?
金倉數據庫四項成果入選2024星河案例
名單公布!【書籍評測活動NO.52】基于大模型的RAG應用開發與優化
中軟國際亮相2024國產數據庫創新生態大會
使用OpenVINO和LlamaIndex構建Agentic-RAG系統
![使用OpenVINO和LlamaIndex構建Agentic-<b class='flag-5'>RAG</b>系統](https://file1.elecfans.com/web2/M00/09/51/wKgZomcJ2ICAa2YlAAAMivY8Gbo225.png)
軟通動力數據庫全棧服務,助力企業數據庫體系全面升級
![軟通動力<b class='flag-5'>數據庫</b>全棧服務,助力<b class='flag-5'>企業</b><b class='flag-5'>數據庫</b>體系全面升級](https://file1.elecfans.com//web2/M00/06/2F/wKgaombYQEeAArOhAACG2y_aYds091.jpg)
自研創新 數智未來 2024中國數據庫技術大會盛大召開
![自研創新 數智未來 <b class='flag-5'>2024</b>中國<b class='flag-5'>數據庫</b>技術大會盛大召開](https://file1.elecfans.com//web2/M00/05/47/wKgaombNpU2Afk-6AALBYrGre_8487.png)
DTCC2024前瞻:天翼云數據庫專家共話TeleDB發展藍圖
![DTCC<b class='flag-5'>2024</b>前瞻:天翼云<b class='flag-5'>數據庫</b>專家共話TeleDB發展藍圖](https://file1.elecfans.com//web2/M00/04/42/wKgaombC69-AfsoYAAF_BiSZxOU975.png)
如何手擼一個自有知識庫的RAG系統
搭載英偉達GPU,全球領先的向量數據庫公司Zilliz發布Milvus2.4向量數據庫
![搭載英偉達GPU,全球領先的<b class='flag-5'>向量</b><b class='flag-5'>數據庫</b>公司<b class='flag-5'>Zilliz</b>發布Milvus2.4<b class='flag-5'>向量</b><b class='flag-5'>數據庫</b>](https://file1.elecfans.com//web2/M00/C7/33/wKgaomYGuDyAIuO1AAF6TrvbEGY398.png)
評論