?
12月16日,AI時代數據存儲管理新挑戰分論壇在無錫成功召開,會上來自螞蟻集團、SphereEx、平凱星辰、九章云極DataCanvas、StreamNative、騰訊云和華為的技術專家,共同分享了AI時代下數據庫技術最新發展與實踐。
螞蟻集團開發工程師、HoraeDB 核心開發者 曹瑞秋 曹瑞秋在《時序數據庫HoraeDB 技術揭秘》的主題分享中表示,近期已將CeresDB內核捐獻到Apache基金會,捐獻的內核即為HoraeDB(CeresDB現已更名為HoraeDB)。目前主流的InfluxDB、Prometheus、VictoriaMetrics等時序數據庫仍存在時間線高基數問題和社區分布式方案不夠完備等問題。而HoraeDB采用倒排索引支持多維查詢,時間線少,適配度高的場景,倒排索引能直接全量存放在內存中。HoraeDB的高基數解決方案的核心是摒棄時間線概念,去除對倒排索引的強依賴,針對不同tag靈活選擇索引。此外,曹瑞秋還詳細介紹了HoraeDB分布式查詢優化、Memtable/SST read等優化設計思路。 ?SphereEx創始人 張亮 張亮發表了《數據庫增強計算引擎:數據庫架構革新新思路》主題演講。他認為在海量數據急速擴張,OLTP、OLAP、HTAP等多種數據應用場景,數據庫技術棧碎片化等情勢下,數據系統應對上應用層零入侵,數據庫本身工具化,因此中間加速引擎則具有創新性、可插拔、平臺化。SphereEx公司是由Apache頂級開源項目ShardingSphere核心團隊創立,致力于為企業提供面向新一代數據架構的數據庫增強引擎(DBPlusEngine),提供企業級、云原生的輕量級分布式數據庫解決方案、數據安全合規及信創平滑替換產品和服務,解決了企業海量數據的存儲與計算、數據安全合規等問題,幫助企業實現數據架構的轉型升級。 ?平凱星辰TiDB Serverless生態負責人 張翔 張翔發表了《TiDB Serverless:構建一個云原生的Serverless數據庫》主題演講。他首先介紹了TiDB 是開源、兼容MySQL、具有分布式,可保障業務連續性的真正的內核級HTAP分布式混合負載數據處理平臺,在此之后的TiDB Serverless是在去年由PingCAP推出的一款云原生的Serverless數據服務演進而來,已經由經典分布式HTAP改造為下一代Cloud Native架構。因此可以實現如支持多租戶的統一接入網關、TiFlash計算存儲分離、計算資源池化、TiKV Keyspace,以及Scale to Zero、實時喚醒、自動擴縮容等按需分配,可以利用云上的海量資源、高達11個9的持久性、微服務化,更高效地使用云上資源,降低爆炸半徑等真正的原生性能,以此實現全量數據的彈性,以及簡單易用,降低AI時代的數據成本。 ?九章云極DataCanvas資深架構師 孟圣智 孟圣智發表了《DingoDB:融合SQL與向量,構建功能完整的RAG數據庫底座》主題演講,他表示AI時代數據需要從更多存儲變為更易檢索,九章云極DataCanvas作為AI基礎軟件供應商,自主研發的DingoDB多模向量數據庫,實現結構化與非結構化的聯合存儲、分析和查詢。DingoDB既是關系數據庫,支持SQL、支持事務,符合用戶使用關系型數據庫的習慣。同時,DingoDB也是向量數據庫,支持Python和Java SDK,可以像使用大多數純向量數據庫一樣,無縫對接LLM App,可以實現企業知識庫、大模型記憶體、實時決策指標計算能力、非結構化數據的檢索、Vector Ocean數據支撐平臺、結構化與非結構化的融合分析等多種知識檢索應用場景。 ?StreamNative聯合創始人、Apache Pulsar PMC Member 翟佳 翟佳發表了《云原生批流融合數據平臺助力AI/LLM的實時數據處理》主題演講,他表示Pulsar從捐贈給Apache軟件基金會后的幾年里一直在高速增長。Pulsar采用存算分離云原生架構、支持多種語言,批和流統一視圖,可以與Flink、Spark等批流一體計算引擎有效地結合,方便管理實時和歷史數據,確保數據新鮮度,將批流一體的數據與向量數據庫結合,確保大模型的數據顯現度和準確性,以提高模型準確性,降低模型幻覺。 ?騰訊開源專家 耿航 耿航發表了《騰訊云TDSQL平滑去O的機遇挑戰與開源實踐》主題演講,他表示核心數據庫平滑替換,需要從內核、性能、使用習慣三個層面全面兼容,并且是一個完整的系統工程。騰訊云分布式數據庫TDSQL PG開源社區版OpenTenBase是完整去O和兼容O的數據庫內核,以內核兼容為基礎,打造從驅動、工具、內核三個層面的甲骨文兼容能力,填補基于Postgres的開源分布式HTAP系統的空白。OpenTenBase已吸引超過10個國家和地區的開發者關注,希望通過騰訊及上下游伙伴的技術投入,打造立足中國,面向全球的開放數字基礎設施數據底座。 ?華為openGauss內核技術專家 胡正超 胡正超發表了《openGauss內核架構雙引擎,驅動大規模數據處理》主題演講,并分享了openGauss 5.1版本持續在高性能、高可用、高安全、高智能內核上增強能力,同時在DataPod和DataKit持續創新,目標是實現更高效的大規模數據處理,更豐富的場景支持,更便捷的使用體驗。其中DataPod在5.1版本實現了一些新功能,提升了系統的易用性、可用性和性能。DataKit為openGauss的數據全生命周期生產力工具,當前持續在平臺架構和功能插件上構建新功能,如增加告警中心、數據遷移、開發、運維等插件。 近幾年數據庫百花齊放,快速發展。生成式AI爆發之后,AI大模型加速普及應用,模型訓練推理的準確性,對系統數據與信息的存儲、檢索、計算提出了新挑戰。從本次分論壇嘉賓分享的干貨內容,我們可以看到,針對AI的數據系統可能正在走向殊途同歸的技術路徑,那就是分布式原生、實時、向量化(時序也可看作一種向量),另外存算分離、并行架構,以滿足AI對數據的性能、成本等要求。
點擊“閱讀原文”訪問AtomGit
下載經嘉賓授權的演講材料
原文標題:AI時代數據存儲管理新挑戰分論壇圓滿舉辦
文章出處:【微信公眾號:開放原子】歡迎添加關注!文章轉載請注明出處。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
OpenHarmony
+關注
關注
25文章
3747瀏覽量
16588 -
開放原子基金會
+關注
關注
1文章
490瀏覽量
5273
原文標題:AI時代數據存儲管理新挑戰分論壇圓滿舉辦
文章出處:【微信號:開放原子,微信公眾號:開放原子】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
浪潮信息剖析智能時代數據存儲領域面臨的挑戰與機遇
在當今數字化時代,算力與存力的協同增長已成為驅動各行各業發展的關鍵力量。特別是在人工智能(AI)這一前沿領域,隨著數據量的爆炸式增長,對存儲系統的需求日益復雜和多樣。近期,在首屆CCF
OpenHarmony城市技術論壇第12期——合肥站圓滿舉辦
2024年12月23日,OpenHarmony城市技術論壇(以下簡稱“技術論壇”)第12期——合肥站于中國科學技術大學高新校區圓滿舉辦。本次技術論壇
直面行業痛點,引領行業發展 -比創達 “AI&EMC,電磁兼容” 高峰論壇圓滿落幕
2024 年 11 月 6 日,由比創達主辦的 “AI&EMC,人工智能也要電磁兼容” 高峰論壇在深圳國際會展中心(寶安)隆重舉行并取得圓滿成功。此次高峰論壇吸引了眾多行業精英、企業代
億鑄科技熊大鵬探討AI大算力芯片的挑戰與解決策略
在SEMiBAY2024《HBM與存儲器技術與應用論壇》上,億鑄科技的創始人、董事長兼CEO熊大鵬博士發表了題為《超越極限:大算力芯片的技術挑戰與解決之道》的演講,深入剖析了AI大模型
軟通動力成功舉辦“全棧智能,激發工業發展新動能”分論壇
軟通動力在華為全聯接大會2024上舉辦"全棧智能,激發工業發展新動能"分論壇,匯聚伙伴/客戶進行AI+行業實踐分享,并特別舉行第三屆"917轉型"企動日峰會啟動儀式和礦鴻OS發行版與礦
中興通訊AI創新生態論壇成功舉辦
日前,以“全棧智算,打造高效基座;開放合作,構建繁榮生態”為主題的2024世界人工智能大會中興通訊AI創新生態論壇在滬成功舉辦。論壇匯聚頂尖專家學者,GPU廠家、模型廠家、運營商及行業
開啟全新AI時代 智能嵌入式系統快速發展——“第六屆國產嵌入式操作系統技術與產業發展論壇”圓滿結束
航空航天大學杭州創新研究院成功舉辦。本屆論壇有16位知名專家學者和120余位產學各界嘉賓參會,論壇圍繞“開啟全新AI時代、智能嵌入式操作系統
發表于 08-30 17:24
華為開發者大會2024中軟國際主辦分論壇成功舉辦
6月22日,華為開發者大會2024中軟國際主辦分論壇:共赴云深處,以AI筑行業數智發展新機遇于東莞溪流背坡村成功舉辦。作為華為云同舟共濟合作伙伴,中軟國際以最高贊助等級云鉆伙伴身份亮相
佰維存儲消費級品牌渠道戰略合作伙伴峰會圓滿舉辦
佰向新,贏勝勢。近日,Biwin消費級品牌渠道戰略合作伙伴峰會圓滿舉辦,佰維存儲董事長孫成思、國通集團董事長王剛、佰維存儲副總經理徐騫、國通集團總經理金昌煥以及眾多優秀的渠道合作伙伴出
2024研華AIoT創新應用論壇青島站圓滿舉辦
2024研華AIoT創新應用論壇青島站圓滿落幕,聚焦智能制造及智慧能源、智能設備、智慧城市、邊緣智能四大產業,攜手伙伴進行深度話題分享與方案展示。
OpenHarmony城市技術論壇第8期——廈門站圓滿落幕
2024年4月20日上午,OpenHarmony城市技術論壇(以下簡稱“技術論壇”)第8期——廈門站,在廈門大學翔安校區信息學院圓滿落幕。此次論壇從“終端操作系統十大技術
OpenHarmony城市技術論壇第8期——廈門站圓滿舉辦
2024年4月20日上午,OpenHarmony城市技術論壇(以下簡稱“技術論壇”)第8期——廈門站于廈門大學翔安校區信息學院圓滿舉辦。本次技術論壇
軟通動力成功舉辦“從數據到AI,重構生產力”分論壇
3月14日-15日,“華為中國合作伙伴大會2024”在深圳盛大召開。本屆大會不僅匯集了頂尖的思想領袖、商業精英、技術專家及優秀企業代表,還帶來了多樣化的主題峰會、分論壇及圓桌討論等。其中,由軟通動力主辦的“從數據到
評論