前言
數據庫技術是計算機科學的重要分支,主要研究如何安全高效地管理大量、持久、共享的數據。數據庫的研究始于20世紀60年代中期,從誕生到現在,在不到半個世紀的時間里,形成了堅實的理論基礎、成熟的商業產品和廣泛的應用領域,目前數據庫成為一個研究者眾多且被廣泛關注的研究領域。隨著信息管理內容的不斷擴展和新技術的層出不窮,數據庫技術面臨著前所未有的挑戰。面對新的數據形式,人們提出了豐富多樣的數據模型(層次模型、網狀模型、關系模型、面向對象模型、半結構化模型等),同時也提出了眾多新的數據庫技術(XML 數據管理、數據流管理、Web 數據集成、數據挖掘等本文討論目前數據庫技術發展的三個特征以及數據庫研究領域中最熱門的幾個研究方向的發展現狀、面臨的問題和未來趨勢。
數據庫技術發展的三個特征
數據庫技術主要研究如何存儲、使用和管理數據,是計算機數據管理技術發展的新階段,是計算機技術中發展最快、應用最廣的技術之一。當前,數據庫技術已成為現代計算機信息系統和應用系統開發的核心技術,數據庫已成為計算機信息系統和應用系統的組成核心,更是未來“信息高速公路”的支撐技術之一。
縱觀數據庫發展,三大數據庫巨頭公司紛紛推出其最新產品,數據庫市場競爭日益加劇。從最新的IDC報告顯示,在關系數據庫管理系統(RDBMS)軟件市場上,Oracle繼續領先對手IBM和微軟,但是微軟在2006年取得了更快的銷售增長率……
根據對數據庫的技術趨勢不難看出,整個數據庫發展呈現出了三個主要特征:
支持XML數據格式
IBM公司在它新推出的DB29版本中,直接把對XML的支持作為其新產品的最大賣點,號稱是業內第一個同時支持關系型數據和XML數據的混合數據庫,無需重新定義XML數據的格式,或將其置于數據庫大型對象的前提下,IBM DB2 9允許用戶無縫管理普通關系數據和純XML數據。
對于傳統關系型數據與層次型數據的混合應用已經成為了新一代數據庫產品所不可或缺的特點。除了IBM,Oracle和微軟也同時宣傳了它們的產品也可以實現高性能XML存儲與查詢,使現有應用更好的與XML共存。
商業智能成重點
為應對日益加劇的商業競爭,企業不斷增加內部IT及信息系統,使企業的商業數據成幾何數量級不斷遞增,如何能夠從這些海量數據中獲取更多的信息,以便分析決策將數據轉化為商業價值,就成為目前數據庫廠商關注的焦點。各數據庫廠商在新推出的產品中,紛紛表示自己的產品在商業智能方面有很大提高。如:微軟最新版SQL Server 2005就集成了完整的商業智能套件,包括數據倉庫、數據分析、ETL工具、報表及數據挖掘等,并有針對性的做了一些優化。如何更好的支持商業智能將是未來數據庫產品發展的主要趨勢之一。
SOA架構支持
SOA已經成為目前IT業內的一個大的發展趨勢,最初IBM和BEA是該理念的主要推動者,后來有越來越多的企業加入,開始宣稱支持SOA,其中包括Oracle,而微軟開始并不是非常贊同SOA的,但是,隨著時間的發展,目前國內主流的數據庫廠商都開始宣稱他們的產品是完全支持SOA架構的,包括微軟的SQL Server 2005,從微軟態度的轉變可以看出,未來IT業的發展與融合,SOA正在成長為一個主流的趨勢。
并且為了擴大宣傳和搶占更多的中小企業市場,各主流數據庫廠商還紛紛推出一些提供簡單功能的免費數據庫產品。
當今主流數據庫技術發展狀況
1.信息集成
隨著Internet 的飛速發展,網絡迅速成為一種重要的信息傳播和交換的手段,尤其是在Web 上,有著極其豐富的數據來源。信息集成系統的方法可以分為:數據倉庫方法和Wrapper/Mediator 方法。在數據倉庫方法中,各數據源的數據按照需要的全局模式從各數據源抽取并轉換,存儲在數據倉庫中。用戶的查詢就是對數據倉庫中的數據進行查詢。對于數據源數目不是很多的單個企業來說,該方法十分有效。另一種方法是Wrapper/Mediator 方法。該方法并不將各數據源的數據集中存放,而是通過Wrapper/Mediator 結構滿足上層集成應用的需求。這種方法的核心是中介模式(mediatedschema)。信息集成系統通過中介模式將各數據源的數據集成起來,而數據仍存儲在局部數據源中,通過各數據源的包裝器(wrapper)對數據進行轉換使之符合中介模式。用戶的查詢基于中介模式,不必知道每個數據源的特點,中介器(mediator)將基于中介模式的查詢
轉換為基于各局部數據源的模式查詢,它的查詢執行引擎再通過各數據源的包裝器將結果抽取出來,最后由中介器將結果集成并返回給用戶。Wrapper/Mediator 方法解決了數據的更新問題,從而彌補了數據倉庫方法的不足。不過,這種框架結構正受到來自3 個方面的挑戰。第1個挑戰是如何支持異構數據源之間的互操作性(interoperability)。另一個挑戰是如何模型化源數據內容和用戶查詢。第三個挑戰是當數據源的查詢能力受限時,如何處理查詢和進行優化。
2.傳感器數據庫技術
隨著微電子技術的發展,傳感器的應用越來越廣泛。根據傳感器在一定的范圍內發回的數據,在一定的范圍內收集有用的信息,并且將其發回到指揮中心。當有多個傳感器在一定的范圍內工作時,就組成了傳感器網絡。傳感器網絡由攜帶者所捆綁的傳感器及接收和處理傳感器發回數據的服務器所組成。傳感器網絡中的通信方式可以是無線通信,也可以是有線通信。
在傳感器網絡中,傳感器數據就是由傳感器中的信號處理函數產生的數據。信號處理函數要對傳感器探測到的數據進行度量和分類,并且將分類后的數據標記時間戳,然后發送到服務器,再由服務器對其進行處理。傳感器數據可以通過無線或者光纖網存取。無線通信網絡采用的是多級拓撲結構,最前端的傳感器節點收集數據,然后通過多級傳感器節點到達與服務器相連接的網關節點,最后通過網關節點,將數據發送到服務器。
傳感器節點上數據的存儲和處理方法有兩種:第1 種類型的處理方法是將傳感器數據存儲在一個節點的傳感器堆棧中,這樣的節點必須具有很強的處理能力和較大的緩沖空間;第2 種方法適用于一個芯片上的傳感器網絡,傳感器節點的處理能力和緩沖空間是受限制的:在產生數據項的同時就對其進行處理以節省空間,在傳感器節點上沒有復雜的處理過程,傳感器節點上不存儲歷史數據;對于處理能力介于第1 種和第2 種傳感器網絡的網絡來說,則采用折衷的方案,將傳感器數據分層地放在各層的傳感器堆棧中進行處理。
傳感器網絡越來越多地應用于對很多新應用的監測和監控。新的傳感器數據庫系統需要考慮大量的傳感器設備的存在,以及它們的移動和分散性。因此,新的傳感器數據庫系統需要解決一些新的問題。主要包括:傳感器數據的表示和傳感器查詢的表示、在傳感器節點上處理查詢分片、分布查詢分片、適應網絡條件的改變、傳感器數據庫系統等。
3.網格數據管理
網格是把整個網絡整合成一個虛擬的巨大的超級計算環境,實現計算資源、存儲資源、數據資源、信息資源、知識資源和專家資源的全面共享。目的是解決多機構虛擬組織中的資源共享和協同工作問題。按照應用層次的不同可以把網格分為3 種:計算網格,提供高性能計算機系統的共享存取;數據網格,提供數據庫和文件系統的共享存取;信息服務網格則支持應用軟件和信息資源的共享存取。
高性能計算的應用需求使計算能力不可能在單一計算機上獲得,因此,必須通過構建“網絡虛擬超級計算機”或“元計算機”獲得超強的計算能力,這種計算方式稱為網格計算。它通過網絡連接地理上分布的各類計算機(包括機群)、數據庫、各類設備和存儲設備等,形成對用戶相對透明的虛擬的高性能計算環境,應用包括了分布式計算、高吞吐量計算、協同工程和數據查詢等諸多功能數據網格保證用戶在存取數據時無須知道數據的存儲類型(數據庫,文檔,XML)和位置。涉及的問題包括:如何聯合不同的物理數據源,抽取源數據構成邏輯數據源集合;如何制定統一的異構數據訪問的接口標準;如何虛擬化分布的數據源等。
信息網格是利用現有的網絡基礎設施、協議規范、Web 和數據庫技術,為用戶提供一體化的智能信息平臺,其目標是創建一種架構在OS 和Web 之上的基于Internet 的新一代信息平臺和軟件基礎設施。
4.移動數據管理
越來越多的人擁有掌上型或筆記本電腦,或者個人數字助理(PDA)甚至智能手機,這些移動計算機都將裝配無線聯網設備,用戶不再需要固定地聯接在某一個網絡中不變,而是可以攜帶移動計算機自由地移動,這樣的計算環境,我們稱之為移動計算(mobile computing)。研究移動計算環境中的數據管理技術,已成為目前分布式數據庫研究的一個新的方向,即移動數據庫技術。與基于固定網絡的傳統分布計算環境相比,移動計算環境具有以下特點:移動性、頻繁斷接性、帶寬多樣性、網絡通信的非對稱性、移動計算機的電源能力、可靠性要求較低和可伸縮性等。
移動計算以及它所具有的獨特特點,對分布式數據庫技術和客戶/服務器數據庫技術,提出了新的要求和挑戰。移動數據庫系統要求支持移動用戶在多種網絡條件下都能夠有效地訪問所需數據,完成數據查詢和事務處理。通過移動數據庫的復制/緩存技術或者數據廣播技術,移動用戶即使在斷接的情況下也可以繼續訪問所需的數據,從而繼續自己的工作,這使得移動數據庫系統具有高度的可用性。此外,移動數據庫系統能夠盡可能地提高無線網絡中數據訪問的效率和性能。
而且,它還可以充分利用無線通信網絡固有的廣播能力,以較低的代價同時支持大規模的移動用戶對熱點數據的訪問,從而實現高度的可伸縮性,這是傳統的客戶/服務器或分布式數據庫系統所難以比擬的。
目前,移動數據管理的研究主要集中在以下幾個方面:首先是數據同步與發布的管理。其次是移動對象管理技術。
5.微小型數據庫技術隨著移動計算時代的到來,嵌入式操作系統對微小型數據庫系統的需求為數據庫技術開辟了新的發展空間。微小型數據庫技術目前已經從研究領域逐步走向應用領域。一般說來,微小型數據庫系統(a small-footprint DBMS)可以定義為:一個只需很小的內存來支持的數據庫系統內核。微小型數據庫系統針對便攜式設備其占用的內存空間大約為2MB,而對于掌上設備和其他手持設備,它占用的內存空間只有50KB 左右。內存限制是決定微小型數據庫系統特征的重要因素。微小型數據庫系統根據占用內存的大小又可以進一步分為:超微DBMS(pico-DBMS)、微小DBMS(micro-DBMS)和嵌入式DBMS 3 種。
微小型數據庫系統與操作系統和具體應用集成在一起,運行在各種智能型嵌入設備或移動設備上。微小型數據庫技術目前已經從研究領域向廣泛的應用領域發展,各種微小型數據庫產品紛紛涌現。尤其是對移動數據處理和管理需求的不斷提高,緊密結合各種智能設備的嵌入式移動數據庫技術已經得到了學術界、工業界、軍事領域和民用部門等各方面的重視并不斷實用化。
6. 數據加密技術
我們經常需要一種措施來保護我們的數據,防止被一些懷有不良用心的人所看到或者破壞。在信息時代,信息可以幫助團體或個人,使他們受益,同樣,信息也可以用來對他們構成威脅,造成破壞。在競爭激烈的大公司中,工業間諜經常會獲取對方的情報。因此,在客觀上就需要一種強有力的安全措施來保護機密數據不被竊取或篡改。數據加密與解密從宏觀上講是非常簡單的,很容易理解。加密與解密的一些方法是非常直接的,很容易掌握,可以很方便的對機密數據進行加密和解密。
1)數據加密方法
在傳統上,我們有幾種方法來加密數據流。所有這些方法都可以用軟件很容易的實現,但是當我們只知道密文的時候,是不容易破譯這些加密算法的。最好的加密算法對系統性能幾乎沒有影響,并且還可以帶來其他內在的優點。例如,大家都知道的pkzip,它既壓縮數據又加密數據。又如,dbms的一些軟件包總是包含一些加密方法以使復制文件這一功能對一些敏感數據是無效的,或者需要用戶的密碼。所有這些加密算法都要有高效的加密和解密能力。幸運的是,在所有的加密算法中最簡單的一種就是“置換表”算法,這種算法也能很好達到加密的需要。每一個數據段(總是一個字節)對應著“置換表”中的一個偏移量,偏移量所對應的值就輸出成為加密后的文件。加密程序和解密程序都需要一個這樣的“置換表”。事實上,80x86 cpu系列就有一個指令?xlat?在硬件級來完成這樣的工作。
2)基于公鑰的加密算法
數據庫技術在今后的發展趨勢
1.性能與易用性仍是數據庫完善的必經之路
關系型數據庫所以升級緩慢,其中一個主要原因就是沒有關鍵的技術革新,各大廠商所做的主要工作都是在對自己的產品進行錦上添花式的不斷完善。這一發展方向就是使數據庫向著需求更少的方向增強。所謂需求更少是指數據庫以更少的相對資源消耗、更高的性能運行,并且隨著技術的不斷進步,數據庫變得更加智能,維護和使用將更加簡單。這是數據庫技術在完善過程中的必經之路。
在這一方面,Oracle數據庫一直走在前列,從Oracle9i開始,Oracle一直致力于是數據庫軟件更加自動化,在這一原則的支撐下,Oracle不斷實現了諸如自動PGA管理、自動SGA管理、自動段空間管理(ASSM)、自動存儲管理(ASM)等等新特性,這些新特性切實降低了DBA的工作量,使得數據庫的管理更加簡單;而IBMDB2也一直在加強這方面的功能,IBM的SMART技術(Self-ManagingAndResourceTuning-自我管理和資源調優)正是在這些方面的增強。在DB2V9中IBM同樣推出了一系列的自動化特性,包括自動數據庫管理功能、自動統計數據收集等功能,但是這些特性相較Oracle而言是來之甚晚的,所以在2006年IBM主推的是XML這一重大改進。
然而一項新的技術能否得到用戶的認可還需要時間去檢驗。根據Oracle公司在2006年10月舉行的OpenWorld大會上公布的統計數據,自Oracle10g發布以來,僅有約一半的用戶升級到Oracle10g,其他用戶仍然維持在原來的版本運行;所以IBM的Viper能否最終得到用戶的認可取得成功,還有待檢驗。
2.搜索是數據庫的未來之路
隨著數據庫技術的不斷完善,用戶數據的不斷積累,用戶的需求也不斷提高,在此之上,更高級的應用應運而生,這包括已經成熟的數據倉庫應用、廣為接受的商業智能(BI)應用、以及方興未艾的SOA等。當數據庫能夠容納幾乎所有數據之后,我們必然面臨的一個問題是如何快速獲得我們需要的數據。當用戶訪問數據庫時,怎樣減少用戶的等待,快速返回用戶需要的數據是所有數據庫都需要解決的問題。這也就需要另外一項高級增強--面向搜索的增強,從某種意義上說面向需求的增強-數據分析和挖掘也正是這個方向上的高級應用之一。目前各數據庫在這一方面都不夠完善,我們相信在未來,數據庫能夠容納和存儲各種數據之后,必然向快速搜索和查詢方面進行增強。
開源數據庫有望走向應用主流
和Linux 操作系統漸入佳境一樣,開放源代碼的數據庫系統正走向應用的主流。目前主要的開源數據庫產品包括MySQL、MaxDB 和PostgreSQL。在MySQL5.0版本升級之后,MySQL 數據庫越來越象SQL Server 等大型數據庫,并逐漸從開源圈子向企業級市場拓展。憑借廉價優勢,MySQL 的市場正在擴大。除了開源數據庫廠商成為市場焦點外,甲骨文、Sun 和微軟老牌廠商也紛紛擁抱開源。開源數據庫軟件正在以其低成本得到越來越多用戶的認可,并迫使主流廠商推出免費版應對。費用低且性能佳的開源數據庫使得中小型企業使用數據庫成為可能,使中小型企業能以較低的成本來構建強大的各種數據庫應用。在引入數據庫后,又會在使用過程中不斷地發展新應用,從而推動企業的信息化,形成一個良性的發展過程。在這個過程中,開源數據庫恰好扮演了一個引入者和助力者的角色。未來,在中小企業用戶市場的拉動下,開源數據庫有望走向應用主流。
未來數據庫發展主要趨勢
進入21世紀,數據庫的發展將會偏重于應用,還會為新型應用提供多種結構數據的支持。數據庫技術發展的主要趨勢:
進入21世紀,數據庫的發展將會偏重于應用,還會為新型應用提供多種結構數據的支持。數據庫技術發展的主要趨勢:
1.XML/RDBMS混合數據將在未來得到快速的發展
2.數據集成和數據倉庫將向內容管理過渡
3.主數據管理將會在未來的一至兩年里成為一個新的熱點4.數據倉庫將在內容展現和戰術性分析方面發展
5.數據庫的管理除了更加自動化之外,將會提供更多基于Internet環境的管理工具,完成數據Internet化之后的數據庫管理Internet化6.PHP將成為撥動數據庫產品采用率的杠桿7.數據庫將與業務語義的數據內容融合未來隨著用戶對以上特性認知程度的提高,數據庫產品自帶的信息呈現特性將會成為眾多中小型項目的不二選擇。
-
數據庫
+關注
關注
7文章
3846瀏覽量
64685
發布評論請先 登錄
相關推薦
評論