序論：寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內(nèi)心深處的真相，好投稿為您帶來了一篇數(shù)據(jù)存儲技術(shù)論文范文，愿它們成為您寫作過程中的靈感催化劑，助力您的創(chuàng)作。

數(shù)據(jù)存儲技術(shù)論文:網(wǎng)絡數(shù)據(jù)存儲技術(shù)分析及應用研究

【摘要】 計算機科學技術(shù)的快速發(fā)展同時也帶動了網(wǎng)絡數(shù)據(jù)存儲技術(shù)的蓬勃發(fā)展，網(wǎng)絡數(shù)據(jù)存儲技術(shù)作為一種重要的數(shù)據(jù)存數(shù)技術(shù)，被廣泛的應用在多個領域。不斷發(fā)展和改進網(wǎng)絡數(shù)據(jù)存數(shù)技術(shù)，推動網(wǎng)絡數(shù)據(jù)存儲技術(shù)的快速發(fā)展。本文分析了傳統(tǒng)網(wǎng)絡數(shù)據(jù)存儲技術(shù)的分析和應用和現(xiàn)代化網(wǎng)絡數(shù)據(jù)存儲技術(shù)的分析和應用。

【關(guān)鍵詞】 網(wǎng)絡數(shù)據(jù)存儲技術(shù) 分析 應用

數(shù)據(jù)存數(shù)作為計算機系統(tǒng)中一個獨立的模塊，網(wǎng)絡數(shù)據(jù)存數(shù)技術(shù)的發(fā)展目標是高智能化、低成本化，通過深入分析和研究網(wǎng)絡數(shù)據(jù)存儲技術(shù)，不斷地進行改進和完善，使網(wǎng)絡數(shù)據(jù)存儲技術(shù)更加強大和安全，推動網(wǎng)絡數(shù)據(jù)技術(shù)的快速發(fā)展。

一、傳統(tǒng)網(wǎng)絡數(shù)據(jù)存儲技術(shù)的分析和應用

1、SAN。SAN是一種計算機存儲區(qū)域的數(shù)據(jù)存儲技術(shù)，將計算機網(wǎng)絡服務器和存儲設備聯(lián)系起來，服務器使用SAN接入網(wǎng)絡系統(tǒng)[1]。SAN存儲區(qū)域基于LAN層次一下，是一種高效的存儲網(wǎng)絡，利用SAN數(shù)據(jù)存儲技術(shù)，可以有效地緩解大容量數(shù)據(jù)傳輸對計算機網(wǎng)絡的影響，能夠優(yōu)化大容量數(shù)據(jù)的分配。但是這種技術(shù)在日常的應用中操作性較差，在維護和構(gòu)建SAN架構(gòu)時，技術(shù)人員必須具有豐富的操作經(jīng)驗和專業(yè)知識積累，再加上SAN技術(shù)的網(wǎng)絡互聯(lián)裝置價格昂貴，增加了這種技術(shù)的運行成本，使得SAN技術(shù)難以發(fā)展和普及。

2、DAS。DAS是一種和計算機網(wǎng)絡直接相連的數(shù)據(jù)存儲技術(shù)，它利用SCSI接口或光纖通道將網(wǎng)絡服務器和存儲設備直接相連，這種直接相連的數(shù)據(jù)存儲技術(shù)，系統(tǒng)的運行成本相對較小，被廣泛的應用在計算機網(wǎng)絡集群環(huán)境中，具有良好的擴展性。例如，計算機網(wǎng)絡中的服務器分布比較分散，利用普通的網(wǎng)絡數(shù)據(jù)存儲技術(shù)進行連接在技術(shù)上有很大的困難，這時可以利用DAS技術(shù)。但是這種技術(shù)最大的缺點是不具有共享性，需要計算機網(wǎng)絡系統(tǒng)中每一個客戶終端配置一個單獨的服務器，給網(wǎng)絡的管理存儲維護帶來了很大的難度，服務器一旦發(fā)生故障，存儲數(shù)據(jù)信息很難進行恢復，網(wǎng)絡數(shù)據(jù)存儲的容量空間難以進行拓展，在這種背景下，網(wǎng)絡數(shù)據(jù)存儲技術(shù)的普及受到了很大程度的限制。

3、NAS。NAS是一種計算機網(wǎng)絡系統(tǒng)中重要的數(shù)據(jù)存儲附加技術(shù)，計算機網(wǎng)絡數(shù)據(jù)存儲附加技術(shù)能夠直接將計算機磁盤序列和計算機網(wǎng)絡系統(tǒng)連接起來，NAS技術(shù)的服務器主要由計算機存儲硬件和計算機操作系統(tǒng)共同組成[2]，在應用過程中，具有很強的拓展性，并且SAN技術(shù)和計算機網(wǎng)絡互聯(lián)的設備價格相對較低，安裝操作簡單便捷，具有可靠、安全、高容、高效等特點，被廣泛的應用在法律環(huán)境、電子出版以及圖像教育等領域，這些領域都對于數(shù)據(jù)存儲容量有著很高的要求。與此同時，NAS技術(shù)的網(wǎng)絡協(xié)議開銷較大，在數(shù)據(jù)文件訪問過程中，NAS技術(shù)很難適應高訪問速度的網(wǎng)絡應用，例如計算機網(wǎng)絡數(shù)據(jù)庫的存儲應用，NAS會占據(jù)大量的帶寬，并且NAS難以兼容多種不同存儲設備，無法對設備進行統(tǒng)一的管理和控制，這樣就限制了NAS技術(shù)在某些領域的應用。

二、現(xiàn)代化網(wǎng)絡數(shù)據(jù)存儲技術(shù)的分析和應用

1、云存儲。云存儲技術(shù)是依托云計算應用技術(shù)發(fā)展而來的，云存儲技通過計算機網(wǎng)絡中的相關(guān)軟件將多種存數(shù)設備集合和聯(lián)系在一起，協(xié)調(diào)運行和工作，充分運用了網(wǎng)絡技術(shù)和集群應用等功能，實現(xiàn)了對外的數(shù)據(jù)存儲和業(yè)務訪問等功能。云存儲是電子信息時代的一種非常具有代表性的存儲技術(shù)，和其他的網(wǎng)絡存儲技術(shù)相比，不僅具有很大的價格優(yōu)勢，有效地降低了計算機網(wǎng)絡系統(tǒng)數(shù)據(jù)儲存的運行成本，還提高了計算機網(wǎng)絡數(shù)據(jù)存儲的拓展性和靈活性。

2、OBS。OBS是一種基于計算機應用對象的網(wǎng)絡數(shù)據(jù)存儲技術(shù)，其包含著存儲屬性可拓展的數(shù)據(jù)存儲容器和存儲長度可變的存儲模塊[3]，是一種重要的組織邏輯方式，能夠提供多種類似于文件的訪問方式，如文件的關(guān)閉、讀寫、打開等，OBS數(shù)據(jù)存儲技術(shù)融合了SAN和NAS技術(shù)的優(yōu)點，利用計算機網(wǎng)絡系統(tǒng)統(tǒng)一的對象接口，有效地提高了網(wǎng)絡數(shù)據(jù)存儲技術(shù)的拓展性，提高了計算機網(wǎng)絡系統(tǒng)的運行性能。OBS技術(shù)最主要的特點就是將計算機網(wǎng)絡系統(tǒng)中相關(guān)的物理數(shù)據(jù)存儲圖標放置在系統(tǒng)的存儲設備中，當前OBS技術(shù)是計算機網(wǎng)絡數(shù)據(jù)存儲領域關(guān)注的重點技術(shù)，其較強的拓展性和高性能，使得OBS技術(shù)廣泛的應用在計算機網(wǎng)絡數(shù)據(jù)存儲領域。

三、結(jié)束語

無論是傳統(tǒng)的網(wǎng)絡數(shù)據(jù)存儲技術(shù)還是現(xiàn)代化的網(wǎng)絡存儲技術(shù)，都需要不斷地改進和發(fā)展，不斷提高網(wǎng)絡數(shù)據(jù)存儲技術(shù)的可靠性、安全性和拓展性，推動網(wǎng)絡數(shù)據(jù)存儲技術(shù)的廣泛應用。

數(shù)據(jù)存儲技術(shù)論文:基于云技術(shù)的分布式實時是數(shù)據(jù)庫高性能數(shù)據(jù)存儲檢索機制探析

云技術(shù)是當前先進的技術(shù)，把實時數(shù)據(jù)存儲檢索技術(shù)以云技術(shù)結(jié)合起來創(chuàng)新實時數(shù)據(jù)庫高性能數(shù)據(jù)庫存儲檢索機制是今后未來發(fā)展的必然趨勢，加強對這一趨勢的研究有重要意義。本文將以云計算技術(shù)為基礎，通過分布式通訊服務平臺結(jié)合應用需求來重點研究數(shù)據(jù)存儲和數(shù)據(jù)檢索機制。

【關(guān)鍵詞】云計算 數(shù)據(jù)庫 存儲 檢索

隨著信息技術(shù)的快速發(fā)展，數(shù)據(jù)存儲和處理技術(shù)也隨之取得了快速發(fā)展。云計算技術(shù)也應運而生。與傳統(tǒng)的數(shù)據(jù)處理方式相比基于云計算的分布式高性能數(shù)據(jù)庫優(yōu)勢更加明顯。基于云計算分布式實時數(shù)據(jù)庫能夠?qū)崿F(xiàn)數(shù)據(jù)的永久存儲，同時它還能夠盡可能地在同一地點處理數(shù)據(jù)，這樣可以有效降低數(shù)據(jù)傳輸時間的消耗。

基于云技術(shù)的分布式實時數(shù)據(jù)庫能充分利用高性能廣域網(wǎng)絡。這種掛數(shù)據(jù)庫主要是通過數(shù)據(jù)流的形式來對存儲云中的數(shù)據(jù)來進行專業(yè)化地處理，通過這種方式定義的計算函數(shù)就能夠?qū)Υ鎯υ扑芾淼乃?shù)據(jù)進行有針對性處理。

1 云計算技術(shù)介紹

研究分布式數(shù)據(jù)庫高性能數(shù)據(jù)存儲檢索機制，首先就需要掌握云計算技術(shù)。了解云計算技術(shù)是研究的重要前提。近些年來云計算技術(shù)獲得了迅猛發(fā)展，依托于云計算技術(shù)本身的產(chǎn)品也獲得了較快發(fā)展。云計算技術(shù)主要是將效用計算、網(wǎng)絡存儲、網(wǎng)格計算以及負載均衡等領域進行綜合而形成的一種專業(yè)性技術(shù)。

通常情況下云計算技術(shù)本身包含海量數(shù)據(jù)的分布式存儲技術(shù)、分布式實時事務提交協(xié)議、網(wǎng)絡動態(tài)路由與負載均衡技術(shù)、事務實時調(diào)度機制等核心技術(shù)。這幾種技術(shù)對于分布式實時數(shù)據(jù)庫的構(gòu)建具有重要意義。

2 分布式實時數(shù)據(jù)庫的框架

分布式實時數(shù)據(jù)庫是云計算技術(shù)與實時數(shù)據(jù)庫技術(shù)深度融合的產(chǎn)物，該數(shù)據(jù)庫主要是通過計算機集群來進行構(gòu)建。該數(shù)據(jù)庫具有可擴展、系統(tǒng)性、可靠性、可維護性高等特點。負載均衡、事務調(diào)度、沖突處理、數(shù)據(jù)存儲等是其主要內(nèi)容。分布式實時數(shù)據(jù)庫主要是通過分布式通訊服務平臺的客戶端結(jié)構(gòu)接入到該平臺中的。某個節(jié)點在接入分布式應用服務之后就可以實現(xiàn)與同樣服務的其他節(jié)點的有效連接。

多臺數(shù)據(jù)服務器的數(shù)據(jù)存儲，檢索組件則是通過接入平臺結(jié)成一個統(tǒng)一的數(shù)據(jù)存儲以及數(shù)據(jù)檢索服務來向外提供服務的。這樣一種服務機制實際上打破了原來那種單臺實時數(shù)據(jù)處理服務器的孤島。對于數(shù)據(jù)的查俊則是用平臺接口把客戶端同服務平臺連接起來實現(xiàn)的。

3 分布式實時數(shù)據(jù)庫存儲機制

針對基于云計算分布式實時數(shù)據(jù)庫存儲機制的設計，重點是要在規(guī)模動態(tài)調(diào)整能力、數(shù)據(jù)一致性、分布式冗余存儲等方面來進行調(diào)整和設計。在實際設計過程中必須要能夠達到以下目的：一是適當增加服務器節(jié)點從而實現(xiàn)系統(tǒng)并發(fā)處理能力，最終提升數(shù)據(jù)存儲容量。二是系統(tǒng)數(shù)據(jù)存儲的實時性和高可用性得到增強。三是實現(xiàn)高效的數(shù)據(jù)備份冗余，從而來有效避免數(shù)據(jù)讀寫失敗情況的出現(xiàn)。有的條件下甚至是可以用一致性維護機制來保證備份數(shù)據(jù)的一致。四是服務器節(jié)點可崩潰，恢復以及在線加入。

存儲云結(jié)構(gòu)主要是由主管服務器、安全服務器、客戶端以及從屬節(jié)點等構(gòu)成。這些設備在系統(tǒng)中承擔的功能各有不同。主管服務器主要是維持系統(tǒng)內(nèi)的元數(shù)據(jù)，提供目錄服務、響應用戶請求、控制從屬節(jié)點運行等。從屬節(jié)點主要指的是那些存儲數(shù)據(jù)的文件，這些節(jié)點通常是基于存儲云客戶端的請求而需要處理數(shù)據(jù)的節(jié)點。從屬節(jié)點一般只接受主服務器的指令，客戶端、從屬節(jié)點的關(guān)系以及從屬節(jié)點之間的關(guān)系則主要是由主節(jié)點來進行協(xié)調(diào)。

存儲云結(jié)構(gòu)能夠?qū)崿F(xiàn)高速緩存數(shù)據(jù)連接，這樣就能夠有效改變同一隊節(jié)點間，數(shù)據(jù)傳輸需要多次連接的現(xiàn)狀。該系統(tǒng)的安全機制主要是通過存取控制列表來實現(xiàn)的。存儲云結(jié)構(gòu)中的數(shù)據(jù)需要由存取控制列表來進行控制，客戶端IP地質(zhì)也需要在服務器內(nèi)部。數(shù)據(jù)的組織和處理是按照以下方式來實現(xiàn)的：在存儲云結(jié)構(gòu)中每個數(shù)據(jù)文件一般都附有一個索引文件，數(shù)據(jù)文件和索引文件都存在與相同節(jié)點中。復制數(shù)據(jù)文件的同時，牽引文件也將會被復制。索引文件本身包含每個記錄的起始地址以及末端地址。那些沒有索引文件的數(shù)據(jù)文件則主要是通過文件為單位的方式來進行處理。此時就需要通過特定函數(shù)來解析以及提取數(shù)據(jù)。

數(shù)據(jù)服務器在加入分布式通訊服務平臺之后就會形成一個分布式系統(tǒng)整體，服務器節(jié)點加入之后就可以通過平臺來轉(zhuǎn)發(fā)數(shù)據(jù)并進行備份。在存儲云結(jié)構(gòu)中點歌服務節(jié)點只需要關(guān)注自身的數(shù)據(jù)接手法以及存儲。通過該結(jié)構(gòu)能夠?qū)崿F(xiàn)單個節(jié)點數(shù)據(jù)處理同復雜分布式架構(gòu)邏輯的分離。這對于最大程度利用實時數(shù)據(jù)庫存儲技術(shù)具有重要意義。

4 分布式實時數(shù)據(jù)庫檢索機制

高性能數(shù)據(jù)檢索具有明顯特點，它的查詢耗時和結(jié)果正確率是影響數(shù)據(jù)庫性能的重要指標。分布式實時數(shù)據(jù)庫檢索機制有以下幾個特點：一是數(shù)據(jù)最終的一致性。通常情況下數(shù)據(jù)在同步完成之前，數(shù)據(jù)備份之間往往存在不一致情況，此時系統(tǒng)通過一致性維護機制就可以實現(xiàn)數(shù)據(jù)的最終一致性。二是數(shù)據(jù)一致性修復。系統(tǒng)中數(shù)據(jù)一致性恢復主要是通過數(shù)據(jù)一致性對比、修復機制來實現(xiàn)備份數(shù)據(jù)間的一致性，從而最終達到分布式的最終一致性。三是查詢的一致性等級。所謂查詢的一致性等級主要指的是用戶指定查詢結(jié)果的一致性等級。對于那些一致性要求較高的一般四通過數(shù)據(jù)點的主備份節(jié)點來進行查詢處理，對于那些一致性要求不高的請求則是要盡可能降低數(shù)據(jù)檢索耗時。

分布式數(shù)據(jù)查詢，按照查詢位置不同可以分為當前節(jié)點數(shù)據(jù)查詢和備份節(jié)點數(shù)據(jù)查詢兩種情況。針對備份節(jié)點的數(shù)據(jù)查詢主要是通過當前節(jié)點數(shù)據(jù)查詢來實現(xiàn)的。本地節(jié)點數(shù)據(jù)查詢本身又可以分為實時數(shù)據(jù)查詢和歷史數(shù)據(jù)查詢兩種方式。歷史數(shù)據(jù)的查詢則可分為存檔緩存查詢和磁盤數(shù)據(jù)查詢。

云計算技術(shù)是當前一種先進的信息技術(shù)，這種技術(shù)在分布式實時數(shù)據(jù)庫中的應用是時展的必然要求。在今后應該不斷加強云計算技術(shù)的研究。本文首先分析了云計算技術(shù)，而后分析了分布式實時數(shù)據(jù)庫的總框架，之后重點分析了存儲結(jié)構(gòu)和檢索機制。基于云技術(shù)的分布式實時數(shù)據(jù)庫中數(shù)據(jù)存儲和檢索是其中的重要功能。加強這兩方面的研究有重要意義。

數(shù)據(jù)存儲技術(shù)論文:XML技術(shù)上的數(shù)據(jù)存儲技術(shù)分析

【摘要】 XML的良好的可擴展性和能夠進行自我描述的特性使得它的應用范圍越來越廣泛，本文將對基于XML技術(shù)的數(shù)據(jù)存儲技術(shù)進行總結(jié)與歸納，整理出不同數(shù)據(jù)存儲技術(shù)的技術(shù)特征與要點。

【關(guān)鍵詞】XML數(shù)據(jù)存儲

Web應用的發(fā)展帶動了XML技術(shù)的發(fā)展，XML已經(jīng)成為了網(wǎng)絡上的數(shù)據(jù)交換標準中的一種。XML技術(shù)的發(fā)展與其優(yōu)秀的數(shù)據(jù)表達能力有關(guān)，它可以用來表達各種不同類型的數(shù)據(jù)，有鑒于此，XML數(shù)據(jù)存儲技術(shù)對發(fā)揮XML數(shù)據(jù)表達特性非常重要。目前常見的XML的數(shù)據(jù)存儲方式主要有三種，分別是文本文件方式、關(guān)系數(shù)據(jù)庫方式以及面向?qū)ο髷?shù)據(jù)庫方式，本文將分析這三種存儲技術(shù)的特點。

一、 文本文件方式

XML文檔本質(zhì)就是文本文件，所以以文本文件方式進行數(shù)據(jù)存儲是最為常見的XML存儲數(shù)據(jù)方式，這種方式存儲的數(shù)據(jù)可以直接使用文本編輯工具查看，非常易于參看與修改。使用文本文件方式存儲數(shù)據(jù)并不意味著只能存儲文本，此種方式同樣可以存儲二進制數(shù)據(jù)，也就是能夠存儲任意數(shù)據(jù)，只是數(shù)據(jù)不能以一種直觀的展現(xiàn)方式呈現(xiàn)，需要其他的工具支持。

XML文檔一般是通過DOM或者是SAX等接口進行存取，應用這些接口可以很方便的管理XML中存儲的數(shù)據(jù)。實現(xiàn)XML文檔操作接口的商業(yè)產(chǎn)品有許多種，也可以自行實現(xiàn)接口，針對性的提升XML數(shù)據(jù)存取性能。

應用文本文件方式進行數(shù)據(jù)存儲的優(yōu)點：

* 方便查看與修改，對于一些輕量級XML文檔，可以直接使用各類文檔編輯工具進行編輯。

* 操作簡單，可使用相關(guān)接口方便的對數(shù)據(jù)進行存取，不需要對原始數(shù)據(jù)進行處理。

由于XML存儲數(shù)據(jù)的結(jié)構(gòu)是半結(jié)構(gòu)化式，所以以文本文件方式存取數(shù)據(jù)存在著一定的局限性，對于結(jié)構(gòu)復雜的數(shù)據(jù)難以清晰、準確的操作。

二、 關(guān)系型數(shù)據(jù)庫方式

XML文件存儲的數(shù)據(jù)是半結(jié)構(gòu)化式的，在實際工程中，所用到的數(shù)據(jù)往往需要關(guān)系型數(shù)據(jù)庫的支持，為了達到將XML文件中存儲的數(shù)據(jù)作為關(guān)系型數(shù)據(jù)庫使用的目的，通常在XML文件和關(guān)系型數(shù)據(jù)庫中添加一個映射層，它將承擔對XML文件數(shù)據(jù)的存取任務，同時也承擔為數(shù)據(jù)庫提供數(shù)據(jù)以及映射數(shù)據(jù)庫數(shù)據(jù)到XML文檔中的任務。

映射層的工作流程可以分為以下四個步驟：

1） 提取XML文檔中的數(shù)據(jù)，按照映射規(guī)則組織數(shù)據(jù)，生成可以供關(guān)系型數(shù)據(jù)庫使用的模式。

2） 依據(jù)填充規(guī)則將數(shù)據(jù)向關(guān)系型數(shù)據(jù)庫中的表中填充。

3） 將XML查詢方式轉(zhuǎn)換為數(shù)據(jù)庫使用的SQL查詢方式。

4） 將關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)重新轉(zhuǎn)化，寫入XML文檔。

這種數(shù)據(jù)存儲技術(shù)最為關(guān)鍵的部分是映射層，映射層的工作中最為重要的部分是將XML文件這種文檔結(jié)構(gòu)映射為關(guān)系模式的任務，映射策略的優(yōu)劣對整體性能有著至關(guān)重要的影響，按照映射策略的不同，可以分為模型映射與結(jié)構(gòu)映射。模型映射的策略是建立數(shù)據(jù)模型，根據(jù)模型的特征先行定義出一個關(guān)系型數(shù)據(jù)庫模式，無需模式文件的幫助。而結(jié)構(gòu)映射是依靠如Schema等模式文件的幫助，完成到關(guān)系模式的轉(zhuǎn)換，整個過程中無需定義關(guān)系模式。

三、 面向?qū)ο髷?shù)據(jù)庫方式

除以上兩種較為常見的方式外，還有面向?qū)ο髷?shù)據(jù)庫的存儲方式。與關(guān)系數(shù)據(jù)庫相反，這種方式中將數(shù)據(jù)庫作為底層存儲者，將XML文檔作為一個對象、作為數(shù)據(jù)的載體，存儲在數(shù)據(jù)庫中。

在XML文檔與數(shù)據(jù)庫映射過程中，一般情況下需要Schema或者是DTD的輔助，XML文檔中的元素對應數(shù)據(jù)庫中的類、元素屬性值對應列，元素與元素之間的關(guān)系對應數(shù)據(jù)庫中類于類的關(guān)系。

在將XML文檔映射進面向?qū)ο髷?shù)據(jù)庫中時，具體步驟如下：

1） 依據(jù)XML文檔創(chuàng)建DOM樹，按照先樹根后樹葉的方式進行遍歷搜索。

2） 對搜索到的元素進行校驗，提取元素信息。

3） 將得到的元素填入面向?qū)ο髷?shù)據(jù)庫中對應的對象的相應域中。

當從數(shù)據(jù)庫中提出數(shù)據(jù)，重新映射為XML文檔時，具體步驟如下：

1） 提取數(shù)據(jù)庫中的對象，并生成XML文檔中的對應元素。

2） 將對象的數(shù)據(jù)域映射為元素的屬性值，寫入XML文檔中。

3） 遍歷對象里的子對象域，重復進行步驟1和2。

4） 將所有的對象轉(zhuǎn)換完成后，封閉根元素，結(jié)束映射。

這種存儲方法可以方便的建立起XML文檔中所攜數(shù)據(jù)的對象模式，通過面向?qū)ο髷?shù)據(jù)庫對數(shù)據(jù)進行結(jié)構(gòu)化操作，有著較出色的存儲效率。

四、 結(jié)束語

正是因為XML的應用范圍廣泛，不同的應用方向?qū)?shù)據(jù)的存儲要求不同，所以XML有多種數(shù)據(jù)存儲技術(shù)，文中提到的數(shù)據(jù)存儲方式是較為常見的幾種，每種都有自己的特性，究竟使用何種存儲手段取決于具體的使用需求。

數(shù)據(jù)存儲技術(shù)論文:Web多媒體數(shù)據(jù)存儲技術(shù)應用研究

摘要：討論了Web多媒體數(shù)據(jù)的存儲方式，重點研究了圖片文件在SQL Server 2005中的存儲方法，并實現(xiàn)了利用對二進制數(shù)據(jù)文件的讀取及顯示方法，最后討論了其他多媒體文件存儲方式所需要考慮的多方面問題，為Web應用中多媒體數(shù)據(jù)存儲提供了參考。

關(guān)鍵詞：數(shù)據(jù)庫；多媒體數(shù)據(jù)存儲；SQL Server 2005；web應用

早期因特網(wǎng)瀏覽器僅支持文本，甚至被限制為單一顏色的單一字體。隨著Internet的快速發(fā)展以及網(wǎng)絡傳輸率的提高，人們對Web上的媒體需求越來越多，文本、書籍、圖片、音頻、視頻等各種各樣的多媒體資源目前在瀏覽器中已經(jīng)得到了很好的支持。

在Web應用程序開發(fā)和使用過程中，有相當多的場合需要使用多媒體內(nèi)容表達程序，因此對多媒體的數(shù)據(jù)進行存儲就顯得非常重要了。例如在人事管理系統(tǒng)中，需要存儲員工照片、掃描并存儲員工學歷證書獲獎證書并能夠通過應用程序顯示。又如在教學資源管理系統(tǒng)中，需要存儲文字資源、圖片資源、課件資源、音頻資源及視頻資源以供查閱。再如在多媒體論壇上，需要由用戶上傳多種多媒體資源，包括圖片、聲音、視頻等。

在web應用程序中引用的多媒體資源存儲方式一般有兩種方式，一種是存儲文件到指定路徑下，將文件與應用程序的相對路徑以及文件名存儲到數(shù)據(jù)庫中，數(shù)據(jù)庫中存儲的內(nèi)容相對較少。這種存儲方式的特點是數(shù)據(jù)讀取比較容易，但是對數(shù)據(jù)管理不方便，多媒體的信息完全暴露在機器設備之上，信息容易被刪除、修改或者替換，數(shù)據(jù)的安全性和可靠性得不到保證，這種方式不利于保存重要的媒體信息。另外一種就是把多媒體信息直接保存在數(shù)據(jù)庫中，保證了數(shù)據(jù)的一致性和安全性，這也是目前多媒體數(shù)據(jù)庫的發(fā)展趨勢，但這種方式的數(shù)據(jù)讀取比較麻煩，因為一般多媒體數(shù)據(jù)都是以二進制的數(shù)據(jù)存儲方式存儲在數(shù)據(jù)庫中，需要通過第三方的工具來完成數(shù)據(jù)的存儲和讀取。該文主要研究以多媒體數(shù)據(jù)庫實現(xiàn)圖片的二進制存儲和讀取方法，并比較其他類型多媒體文件存儲方式的應用。

1 SQL Server 2005數(shù)據(jù)表的建立

1.1數(shù)據(jù)類型選擇

圖片數(shù)據(jù)要存儲在數(shù)據(jù)庫中實際上就是用二進制數(shù)據(jù)的形式將圖片數(shù)據(jù)存儲在數(shù)據(jù)庫中，需要使用的時候利用二進制讀取方式讀取文件。在SQL Server 2000中，有Image、Binary和varbinary三種數(shù)據(jù)類型可以用來存儲二進制文件。在SQL Server 2005中，有Image、Binary、VarBinary（n）和VarBianry（max）這幾種數(shù)據(jù)類型都能夠用來存儲二進制數(shù)據(jù)。初學者一般都會選擇Image這個數(shù)據(jù)類型來進行圖片存儲，這是由于該數(shù)據(jù)類型名稱的誤解，Image數(shù)據(jù)類型的文件大小可變，最大可存儲2GB的文件，若系統(tǒng)需要高精度的圖片存儲，對于該數(shù)據(jù)類型無法存儲大容量的圖片數(shù)據(jù)。雖然該圖像數(shù)據(jù)類型也包含在SQL Server 2000、SQL Server 2005和SQL Server 2008之中，但微軟稱，目前還保留Image圖像數(shù)據(jù)類型是未來向下兼容的需要，但在將來某個時候可能就會將其舍棄，因此對于圖片存儲Image數(shù)據(jù)類型建議盡量少用。Binary數(shù)據(jù)類型要求固定的數(shù)據(jù)長度，最大長度可達8000字節(jié)，對于系統(tǒng)中要存儲不同圖片來說是不理想的。VarBinary（n）數(shù)據(jù)類型其文件大小可變，最大長度可達8000字節(jié)，對于文件較小的圖片來說可以使用。而VarBianry（max）數(shù)據(jù)類型其文件大小可變，不限文件大小的上限，對于系統(tǒng)中有大容量的圖片來說該數(shù)據(jù)類型是非常合適的。

2 存儲圖片到SQL Server2005的實現(xiàn)

2.1二進制數(shù)據(jù)的插入

2.3.2 建立上傳數(shù)據(jù)后臺頁面

1）主要實現(xiàn)方法分析

上傳數(shù)據(jù)頁面的主要功能是先啟用數(shù)據(jù)緩沖區(qū)，獲取圖像文件的路徑和文件名，若文件大小不為空數(shù)據(jù)，建立文件流對象，然后用二進制讀取方式將圖片文件讀取到緩沖區(qū)中，最后連接數(shù)據(jù)源生成記錄集，建立參數(shù)插入新紀錄。

3 讀取圖片并在web中顯示

顯示存儲在數(shù)據(jù)庫中的圖片文件首先需要把數(shù)據(jù)庫中的二進制數(shù)據(jù)轉(zhuǎn)換為計算機內(nèi)存中的二進制流，然后再把內(nèi)存流的數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù)，最后把圖片放到頁面中顯示。

3.1讀取圖片數(shù)據(jù)流程

從數(shù)據(jù)庫讀取圖片數(shù)據(jù)的流程如下：

4 其他多媒體文件存儲方式分析

在考慮存儲各類多媒體文件方式的時候，我們需要從多個方面考慮，來選擇合適的存儲方式。

1）性能方面要求：二進制對象對性能要求并不高，如果多媒體文件對性能要求較高，特別是視頻流之類，那么將多媒體文件保留在文件系統(tǒng)中會比二進制文件存儲會獲得更高的性能。

2）數(shù)據(jù)大小要求：如果需要經(jīng)常檢索二進制對象，文件大小又非常大，比如大型的視頻文件，那么利用文件系統(tǒng)來檢索和讀取的效率比從SQL Server顯示和讀取的效率更高。

3）安全性要求：二進制對象是存儲在SQL Server中的，可以通過常規(guī)的數(shù)據(jù)庫訪問方式來管理其安全性。但如果文件存儲在文件系統(tǒng)中，那么其安全性就相對要低，需要考慮用其他的代替方式來進行保證其安全性，例如增加安全性軟件，安全性管理機制等。

4）客戶訪問方式：客戶對數(shù)據(jù)庫的訪問方式也會直接決定多媒體文件的存儲形式，若數(shù)據(jù)庫采用ODBC方式連接，那么對于大型的視頻流存儲可能會出現(xiàn)連接超時或連接失敗的情況。因此ODBC的連接方式下建議采用文件系統(tǒng)來進行存儲，以免對web應用產(chǎn)生影響。

5）碎片處理：如果需要經(jīng)常對二進制文件對象進行修改操作，又或者文件非常巨大，文件系統(tǒng)處理碎片的能力高于SQL Server，這種情況下利用文件系統(tǒng)存儲會比較優(yōu)越。

6）事務控制：如果web系統(tǒng)需要進行事務控制，那么利用SQL Server內(nèi)置事務解決方案能更好的處理事務控制，比文件系統(tǒng)要更好的得到事務的控制及各類事務處理機制。

在分析多媒體數(shù)據(jù)存儲方式的時候，不能夠單一的只考慮某一方面的問題，應該從多個方面來進行綜合性考慮，特別是大文件視頻流或音頻流文件，處理起來比圖片要更復雜，要考慮的問題更多，應該根據(jù)實際應用的需要進行選擇。

5 結(jié)束語

本文通過對Web下多媒體數(shù)據(jù)存儲技術(shù)進行研究，分析了多媒體數(shù)據(jù)存儲的兩種情況，重點討論了BLOB文件存儲方式存儲圖片的方法，并實現(xiàn)了在SQL Server 2005中建立數(shù)據(jù)庫存儲圖像的過程，利用查詢T-SQL查詢數(shù)據(jù)的方法，并介紹利用實現(xiàn)圖片存儲、讀取并在web中顯示，實現(xiàn)了在web中圖片存儲的主要技術(shù)。最后討論了其他多媒體文件存儲時要考慮的問題，包括性能、數(shù)據(jù)大小、安全性要求、訪問方式等多方面的建議，從而對其他web系統(tǒng)中各類多媒體數(shù)據(jù)的存儲提供有效的參考。

數(shù)據(jù)存儲技術(shù)論文:數(shù)據(jù)存儲安全隱患及其防范技術(shù)

摘 要：隨著計算機網(wǎng)絡技術(shù)在人們的日常生活中的廣泛應用，計算機數(shù)據(jù)存儲安全技術(shù)已經(jīng)引起了國內(nèi)外學者的廣泛關(guān)注。本文通過相關(guān)參考文獻的閱讀分析，對計算機數(shù)據(jù)存儲安全技術(shù)進行了比較深入的研究，有助于人們對數(shù)據(jù)存儲安全的認識，對于計算機網(wǎng)絡數(shù)據(jù)的維護具有一定的指導作用。

關(guān)鍵詞：數(shù)據(jù)存儲；計算機；安全廣泛

隨著計算機網(wǎng)路信息技術(shù)的不斷發(fā)展，為了便于實現(xiàn)人與企業(yè)之間的信息交流，網(wǎng)絡之技術(shù)已經(jīng)深入到企業(yè)發(fā)展的過程之中，所以網(wǎng)絡安全問題已經(jīng)成為信息安全領域的關(guān)鍵問題。本文通過相關(guān)參考文獻的閱讀分析，對計算機數(shù)據(jù)存儲安全技術(shù)進行了比較深入的研究，有助于人們對數(shù)據(jù)存儲安全的認識，對于計算機網(wǎng)絡數(shù)據(jù)的維護具有一定的指導作用。

1 影響計算機數(shù)據(jù)存儲安全的軟件與硬件因素

1.1 硬件因素分析。影響計算機數(shù)據(jù)存儲的物理因素主要包括以下幾個方面：（1）自然因素，隨著現(xiàn)代信息技術(shù)的不斷發(fā)展，計算機網(wǎng)絡已經(jīng)成為人們?nèi)粘Ｉ畈豢扇鄙俚囊徊糠帧τ谟嬎銠C而言硬盤中存儲著很多人們?nèi)粘Ｉ钏枰臄?shù)據(jù)信息。在計算機網(wǎng)絡運營的過程中，會因為可能的各種自然災害導致了數(shù)據(jù)傳輸線路的中斷，將會造成各種數(shù)據(jù)的丟失。（2）網(wǎng)絡硬件方面，隨著計算機網(wǎng)絡硬件技術(shù)的不斷更新?lián)Q代，，但是數(shù)據(jù)的增長量卻會呈現(xiàn)出爆發(fā)性的增長，結(jié)果導致了目前的數(shù)據(jù)存儲硬件無法滿足實際的存儲需要。所以要對存儲數(shù)據(jù)的硬件技術(shù)進行優(yōu)化升級，能夠滿足對數(shù)據(jù)存儲的需求。在過去的網(wǎng)路傳輸中由于設備的老化，導致了數(shù)據(jù)傳輸?shù)乃俣容^慢，網(wǎng)絡數(shù)據(jù)傳輸?shù)难舆t時間較長，導致了數(shù)據(jù)傳輸?shù)谋罎ⅲ斐闪藬?shù)據(jù)的丟失。（3）數(shù)據(jù)的操作失誤，數(shù)據(jù)管理人員無論在進行怎樣的軟件操作時，都有可能會出現(xiàn)數(shù)據(jù)管理操作失誤的情況，有一些不良的操作會導致數(shù)據(jù)系統(tǒng)的安全性受到很大的沖擊。

1.2 影響計算機數(shù)據(jù)安全的軟件因素。影響計算機數(shù)據(jù)安全技術(shù)的軟件技術(shù)主要有以下三個方面：（1）電磁波的輻射，在計算機存儲的各種數(shù)據(jù)在一定程度上會被電磁波帶出，非法分子通過使用一些無線數(shù)據(jù)接收器，就能獲得相應的數(shù)據(jù)信息；（2）網(wǎng)絡安全因素：計算機網(wǎng)路使得各個電腦硬盤內(nèi)存儲的數(shù)據(jù)實現(xiàn)了共享，在用戶與主機之間以及用戶和用戶之間將會出現(xiàn)大量的漏洞，使得計算機存儲的數(shù)據(jù)遭到了黑客的攻擊；（3）現(xiàn)代計算機網(wǎng)路在運營的過程中雖然有防火墻的作用，但是防火墻目前由于存在狠毒偶的漏洞遭到了很多計算機病毒的入侵。這些病毒程序是可以通過網(wǎng)上下載以及電子郵件和盜版光盤的形式潛入計算機網(wǎng)絡。

2 計算機數(shù)據(jù)存儲安全防范技術(shù)

2.1 數(shù)據(jù)存儲安全的物理防范措施。目前比較常用的物理防范措施主要體現(xiàn)在以下幾個方面：（1）數(shù)據(jù)備份，原始數(shù)據(jù)一旦丟失以后，那么應該按照原始的副本進行原始數(shù)據(jù)的維護。當前比較經(jīng)常使用的數(shù)據(jù)本分技術(shù)有快照技術(shù)、數(shù)據(jù)鏡像技術(shù)、Raid技術(shù)以及云共享技術(shù)。一旦遇到自然災害或者是人為的破壞數(shù)據(jù)，可以通過上述方法實現(xiàn)數(shù)據(jù)的恢復。（2）數(shù)據(jù)安全刪除技術(shù)，隨著最近幾年數(shù)據(jù)恢復技術(shù)的不斷發(fā)展，在計算機上通過操作系統(tǒng)對文件進行刪除已經(jīng)變的不再可靠，如何實現(xiàn)有效的對信息進行清除對計算機的數(shù)據(jù)安全威脅，去除計算機上有用的信息，正在成為當今信息安全領域的新的研究熱點。所謂的數(shù)據(jù)安全刪除就是指對刪除數(shù)據(jù)的恢復過程進行破壞，使得比較重要的數(shù)據(jù)一旦刪除以后，就無法進行恢復。尤其是對于企業(yè)的發(fā)展而言，一些比較敏感數(shù)據(jù)的刪除是十分必要的。眾所周知高級格式化無法對數(shù)據(jù)內(nèi)的數(shù)據(jù)信息進行覆蓋處理，因此也不能叫做安全處理。

2.2 軟件安全對策分析。計算機操作系統(tǒng)安全識別的策略主要體現(xiàn)在以下幾個方面。首先盡量使用安全性比較高的網(wǎng)絡操作系統(tǒng)，關(guān)閉一些不經(jīng)常使用以及存在安全隱患的應用程序。對于一些有用的信息進行加密處理，在文檔的打開以及讀寫設施方面應該有口令登錄設置。在網(wǎng)絡應用系統(tǒng)的安全設置方面應該盡量不要開放陌生的網(wǎng)絡端口。在上網(wǎng)建設方面，加強身份登錄口令的認證，確保用戶上網(wǎng)的合法性。充分維護系統(tǒng)上網(wǎng)的日志功能，對用戶的網(wǎng)絡信息訪問進行信息記錄，為日后的審查作為依據(jù)。

2.3 數(shù)據(jù)傳輸安全策略分析。數(shù)據(jù)的傳輸安全因素通常包括兩個方面，數(shù)據(jù)的發(fā)出端A，數(shù)據(jù)的接收端B，數(shù)據(jù)的傳輸通道。在數(shù)據(jù)傳輸?shù)倪^程中通常會有兩種情況導致傳輸數(shù)據(jù)的丟失。一種是非法用戶對數(shù)據(jù)的發(fā)送端和接收端進行更改，獲得需要的數(shù)據(jù)；另外一種就是非法用戶在數(shù)據(jù)傳輸?shù)缆飞线M行數(shù)據(jù)的截取。

針對網(wǎng)絡數(shù)據(jù)傳輸中的安全問題，可以采用以下兩個方面的安全策略，首先使用數(shù)據(jù)加密技術(shù)對數(shù)據(jù)進行加密，為數(shù)據(jù)的傳輸提供一個安全的通道；其次利用公共密鑰和數(shù)據(jù)證書對用戶段和服務器進行身份驗證。現(xiàn)在比較常用的數(shù)據(jù)加密技術(shù)主要有對稱密鑰加密、非對稱密鑰加密以及hash加密三種。網(wǎng)路數(shù)據(jù)的存儲的實現(xiàn)過程主要是通過服務器中的數(shù)據(jù)備份來實現(xiàn)的。為了結(jié)局數(shù)據(jù)安全的可靠性問題，可以將風險分散到兩個服務器上，從而保證整個網(wǎng)絡數(shù)據(jù)系統(tǒng)的安全性。

3 計算機數(shù)據(jù)存儲技術(shù)安全防范技術(shù)發(fā)展趨勢

3.1 未來數(shù)據(jù)的存儲介質(zhì)發(fā)展的趨勢。隨著數(shù)據(jù)存儲技術(shù)的不斷發(fā)展，人類已經(jīng)進入了大數(shù)據(jù)時代。谷歌公司每天要處理數(shù)據(jù)的量達到了20000TB。為了保證這些信息的安全性，分別存儲在4800個硬板之中。目前很多科學家開始研究新的存儲介質(zhì)。2007年日本科學家發(fā)現(xiàn)了細菌DNA存儲技術(shù)，存儲的數(shù)據(jù)時間可以達到上千年。這種存儲介質(zhì)的主要優(yōu)點為存儲密度比較大，一個DN段里含有無數(shù)個堿基對；其次是DNA存儲數(shù)據(jù)的體積比較小，一個堿基序列只有原子的大小。研究發(fā)現(xiàn)，1克DNA能夠存儲的數(shù)據(jù)達到700TB，DNA存儲介質(zhì)的體積只有一滴水珠的大小。

3.2 未來計算機數(shù)據(jù)存儲的安全技術(shù)。在目前的學術(shù)界數(shù)據(jù)的安全存儲技術(shù)已經(jīng)引起了廣大學者的注意。具體的研究方向主要分文數(shù)據(jù)的機密性、完整性以及可用性三個方面進行展開。比如可以通過在客戶端安裝數(shù)據(jù)加密技術(shù)使得客戶有一定的訪問權(quán)限來直接提取客戶端的數(shù)據(jù)。另外虛擬專用網(wǎng)絡技術(shù)也是目前比較常用的數(shù)據(jù)安全技術(shù)。這種技術(shù)的特點就是把數(shù)據(jù)傳輸?shù)耐ǖ肋M行加密，然后將這種數(shù)據(jù)通道從公共網(wǎng)絡中分離出來，從而使得數(shù)據(jù)信息能夠得到有效的保護。也就是路由器數(shù)據(jù)過濾技術(shù)和隧道技術(shù)，路由器數(shù)據(jù)過濾技術(shù)就是將流出的IP數(shù)據(jù)包使用路由器進行動態(tài)監(jiān)控。

4 結(jié)束語

本文從實際應用的角度闡述了計算機數(shù)據(jù)存儲安全隱患及其防范及技術(shù)。首先結(jié)合相關(guān)參考文獻，分析了影響計算機數(shù)據(jù)存儲的物理硬件因素與邏輯軟件因素；其次從數(shù)據(jù)物理存儲安全、軟件防范以及數(shù)據(jù)傳輸三個角度對數(shù)據(jù)存儲安全技術(shù)進行了深入的分析，最后探討了未來計算機數(shù)據(jù)存儲介質(zhì)和安全防范技術(shù)的發(fā)展方向。因此只有采取多種技術(shù)手段，從系統(tǒng)的角度進行分析，才能從根本上維護計算機數(shù)據(jù)安全與網(wǎng)絡穩(wěn)定。

數(shù)據(jù)存儲技術(shù)論文:基于云計算環(huán)境下的數(shù)據(jù)存儲技術(shù)分析

摘 要 隨著我國經(jīng)濟的快速發(fā)展，信息技術(shù)也取得了重大突破。在網(wǎng)絡時代里，人們越來越關(guān)注科技的進步，以及科技發(fā)展帶來的更加便捷的應用。云計算自提出以來，得到了業(yè)內(nèi)眾多學者的深入研究，作為未來計算機技術(shù)發(fā)展的一個重要方向，云計算有著獨特的優(yōu)勢與潛力。做好云計算環(huán)境下的數(shù)據(jù)存儲關(guān)系到云計算技術(shù)更好的應用。文章首先對云計算及云存儲進行簡要闡述，其次就如何在云計算環(huán)境下構(gòu)建數(shù)據(jù)存儲體系進行探討，最后分析了數(shù)據(jù)安全性。

關(guān)鍵詞 云計算；數(shù)據(jù)存儲；分析；計算機

近年來，云計算越來越多的出現(xiàn)在大家的視野里，人們給予了云計算極大的關(guān)注。云計算會代替?zhèn)鹘y(tǒng)的計算機算法，這一理論也被認為是未來發(fā)展的必然趨勢。在傳統(tǒng)的模式下，工作人員為了使信息進行交互，一般都會在本地進行數(shù)據(jù)的存儲和處理。為了更好的保證數(shù)據(jù)調(diào)取的穩(wěn)定性，企業(yè)需要購買各種硬件、軟件基礎設施，而且還需要對這些設施進行維護。但是由于存儲和處理的數(shù)據(jù)量在不斷的加大，所需要的存儲空間就越來越大，這樣就會大大提高企業(yè)的成本。但是這些并不是企業(yè)需要直接面對的，為了完成他們需要完成的業(yè)務，卻不得不為此投入大量的成本。

隨著計算機技術(shù)，信息處理技術(shù)不斷的發(fā)展，人們可以不用把大量的數(shù)據(jù)技術(shù)放在自己的計算機上，可以放在別人的計算機上或者是遠程的服務器上，因此企業(yè)就不需要投入大量的資金購買存儲設備，完全可以通過互聯(lián)網(wǎng)根據(jù)自己的需求找到存儲在遠程設備上的數(shù)據(jù)，于是云計算初步模型就出現(xiàn)了。

1 云計算與云儲存

1）云計算。在互聯(lián)網(wǎng)的技術(shù)條件下提供了云計算的一種技術(shù)形式，云計算可以提供動態(tài)變化的能夠伸縮的并且以虛擬為特點的計算模式。“云”就是一種比喻，是一個抽象的概念，實際上是計算機和互聯(lián)網(wǎng)在起作用。

通過云計算把大量的數(shù)據(jù)都放在計算機上，這個計算機不是指本地的計算機，而是遠程的服務器，企業(yè)可以根據(jù)自己的實際需求，對計算機的存儲系統(tǒng)進行訪問，企業(yè)可以把大量的信息資源都轉(zhuǎn)換到客觀應用上去。也就是說，計算機只是成為了一個簡單的終端，不需要進行任何的計算或者是存儲，直接把主機功能交給云端。

2）云存儲。在云概念的基礎上延伸出了一個新的概念那就是云存儲，云存儲與云概念十分相似，它以分布式文件系統(tǒng)以及網(wǎng)格技術(shù)作為基礎，以集群應用，借助應用軟件把計算機中的各種存儲設備進行有效的集中，讓彼此能夠協(xié)同合作。它的功能就是對外提供相關(guān)的數(shù)據(jù)存儲以及業(yè)務訪問。本質(zhì)上說來，對于當前存儲模式的創(chuàng)新就是云存儲。云存儲也是特殊的構(gòu)架服務，具體來說，一些廣域網(wǎng)或者是互聯(lián)網(wǎng)對于應用者來說具有透明性。相關(guān)的應用程序軟件是云存儲的關(guān)鍵之處，在存儲設備之間進行有機的結(jié)合，通過這些有效的軟件使設備與設備之間進行服務的轉(zhuǎn)變。

2 構(gòu)建在云環(huán)境下的數(shù)據(jù)存儲體系

在實際操作的過程中，數(shù)據(jù)存儲體系包括數(shù)據(jù)中心和云服務接口以及服務協(xié)議等，數(shù)據(jù)中心是在云環(huán)境下實現(xiàn)數(shù)據(jù)存儲的基礎，由存儲管理、分布式文件體系和存儲備份組成。云存儲設備既可以是在企業(yè)的發(fā)展過程中所專門應用的存儲設備，也可是PC，這個系統(tǒng)的設計依據(jù)的基礎是客戶機和服務器模式。經(jīng)過檢驗這些確實可以完成大量數(shù)據(jù)的存儲工作，并且效果也非常理想。

1）服務器的結(jié)構(gòu)。云計算的組成部分中最重要的是存儲服務器架構(gòu)。在云存儲體系構(gòu)建之前，應該首先構(gòu)建云存儲服務器架構(gòu)，這個可以根據(jù)架構(gòu)技術(shù)來實現(xiàn)，這些架構(gòu)技術(shù)是多樣化的。在NAS這個文件存儲系統(tǒng)中，每一個節(jié)點都是一個相互獨立的個體，文件是這個系統(tǒng)中最小的單位。在集群中，如果文件可以完整的保留，那么其數(shù)據(jù)信息也會有效的保存在集群的特定的點上，文件雖然比較多，但是會被重新定義到一些另外的節(jié)點上，這樣信息就顯得太過繁雜了。在實踐的過程中，人們可以發(fā)現(xiàn)，SNA作為存儲系統(tǒng)的一塊兒，如果有某一個文件發(fā)出請求，每一個節(jié)點都會對該文件的不同數(shù)據(jù)塊進行訪問，它能夠有效的對用戶的某一種需求進行及時的處理。這種存儲結(jié)構(gòu)比較適合在云服務器當中使用，它可以在一定的范圍內(nèi)進行擴展，而且傳輸?shù)男室脖容^高。

2）服務器之間的數(shù)據(jù)傳遞。在當前的存儲系統(tǒng)的環(huán)境下，一些存儲系統(tǒng)可以進行數(shù)據(jù)之間的傳送協(xié)議，異構(gòu)的平臺之間的信息可以進行有效的資源共享。在計算機的網(wǎng)絡系統(tǒng)當中，程序和數(shù)據(jù)庫的優(yōu)化問題是需要我們共同考慮的。在使用數(shù)據(jù)庫的時候，存儲過程是必不可少的，它提供了一種更加高級的特性。它可以傳遞一些函數(shù)或者是邏輯表達方式，這樣就可以幫助程序人員來處理一些比較復雜的任務。它的存儲過程也比一些別的程序快很多，如果存儲的過程發(fā)生在本地的服務器上，那就可以減少在執(zhí)行和操作過程中的寬帶傳輸和執(zhí)行命令的時間。數(shù)據(jù)庫系統(tǒng)可以分頁顯示數(shù)據(jù)，執(zhí)行一個命令會產(chǎn)生幾萬種結(jié)果，這些結(jié)果是不可能一次性的直接輸出到客戶端上，可以采用分頁顯示來解決這個問題。分頁顯示主要有兩種，一種是在數(shù)據(jù)庫的查詢所匹配的記錄一下子存儲在內(nèi)存儲器當中。另一個是根據(jù)用戶的需求，從這些匹配的記錄當中顯示指定的記錄。這兩者是有一定的區(qū)別的，前一種是把所有的記錄一次性的寫到內(nèi)存里，再使用分頁顯示，后一種是指通過指定數(shù)量的查詢互相匹配的記錄然后寫入到內(nèi)存當中，接著分頁顯示。這個系統(tǒng)使每一個要求只需要返回一個頁面的數(shù)據(jù)，效率大大的提高了。

3 關(guān)于企業(yè)的存儲構(gòu)建方案

1）商業(yè)化的云存儲系統(tǒng)。在一些數(shù)據(jù)領域數(shù)據(jù)庫已經(jīng)研發(fā)出一系列的商業(yè)化存儲產(chǎn)品，主要建立在云存儲的相關(guān)理論基礎上。一些最早就致力于云存儲研發(fā)的公司推出數(shù)項擁有自主知識產(chǎn)權(quán)的存儲技術(shù)，而且還提出了云存儲系統(tǒng)的構(gòu)架方案。從用戶的角度出發(fā)，在相關(guān)協(xié)議下可以實現(xiàn)自身數(shù)據(jù)的存儲和提取。可以提供一些簡單的隊列服務，在一些虛擬的主機之間信息可以互相發(fā)送好接收，而且一些支持的服務可以為用戶提供專業(yè)的存儲接口。一些公司希望他們提出的數(shù)據(jù)庫分布式的編程環(huán)境，可以適用于本公司的具體情況，還可以適用于云存儲的應用開發(fā)商提出的關(guān)于存儲的一些應用服務，可以起到一箭雙雕的作用。

2）構(gòu)建企業(yè)自身的數(shù)據(jù)中心。對于許多大型企業(yè)來說，數(shù)據(jù)的安全性是最重要的，數(shù)據(jù)中包含著許多客戶的信息，這些客戶的信息一定不能泄露，泄露了以后就會面臨重大的信譽問題，這個時候如果選擇的是租用的云存儲服務的話，企業(yè)許多的數(shù)據(jù)資料都需要存儲在云服務提供的云數(shù)據(jù)中心，會面臨一定的風險性，所以有一些大型的企業(yè)轉(zhuǎn)向一些私有的云存儲的云服務提供商提供的云數(shù)據(jù)的中心，借助這個存儲設備也需要大量的資金投入，它是借助私云存儲提供的存儲設備以及冗余備份系統(tǒng)，所以這種結(jié)構(gòu)并不靈活。作為企業(yè)可以選擇混合云存儲方案，可以把與之相關(guān)的關(guān)鍵性的數(shù)據(jù)作為首要的存儲，存到私云存儲當中，對于其它的一些數(shù)據(jù)就可以存儲在租用的云存儲當中，借用這種存儲的方法可以實現(xiàn)存儲效用利用的最大化。

4 云計算的環(huán)境下關(guān)于數(shù)據(jù)安全問題

為了保證數(shù)據(jù)的安全性能我們可以采用加密的方式，對于加密的方法有兩種：對稱加密和非對稱加密。實踐證明，對稱加密的算法還比較成熟，所以應用的范圍比較廣泛，這種加密的算法、加密和解密都比較容易實現(xiàn)，所以廣泛的應用于大量的數(shù)據(jù)傳輸，對于非對稱加密來說，可以把傳統(tǒng)的密鑰分為公開密鑰和私有密鑰，把加密算法和解密算法分開控制，這樣可以在計算方法的復雜程度上確保其的安全性。

1）關(guān)于加密。當想要對某一個數(shù)據(jù)進行加密的時候可以通過對稱加密算法密匙生成器，通過密匙生成器來隨機生成含有校驗信息的密匙，再通過非對稱加密算法對所包含的效驗信息的密匙進行加密。這樣就可以把密文統(tǒng)一打包以后發(fā)到用戶端供用戶們使用，這個密文是經(jīng)過加密算法處理的。除這些以外，對于一些數(shù)據(jù)量十分大的用戶的數(shù)據(jù)可以通過對稱的加密算法對其進行加密。但是對于一些數(shù)據(jù)量用戶較小的用戶可以考慮對一些非對稱算法進行加密，將這兩種密匙和密文數(shù)據(jù)一塊兒存儲起來放到云存儲中心，對于那些非加密的密匙以及解密的密匙僅僅需要進行保存就行。

2）關(guān)于解密。既然可以加密處理，那么就應該對密匙進行解密，這樣密碼的設立才會更有意義。在對數(shù)據(jù)解密的過程中，用戶首先需要對對稱加密的算法進行解密，這種算法是跟非對稱加密相關(guān)的。這樣就可以對密匙進行還原，然后，被還原的密匙根據(jù)對稱算法對所提供的數(shù)據(jù)包進行解密，這樣可以把所需要的文件進行還原。兩種算法需要配合使用，這樣才能最大限度的發(fā)揮各自的優(yōu)點，避免某一種算法的不足導致文件不能安全的進行保密。我們的目的是對數(shù)據(jù)的安全進行保密，可以通過對稱密匙對所有的數(shù)據(jù)進行加密也可以利用非對稱密匙僅僅對一部分密匙進行加密。這兩種算法互相結(jié)合，有效地解決了云計算中所面臨的安全問題。

5 結(jié)束語

在云計算環(huán)境下的數(shù)據(jù)存儲技術(shù)給人們帶了許多的方便，釋放了個人計算機終端的數(shù)據(jù)存儲任務，優(yōu)化了網(wǎng)絡系統(tǒng)結(jié)構(gòu)。云計算環(huán)境下數(shù)據(jù)存儲中把對稱密匙和非對稱密匙結(jié)合起來使用，為云環(huán)境下的存儲技術(shù)帶來了一定的安全性。這是一種解決安全問題比較可行的方法。隨著科技的不斷進步，云計算環(huán)境下的存儲技術(shù)一定會有更大的突破，實踐應用也一定會更加廣泛。

數(shù)據(jù)存儲技術(shù)論文:分布式環(huán)境中數(shù)據(jù)存儲技術(shù)的研究

摘要：隨著計算機技術(shù)和網(wǎng)絡技術(shù)的迅猛發(fā)展，將大量數(shù)據(jù)進行分散存儲和管理的方式已經(jīng)得到相關(guān)行業(yè)的廣泛認可，然而由此帶來的弊端也隨之產(chǎn)生，數(shù)據(jù)存儲結(jié)構(gòu)，存儲環(huán)境的不同，以及數(shù)據(jù)并發(fā)處理等問題。該文針對如何在分布式環(huán)境中提高數(shù)據(jù)存儲能力這一課題進行深入研究，對當前數(shù)據(jù)存儲技術(shù)進行分析，對分布環(huán)境下數(shù)據(jù)存儲的特性進行分析，總結(jié)出分布式數(shù)據(jù)庫的設計要求，為行業(yè)內(nèi)分布式數(shù)據(jù)存儲能力標準化提供理論支持。

關(guān)鍵詞：分布式；數(shù)據(jù)存儲；數(shù)據(jù)庫

1 數(shù)據(jù)存儲技術(shù)的現(xiàn)狀

近年來，隨著計算機技術(shù)和網(wǎng)絡技術(shù)的迅猛發(fā)展，依靠先進的技術(shù)進行網(wǎng)絡化辦公已經(jīng)成為現(xiàn)實。越來越多的企業(yè)、政府機構(gòu)、社會團體借助計算機技術(shù)將業(yè)務主體進行科學的專項設計和應用，用戶只需要少量的終端設備就可以對大量的數(shù)據(jù)進行處理和分析。另一方面，隨著人們對互聯(lián)網(wǎng)依賴程度的逐步加深，伴隨“大數(shù)據(jù)”等新概念的提出和發(fā)展，產(chǎn)生的數(shù)據(jù)量也呈現(xiàn)爆炸式增長。新數(shù)據(jù)的產(chǎn)生和原始數(shù)據(jù)的不斷積累，導致占用的存儲容量越來越大。因此，如何擴展服務提供商器的存儲能力已經(jīng)成為當前科研領域的重要研究熱點。

目前，能夠有效提高數(shù)據(jù)存儲能力的方式主要有兩類解決方案。一類是新增硬件的方法提高存儲能力。由服務提供商采購新的存儲設備來拓展服務器的存儲能力。另一類是在不改變現(xiàn)有硬件設備的條件下，服務提供商改善數(shù)據(jù)存儲軟件，優(yōu)化存儲信息的方式，通過分類和分解數(shù)據(jù)的形式提高存儲能力。第一類解決方案存在明顯的弊端，服務提供商的購買能力是有限的，無法從根本上解決難題。另一類目前已經(jīng)得到國內(nèi)外行業(yè)的普遍認可，各大數(shù)據(jù)服務提供商投入大量人力和物力，加快了數(shù)據(jù)管理軟件的研發(fā)腳步，一系列的數(shù)據(jù)庫產(chǎn)品營運而生，像Google Spanner，Cassandra，MongoDB，MySQL Cluster等[1]優(yōu)秀的產(chǎn)品為分布式環(huán)境下有效的管理數(shù)據(jù)，優(yōu)化存儲提供了先決條件。

2 分布式環(huán)境下數(shù)據(jù)存儲的應用特性分析

通過大量實踐可以看出，對于大量數(shù)據(jù)的處理效率往往與數(shù)據(jù)本身的可操作性有著緊密聯(lián)系，所以有必要對分布式環(huán)境下的數(shù)據(jù)應用特性進行合理的分析和總結(jié)。分布式數(shù)據(jù)庫主要有以下三個特點：

2.1 數(shù)據(jù)庫存儲的數(shù)據(jù)在邏輯上是集中的，在地理位置上是分散的

分散的數(shù)據(jù)單元所在的物理位置是透明的，通過通訊線路和協(xié)議進行相互溝通。這點有力的說明分布式數(shù)據(jù)庫存在數(shù)據(jù)的“分散性”。

2.2 用戶對數(shù)據(jù)進行的任何操作都有一個統(tǒng)一的DBMS進行調(diào)度

用戶不必關(guān)心數(shù)據(jù)的并發(fā)處理、副本調(diào)度等問題，即使局部數(shù)據(jù)單元發(fā)生數(shù)據(jù)故障，統(tǒng)一的DBMS仍可以進行調(diào)度和工作。這點有力的說明分布式數(shù)據(jù)庫存在管理上的“集中性”。

2.3 用戶對任何數(shù)據(jù)進行例如添加、刪除和查詢操作時，每個數(shù)據(jù)單元都各有一個小型的數(shù)據(jù)管理系統(tǒng)，都有各自的DBMS，多數(shù)處理就地完成

這點有力的說明分布式數(shù)據(jù)庫存在操作上的“自治性”。

3 分布式數(shù)據(jù)庫系統(tǒng)的設計

在分布式環(huán)境下，對于數(shù)據(jù)庫的設計要求還沒有統(tǒng)一的標準。該文通過總結(jié)和分析整理國內(nèi)外相關(guān)資料，認為一個可操作的分布式數(shù)據(jù)庫系統(tǒng)，應具備四個功能，如圖1所示。

3.1 數(shù)據(jù)分發(fā)[2]

數(shù)據(jù)分發(fā)的建立打破了傳統(tǒng)數(shù)據(jù)存儲模式，它使物理上分散的數(shù)據(jù)單元成為邏輯上統(tǒng)一的整體，數(shù)據(jù)模塊之間通過數(shù)據(jù)鏈路進行連接，通過形式統(tǒng)一的數(shù)據(jù)接口和協(xié)議進行通訊。合理的數(shù)據(jù)分發(fā)模塊能夠解決數(shù)據(jù)在遠距離存儲上存在的異構(gòu)問題。

3.2 并行處理

由于數(shù)據(jù)存儲過程中的分散性和自治性的特點，使得并發(fā)處理功能就顯得尤為重要。并行處理問題發(fā)生的情況分為三種：時間并行，空間并行以及時間和空間同時并行。并行處理功能要求數(shù)據(jù)庫要有很好的事務機制處理辦法，提供有效的并發(fā)解決方案。

3.3 SQL解析

由于大量數(shù)據(jù)庫管理系統(tǒng)和操作系統(tǒng)存在異構(gòu)的特點，SQL解析功能就顯得尤為重要。SQL的語句首先被數(shù)據(jù)庫管理軟件轉(zhuǎn)化為ASCII碼，然后由解析器分三個環(huán)節(jié)進行解析。首先是語法解析，通常會從數(shù)據(jù)字典、對象比較、游標等方面檢查用戶輸入的語法是否存在錯誤；其次是語義解析，為用戶輸入的語句建立語法樹，對語義中提到的程序、表、字段等方面進行檢查；最后是執(zhí)行語法過程，將操作結(jié)果進行打包后傳遞給DBMS。[3]

3.4 匯總處理

匯總處理的目標是從分散的數(shù)據(jù)模塊中提取用戶需要的數(shù)據(jù)，并進行必要的處理后呈現(xiàn)在用戶面前，形成一個完整的、統(tǒng)一的大型數(shù)據(jù)庫。

4 總結(jié)

分布式數(shù)據(jù)存儲能夠不改變現(xiàn)有硬件設備的條件下，充分利用現(xiàn)有資源為用戶服務，為用戶提供快速靈活的體驗，同時可以減少投入，提高設備利用率。隨著數(shù)據(jù)存儲技術(shù)的不斷發(fā)展和成熟，能夠在不同領域中得到更廣闊的發(fā)展。

數(shù)據(jù)存儲技術(shù)論文:基于云計算背景下數(shù)據(jù)存儲技術(shù)

摘要：改革開放以來，我國的社會經(jīng)濟得到了迅猛的發(fā)展。社會經(jīng)濟的進步，同時也推動了我國科學技術(shù)的發(fā)展。科學技術(shù)的發(fā)展，對于我國的社會經(jīng)濟也有相應促進作用。在所有的科學技術(shù)的發(fā)展中，要數(shù)計算機的發(fā)展最為迅速。21世紀是一個信息的時代，其中的典型就是計算機，隨著社會的發(fā)展，各式各樣的計算形式層出不窮，在這樣一個更新周期短的時代趨勢的影響下，在計算機領域出現(xiàn)了一種新型的計算形式，這種新型的計算機形式稱為云計算。對于互聯(lián)網(wǎng)模式，我們都不陌生，而對于云計算是十分陌生的。其實，所謂的云計算，指的就是互聯(lián)網(wǎng)技術(shù)的升級，云計算這種新型計算模式的出現(xiàn)，對于現(xiàn)代大量的數(shù)據(jù)沖擊來說是一個機遇，云計算中的數(shù)據(jù)存儲技術(shù)也成為了計算機技術(shù)的重要的技術(shù)領域。

關(guān)鍵詞：云計算 數(shù)據(jù)存儲 技術(shù) 研究

云計算是一種現(xiàn)代的架構(gòu)體系，這種體系主要是以服務作為其主體運運而生的。為了可以很好地區(qū)分云計算的服務方式，在計算機領域把云計算分為了兩種最為基本的服務形式，這兩種服務形式為云計算，以及云存儲。云計算作為一種新型的技術(shù)手段被廣泛的運用到現(xiàn)代的網(wǎng)絡系統(tǒng)，以及現(xiàn)代的金融服務領域；作為計算機技術(shù)快速發(fā)展的一種形式的云計算，是一種以服務為主體的現(xiàn)代運用系統(tǒng)。為了能夠在各種各樣的環(huán)境下對計算機的數(shù)據(jù)進行相應的處理，就需要加入另一種服務形式，這種服務方式就是云存儲。為了能夠適應社會的發(fā)展需求，有必要對云計算進行更加深入的研究。

1 云計算，以及云存儲

1.1 云計算

云計算是一種新型的技術(shù)形式，它通過向?qū)ο筇峁┨峁┘夹g(shù)服務來實現(xiàn)的。云計算提供的計算模式可以分為兩種，一種是動態(tài)化的可伸縮的計算模式，另一種是動態(tài)化的虛擬資源計算模式。雖然說云計算是一種新型的技術(shù)形式，但是從它的本質(zhì)來說，云計算指的就是互聯(lián)網(wǎng)，以計算機網(wǎng)絡，所以說云計算中的云是一種比喻性的說法。在以往的電信行業(yè)中，也存在云的概念，當時的云指的就是電信網(wǎng)。但是隨著近幾年計算機網(wǎng)絡的不斷發(fā)展，為了滿足互聯(lián)網(wǎng)，以及基礎設施抽象表達的要求，才逐漸把云的概念擴大到互聯(lián)網(wǎng)等方面。在計算機中使用云計算，可以很好地滿足現(xiàn)實的需求。傳統(tǒng)的數(shù)據(jù)信息基本上是以本地的計算機，或者遠程服務器為載體進行存儲。而云計算的使用，則是將大量的數(shù)據(jù)存儲到計算機之上。大部分的企業(yè)可以很方便的把資源信息轉(zhuǎn)換到比較客觀的應用上，這主要是由于這些企業(yè)的數(shù)據(jù)系統(tǒng)與計算機互聯(lián)網(wǎng)比較相似，所以，可以很容易的對存儲體系，以及計算機進行相應的訪問。

1.2 云存儲

隨著云計算的推廣，為了適應這一發(fā)展趨勢，就從云計算中總結(jié)出了一個全新的概念，這個全新的概念就是云存儲。云計算具有一定的基礎功能，而由于云存儲是從云計算當中延伸出來的，所以，云存儲具有與云計算相類似的功能，即計算機的網(wǎng)格技術(shù)，以及計算機的集群應用，還有就是計算機的分布式文件系統(tǒng)。以上的這些基本功能對于云存儲發(fā)揮其功效具有重要的作用。通過相應的應用軟件，可以把計算機網(wǎng)絡當中的各式各樣的存儲設備有效的集中起來，以保證這些存儲設備可以進行有效的協(xié)同合作。云存儲的這種新型的存儲模式，是在原有的原有的存儲模式的基礎之上，進行相應改進的一種存儲模式，但是這種新型的存儲模式還可以提供一種特別的架構(gòu)服務。由于云具有廣域網(wǎng)，以及互聯(lián)網(wǎng)的特性，所以具有相對比較的形象特征，而對待遇使用云存儲的人來說，云存儲具有一定的透明性。把一些有關(guān)聯(lián)的存儲設備，以及應用程序軟件進行有效的而結(jié)合起來，因為存儲設備的服務轉(zhuǎn)換抓喲是要通過相關(guān)的應用軟件來進行實現(xiàn)的。

2 云計算的環(huán)境下數(shù)據(jù)存儲體系的構(gòu)建

在實際的云計算的操作過程當中，對于云計算環(huán)境下數(shù)據(jù)存儲體系的建立是十分的必要的。建立云計算環(huán)境下數(shù)據(jù)存儲體系，通常會涉及到很多方面的內(nèi)容，比如說，云計算的數(shù)據(jù)中心，以及云服務的接口，還有就是云的用戶和與計算的服務協(xié)議等等各方面的內(nèi)容。首先，我們先來了解一下什么是數(shù)據(jù)中心。所謂的數(shù)據(jù)中心，實質(zhì)上指的就是數(shù)據(jù)的存儲基礎，數(shù)據(jù)中心是要通過云計算的環(huán)境下來進行實現(xiàn)的。數(shù)據(jù)中心所涉及的內(nèi)容，包括了數(shù)據(jù)的存儲管理，以及數(shù)據(jù)的存儲設備，還有就是計算機中分布式的文件系統(tǒng)等等。云存儲可以有很多不同的類型，一種是根據(jù)企業(yè)發(fā)展的不同程度會采用的專門的存儲設備，另一種是運用于個人的存儲設備，還有一種就是把專門的存儲設備與個人的存儲設備進行有機的結(jié)合起來。雖然有以上的三種分類，但是對于云存儲設備來說，并沒有硬性的規(guī)定說要根據(jù)那個條件進行分類。根據(jù)客戶機，或者服務器的模式可以對分布式的文件系統(tǒng)進行相應的設計。運用網(wǎng)絡節(jié)點之間的聯(lián)接可以很好地吧文件系統(tǒng)管理當中的一些物理存儲紫玉進行有效的存儲。

3 云計算服務器架構(gòu)的構(gòu)建

云計算存儲服務器在云計算中占據(jù)著關(guān)鍵性的作用，所以對與計算服務器的架構(gòu)的構(gòu)建顯得至關(guān)重要。對于云存儲服務器架構(gòu)的建立，一定要保證是在進行建立云儲存體系之前進行建立。比較常見的云存儲服務器架構(gòu)有兩種，一種是存儲區(qū)域網(wǎng)，另一種就是附網(wǎng)存儲。對于云存儲服務器架構(gòu)的建立，可以通過多變的架構(gòu)技術(shù)來實現(xiàn)云存儲服務器架構(gòu)的建立的。

附網(wǎng)存儲是一種文件存儲系統(tǒng)，附網(wǎng)存儲是依附于分布式架構(gòu)系統(tǒng)而存在的。在附網(wǎng)存儲當中，是相互獨立，而且又相互統(tǒng)一的。所以說，附網(wǎng)存儲是一種松散結(jié)合型集群，說附網(wǎng)存儲是獨立的，主要是因為在附網(wǎng)存儲中的每一個節(jié)點都是相互獨立的；而說附網(wǎng)存儲是相對統(tǒng)一的，主要是因為附網(wǎng)存儲是以系統(tǒng)集群的形式存在著的。附網(wǎng)存儲是一種結(jié)合比較緊密的集群系統(tǒng)。一旦有一個文件產(chǎn)生請求，附網(wǎng)存儲中的熱河一個節(jié)點都會對這個文件中的不同數(shù)據(jù)進行同時的訪問，與此同時，云計算還會對于用戶的相關(guān)要求進行相應的處理。一般的存儲系統(tǒng)不同的是，附網(wǎng)存儲系統(tǒng)的性能不會由于請求越多而越弱，相反的是，附網(wǎng)存儲是隨著用戶的訪問請求越多，就會具有越強的性能，因為用戶的請求越多，會使得節(jié)點數(shù)越來越多，所以附網(wǎng)存儲系統(tǒng)的性能越強。

4 結(jié)語

總的來說，作為現(xiàn)代計算模式的代表的云計算，在實踐當中具有很大的數(shù)據(jù)集群，因此云計算具有最優(yōu)化的服務功能。云計算中的數(shù)據(jù)存儲，可以通過冗余存儲方式來進行數(shù)據(jù)的存儲，進而可以確保數(shù)據(jù)的安全性，以及可靠性。

數(shù)據(jù)存儲技術(shù)論文:基于網(wǎng)格的數(shù)據(jù)存儲技術(shù)在數(shù)字圖書館中的應用

摘要：現(xiàn)代數(shù)字圖書館存儲系統(tǒng)有高可靠性、高可用性、高性能、動態(tài)可擴展性、易維護性和開放性等眾多方面的需求，而目前使用的存儲系統(tǒng)還遠不能滿足這些需求。本文著重介紹網(wǎng)格的數(shù)據(jù)存儲技術(shù)在數(shù)字圖書館中的應用。

關(guān)鍵詞：網(wǎng)格 數(shù)據(jù)存儲 Grid FTP 數(shù)字圖書館

1 綜述

隨著網(wǎng)絡技術(shù)和分布式計算技術(shù)的發(fā)展，網(wǎng)格應運而生，有望成為第三代互聯(lián)網(wǎng)。宏觀上講，網(wǎng)格是信息社會的網(wǎng)絡基礎設施，它把整個因特網(wǎng)整合成一臺巨大的超級虛擬計算機，實現(xiàn)互聯(lián)網(wǎng)上所有資源的互聯(lián)互通，實現(xiàn)計算資源、存儲資源、通信資源、軟件資源、信息資源、知識資源等資源的全面共享。

網(wǎng)格是由分布在本地或廣城范圍的若干異構(gòu)子系統(tǒng)組成的虛擬系統(tǒng)。網(wǎng)格通常可以分為三類，即存儲網(wǎng)格，計算網(wǎng)格和服務網(wǎng)格。存儲網(wǎng)格實現(xiàn)了虛擬的統(tǒng)一存儲，例如可將不同系統(tǒng)不同目錄下的文件通過網(wǎng)格軟件組合成一個虛擬的單一文件目錄，對此網(wǎng)格的用戶來說，他不必關(guān)心他所需要的文件具體存放在那一物理位置，而可以通過一個單一的文件目錄結(jié)構(gòu)存取或檢索所需要的文件。他還可以適用于傳統(tǒng)購工具相類似的網(wǎng)格變種，如FTP.來將自己的文件傳送到這一虛擬的單一文件目錄結(jié)構(gòu)中去，或?qū)⑻摂M存儲中的某一文件傳送到自己的本地非共享目錄中。可見存儲網(wǎng)格改變了人們分享數(shù)據(jù)信息的方式。

利用存儲網(wǎng)格技術(shù)，一個大型復雜數(shù)字圖書館系統(tǒng)可以將各自的計算機組成一個慮擬的單一存儲網(wǎng)格，所有的子系統(tǒng)界面信息均可實時地被他人所共享，不管這些單位位于世界的哪一個角落，也不管他們用的是什么系統(tǒng)。傳統(tǒng)上完成類似目標需要建立并維護一個集中的數(shù)據(jù)服務系統(tǒng)，在很多時候是無法實現(xiàn)或者極不經(jīng)濟的。而存儲網(wǎng)格技術(shù)通過建立開放標準將這一需求變?yōu)楝F(xiàn)實。

網(wǎng)格存儲是網(wǎng)格技術(shù)發(fā)展的重要組成部分，它將存儲和存儲引擎整合成內(nèi)部相連的網(wǎng)格。它通過網(wǎng)格以一種靈活的、透明的方式分配資源，依照單位的存儲策略和程序，高效地管理存儲資源，以保護大容量信息的安全。網(wǎng)格存儲能很好地解決各類資源的自動優(yōu)化、自動配置、自我保護和自動恢復等功能。

2 基于網(wǎng)格的數(shù)據(jù)存儲技術(shù)在數(shù)字圖書館中的應用

2.1 數(shù)據(jù)網(wǎng)格存儲方式

數(shù)字圖書館是綜合運用多方面高新技術(shù)支持的數(shù)字信息資源系統(tǒng)，將分散于不同載體、不同地域的數(shù)字化信息資源以網(wǎng)絡化方式互相聯(lián)結(jié)起來，實現(xiàn)資源共享。數(shù)字圖書館是計算機可處理的、有序組織的信息集合，是存儲數(shù)字信息的倉儲。數(shù)字圖書館通過數(shù)字技術(shù)進行信息資源的組織和管理，能夠儲存海量信息，用戶可以通過互聯(lián)網(wǎng)絡高效方便地進行查詢、檢索服務。數(shù)字圖書館具有信息資源數(shù)字化、信息組織非線性化、結(jié)構(gòu)復雜化、信息傳遞網(wǎng)絡化、服務方式多樣化等特點。而網(wǎng)格是高性能計算機、數(shù)據(jù)源、因特網(wǎng)三種技術(shù)的有機組合，它具有高性能、一體化、知識生產(chǎn)、資源共享、異地協(xié)同工作、支持開放標準、功能動態(tài)變化等優(yōu)點，為數(shù)字圖書館建設提供了有利的條件。

在網(wǎng)格中最常用的資源是數(shù)據(jù)存儲。網(wǎng)格對數(shù)據(jù)存儲提供了一個集成的視圖，有時被稱為“數(shù)據(jù)網(wǎng)格”。通常，網(wǎng)格中的每臺機器會提供一定數(shù)量的存儲給網(wǎng)格使用，即使是暫時的。存儲可以是配屬于處理器的內(nèi)存，也可以是硬盤或者其他永久性的存儲介質(zhì)。配屬于處理器的內(nèi)存通常速度非常快，但是不穩(wěn)定，最好應用作緩沖數(shù)據(jù)。網(wǎng)格中的第二存儲可以以合適的方法使用來增加容量、性能、共享和數(shù)據(jù)可靠性。許多網(wǎng)格系統(tǒng)使用網(wǎng)絡文件系統(tǒng)，如AFS、NFS、DFS或者GPFS。這些文件系統(tǒng)在性能，安全和可靠性方面存在差異。

多臺機器的存儲使用統(tǒng)一的文件系統(tǒng)，容量可以增加。任一獨立的文件或者數(shù)據(jù)庫可以擴展到多臺存儲設備和機器，利用操作系統(tǒng)的文件系統(tǒng)可以消除最大空間的限制。統(tǒng)一的文件系統(tǒng)可以為網(wǎng)格存儲提供統(tǒng)一的命名空間。這對用戶使用網(wǎng)格中的存儲變得相對容易，可以不用考慮其確切的位置。類似的，特殊的數(shù)據(jù)庫軟件可以聯(lián)合獨立的分類數(shù)據(jù)和文件，形成一個更大的，更全面的數(shù)據(jù)庫，可以使用數(shù)據(jù)庫查詢功能操作。

網(wǎng)格文件系統(tǒng)也能實現(xiàn)日志功能，因而在某些操作失敗后，數(shù)據(jù)也可以被可靠地刪除。另外，當數(shù)據(jù)共享或者很多用戶更新時，有些文件系統(tǒng)實行高級的同步機制來減少沖突。

2.2 GridFTP在數(shù)字圖書館數(shù)據(jù)存儲技術(shù)中的應用

網(wǎng)格存儲是以節(jié)點之間的備份為基礎，可以在多重節(jié)點上進行內(nèi)容管理與儲存；也可以把存儲環(huán)境下的多重節(jié)點進行資料轉(zhuǎn)移與傳輸。正因為這樣，它可以將網(wǎng)絡連接存儲（NAS）和存儲局域網(wǎng)（SAN）兩種不同的技術(shù)、不同的管理工具、不同的存儲應用融合在一起。網(wǎng)格存儲使存儲簡單化，兼容不同的網(wǎng)絡協(xié)議，支持不同的系統(tǒng)平臺，在各個分布系統(tǒng)上遠行而且同步。

訪問、分析和處理分布在不同邏輯位置、存儲系統(tǒng)上的數(shù)據(jù)，應用程序要么選擇只支持某些存儲系統(tǒng)，要么使用多種方法來獲取不同存儲系統(tǒng)上的數(shù)據(jù)。Grid FTP提供了一種在異構(gòu)系統(tǒng)上的公共互用層，避免性能上的損失和過大的復雜性。

Grid FTP作為網(wǎng)格環(huán)境中安全高效的數(shù)據(jù)傳輸協(xié)議，是對標準FTP協(xié)議的擴展。Grid FTP擴展了標準FTP協(xié)議，這是因為FTP協(xié)議是目前因特網(wǎng)上使用最普遍的數(shù)據(jù)傳輸協(xié)議，有大量的技術(shù)基礎，也是在網(wǎng)絡環(huán)境中最規(guī)范的數(shù)據(jù)傳輸協(xié)議，并且易于擴展。

GridF TP在不同的網(wǎng)格主機之間提供了安全的、可依賴的數(shù)據(jù)傳輸，使用擴展的FTP協(xié)議，提供了網(wǎng)格的功能。Grid FTP是標準的服務器/客戶端應用，支持兩種類型的文件傳輸標準和第三方參與的文件傳輸。

為了管理分布式通信中的大數(shù)據(jù)集，Grid FTP提供了經(jīng)過鑒別的由第三方控制的數(shù)據(jù)傳輸功能。這種功能允許第三方用戶或應用程序啟動、監(jiān)視和控制共他兩地之間的數(shù)據(jù)傳輸，為使用多個地點的資源提供了保障。Grid FTP在保留FTP的第二方數(shù)據(jù)傳輸功能上增加了GSS-API安全認證。

當前，由于網(wǎng)格技術(shù)的發(fā)展，數(shù)字圖書館技術(shù)正面臨著一場新的技術(shù)革命。采用網(wǎng)格技術(shù)能增加數(shù)字圖書館成本的有效性，也能增強數(shù)字圖書館服務的適應性，真正解決數(shù)字圖書館資源的信息資源存儲問題。數(shù)字圖書館只有借助于先進的網(wǎng)格技術(shù)，才能真正推動數(shù)字圖書館研究和建設的更深人發(fā)展。

數(shù)據(jù)存儲技術(shù)論文:基于網(wǎng)絡數(shù)據(jù)存儲技術(shù)實現(xiàn)的研究

【摘要】網(wǎng)絡技術(shù)的運用是現(xiàn)階段的主流技術(shù)手段，由于互聯(lián)網(wǎng)的普及和發(fā)展直接導致互聯(lián)網(wǎng)相關(guān)技術(shù)持續(xù)升溫。而網(wǎng)絡數(shù)據(jù)存儲技術(shù)是實現(xiàn)替代傳統(tǒng)存儲技術(shù)的新方法，通過技術(shù)手段的實現(xiàn)，達到網(wǎng)絡存儲的目的。選擇安全合理的技術(shù)手段實現(xiàn)網(wǎng)絡數(shù)據(jù)存儲是保證數(shù)據(jù)安全，實現(xiàn)數(shù)據(jù)備份的主要手段。

【關(guān)鍵詞】網(wǎng)絡；存儲技術(shù)；數(shù)據(jù)安全；備份

一、前言

在網(wǎng)絡技術(shù)持續(xù)發(fā)展的今天，實現(xiàn)網(wǎng)絡數(shù)據(jù)存儲是解決現(xiàn)階段數(shù)據(jù)流失的主要手段，通過網(wǎng)絡對數(shù)據(jù)實現(xiàn)備份可以很好的實現(xiàn)數(shù)據(jù)的移動化。本文針對現(xiàn)階段的三種主要的網(wǎng)絡數(shù)據(jù)存儲方式進行分析研究，確定其技術(shù)實現(xiàn)方式，了解實現(xiàn)原理。使得對網(wǎng)絡數(shù)據(jù)存儲有進一步的認識。

二、RAID存儲技術(shù)

1、RAID存儲技術(shù)介紹

RAID是指廉價(獨立)磁盤陣列，所謂“磁盤陣列”是指多張磁盤連成一個陣列上，然后，以某種方式書寫磁盤，這種方式可以在一張或多張磁盤組之間提供數(shù)據(jù)。

從主機的角度看，控制器使得整個磁盤組就像一片又快、又大、又可靠的虛擬磁盤。它的初衷主要是為大型網(wǎng)絡服務器提供高端的存儲功能和冗余的數(shù)據(jù)安全，在系統(tǒng)中RAID被看作是一個邏輯分區(qū)，但它是由多個硬盤組成的，通過在多個硬盤上同時儲存和讀取數(shù)據(jù)來大幅度提高存儲系統(tǒng)的數(shù)據(jù)吞吐量。而且在很多RAID模式中都有較為完備的、相互校驗與恢復的措施，甚至是直接相互的鏡像存儲。當數(shù)據(jù)災難發(fā)生時可以自動修復，從而大大提高了RAID系統(tǒng)的容錯度，穩(wěn)定了系統(tǒng)的冗余性。

2、RAID技術(shù)規(guī)范

RAID技術(shù)是一種工業(yè)標準。通常將組成磁盤陣列的不同方式分為RAID級別。隨著RAID技術(shù)的不斷發(fā)展。現(xiàn)在已擁有了以RAID 0到RAID 6七種基本的級別。另外，還有一些基本RAID級別的組合形式，如RAID 1 0、RAID 5 0等。現(xiàn)將RAID級別在應用中的實現(xiàn)作進一步的研究。

(一)、RAID 0：是連續(xù)以位或字節(jié)為單位分割數(shù)據(jù)，并行讀寫于多個磁盤上。因此具有很高的數(shù)據(jù)傳輸速率，但它沒有數(shù)據(jù)冗余。它只是單純地提高性能，而且其中的一個磁盤失效將影響到所有數(shù)據(jù)。因此，它不能應用于數(shù)據(jù)安全性高的場合。

(二)、RAID 1：通常被稱為RAID鏡像，是通過磁盤數(shù)據(jù)鏡像實現(xiàn)數(shù)據(jù)冗余，在成對的獨立磁盤上產(chǎn)生互為備份的數(shù)據(jù)，即所有數(shù)據(jù)都進行百分之百的備份。當原始數(shù)據(jù)繁忙時，可直接從鏡像磁盤上讀寫，而不需要重組失效數(shù)據(jù)。

(三)、RAID0+1：也稱為RAID 1 0標準，至少需要4塊硬盤才可以實現(xiàn)，不過它綜合了RAID 0和RAID 1的特點，將獨立磁盤配置成RAID 0，兩套完整的RAID 0互換鏡像。但構(gòu)建RAID 0+1陣列的成本投入大，數(shù)據(jù)空間利用率只有50%。

(四)、RAID 2：是按位分配數(shù)據(jù)到多個驅(qū)動器的，在寫入數(shù)據(jù)時一個磁盤上保存數(shù)據(jù)的各個位。同時把一個數(shù)據(jù)不同的位運算到海明校驗碼保存在另一組磁盤上，在數(shù)據(jù)發(fā)生錯誤的情況下將錯誤校正。這種編碼技術(shù)需要多個磁盤存放檢查及恢復信息，使得RAID 2技術(shù)實施更復雜、速度最慢，因此在商業(yè)環(huán)境中很少使用，最適合用于諸如圖像之類的應用。

(五)、RAID 3：通常是按字節(jié)將數(shù)據(jù)劃分為條紋分配在許多驅(qū)動器上，雖然也可按位劃分．但它在陣列時專用一個驅(qū)動器保存奇偶校驗信息，因此它同RAID 2非常類似，區(qū)別在于它使用簡單的奇偶校驗，并用單塊磁盤存放奇偶校驗信息。如果一塊磁盤失效，奇偶盤及其他數(shù)據(jù)盤可以重新產(chǎn)生數(shù)據(jù)；如果奇偶校驗失效，則不影響數(shù)據(jù)使用，但奇偶盤會成為寫操作的瓶頸。

(六)、RAID 4：除了按扇區(qū)而不是按字節(jié)對數(shù)據(jù)劃分條紋外，RAID 4與RAID 3相似，同樣也將數(shù)據(jù)條塊化并分布于不同的磁盤上，但條塊單位為塊或記錄。它使用一塊磁盤作為奇偶校驗盤，這時奇偶校驗盤會成為寫操作的瓶頸。因此它在商業(yè)環(huán)境中也很少使用。

(七)、RAID 5：是把數(shù)據(jù)和相對應的奇偶校驗信息存儲到組成RAID 5的各個磁盤上，并且奇偶校驗信息和相對應的數(shù)據(jù)分別存儲在不同磁盤上。它使用一種特殊算法，可以計算出任何一個區(qū)域校驗塊的存儲位置。這樣就可以確保對校驗塊的任何讀寫操作都會在所有RAID磁盤中進行均衡．從而消除產(chǎn)生瓶頸的可能。它讀出效率很高，寫入效率一般．塊式的集體訪問效率較佳，但控制器的設計也相當困難。

(八)、RAID 6：與RAID 5相比，它增加了第二個獨立的奇偶校驗信息塊。兩個獨立的奇偶校驗系統(tǒng)使用不同的算法．數(shù)據(jù)的可靠性非常高，即使兩塊磁盤同時失效也不會影響數(shù)據(jù)的使用。相對于RAID 5有更大的寫“損失”，因此“寫性能”非常差。

(九)、RAID 7：這是一種新RAID標準，其自身帶有智能化實時操作系統(tǒng)和用于存儲管理的軟件工具，可完全獨立于主機運行，不占用主機CPU資源。它采用優(yōu)化的高速數(shù)據(jù)傳送磁盤結(jié)構(gòu)，所有的I/O傳送均是同步進行的，可以分別控制．這樣提高了系統(tǒng)的并行性和系統(tǒng)訪問數(shù)據(jù)的速度；每個磁盤都帶有高速緩沖存儲器，實時操作系統(tǒng)可以使用任何操作芯片．達到不同實時系統(tǒng)需要。當多用戶訪問系統(tǒng)時。可以連續(xù)多臺主機，訪問時間幾乎接近于零。

三、IP存儲技術(shù)

ＩＰ存儲技術(shù)作為新興的網(wǎng)絡存儲技術(shù)得到了迅猛的發(fā)展，越來越多的企業(yè)選擇了ＩＰ存儲作為存儲解決方案。另一方面，隨著信息化建設的迅猛發(fā)展，計算機系統(tǒng)已成為各企事業(yè)單位的基礎設施，數(shù)據(jù)成為關(guān)系到企業(yè)生存的重要資源，是企業(yè)賴以生存的命脈，其價值遠遠大于設備的價值。然而，病毒木馬、軟件故障、及人為誤操作等不確定因素時刻威脅著數(shù)據(jù)的安全，數(shù)據(jù)安全性問題愈來愈突出。

各個層次的計算機信息系統(tǒng)的使用者也積極關(guān)注自己系統(tǒng)的安全問題，對數(shù)據(jù)存儲安全更加重視，備份系統(tǒng)成為保障數(shù)據(jù)安全的重要系統(tǒng)。數(shù)據(jù)備份是一種數(shù)據(jù)安全策略，是保護數(shù)據(jù)安全的有力措施，已成為信息安全領域一個備受矚目的研究方向。IP數(shù)據(jù)存儲系統(tǒng)能夠根據(jù)用戶自身業(yè)務的需要設計備份方案。分別由備份服務器、存儲服務器、備份實現(xiàn)三方交互協(xié)議。物理上各子系統(tǒng)獨立安裝運行，邏輯上備份服務器主導整個系統(tǒng)的運行，備份和存儲服務器接受備份服務器發(fā)送的命令運行任務，用戶從Ｗｅｂ界面發(fā)出命令并發(fā)送給備份服務器處理。

四、無限傳感存儲技術(shù)

無線傳感器網(wǎng)絡的根本任務是準確、高效地提取環(huán)境中有價值的信息發(fā)送給用戶。無線傳感器網(wǎng)絡是一個數(shù)據(jù)為中心的網(wǎng)絡,無論其應用場景和底層硬件部署如何,應用層用戶最為關(guān)心的問題是如何將各個傳感器節(jié)點感知的監(jiān)測數(shù)據(jù)進行有效傳輸和存儲,從而保證后期高效、可靠、實時的訪問。因此數(shù)據(jù)存儲是無線傳感器網(wǎng)絡一個重要的研究領域。當前的數(shù)據(jù)存儲算法根據(jù)存儲策略的不同主要分為本地存儲、外部存儲、數(shù)據(jù)為中心存儲三種。

地理信息路由是數(shù)據(jù)為中心的存儲中應用最廣泛的一種經(jīng)典路由,周界轉(zhuǎn)遞模式在尋找存儲節(jié)點時存在著轉(zhuǎn)遞次數(shù)過多引起的能量浪費,提出了一種可以減少周界轉(zhuǎn)遞的位置逼近算法。該算法的思想是:在數(shù)據(jù)轉(zhuǎn)遞中,當節(jié)點距離目的位置足夠近時,則修剪掉后面的周界轉(zhuǎn)遞過程。地理位置逼近算法可以有效減少周界轉(zhuǎn)遞造成的能量消耗,從而提高網(wǎng)絡能量利用率。 基于網(wǎng)格的存儲節(jié)點動態(tài)分配算法 GBMT,使事件數(shù)據(jù)更加均勻的存儲在節(jié)點上。該算法主要思想是:把事件映射到一個網(wǎng)格中,根據(jù)節(jié)點的當前的存儲空間和能量,該網(wǎng)格動態(tài)的分配存儲該事件的節(jié)點。通過設置閾值和虛擬坐標兩個機制,防止某個節(jié)點過多的擔任存儲的任務,避免熱點問題。該算法使數(shù)據(jù)在網(wǎng)內(nèi)存儲分布更加均勻,進而提高網(wǎng)絡服務質(zhì)量,延長網(wǎng)絡使用壽命。 

五、結(jié)束語

通過對現(xiàn)階段已有的三種網(wǎng)絡數(shù)據(jù)存儲方式進行深入研究可以清楚的知道，現(xiàn)階段的移動網(wǎng)絡數(shù)據(jù)存儲已經(jīng)可以通過這三種方式實現(xiàn)，針對數(shù)據(jù)的安全等方面也做了相應的研究，保障用戶的數(shù)據(jù)安全是實現(xiàn)網(wǎng)絡數(shù)據(jù)存儲最關(guān)鍵的一步。相信通過不斷的研究，網(wǎng)絡數(shù)據(jù)存儲必將開啟新的篇章。

數(shù)據(jù)存儲技術(shù)論文:高性能氣象數(shù)據(jù)存儲集群及在線擴展技術(shù)應用

作者簡介：趙春燕（1984—），女， 北京人，工程師，研究方向：高性能計算系統(tǒng)管理維護、軟件配置管理（E-mail：）；孫英銳（1973—），男，河北遷交人，高級工程師，碩士，研究方向：氣象數(shù)據(jù)存儲管理。

摘要：為了滿足氣象數(shù)據(jù)快速增長和高效應用的業(yè)務需求，設計采用基于SAN和GPFS的高性能存儲集群進行數(shù)據(jù)存儲，并隨著數(shù)據(jù)量的快速增長，實現(xiàn)靈活在線擴展以滿足數(shù)據(jù)存儲需求。結(jié)合國家級氣象資料存儲檢索系統(tǒng)、省級風能資源數(shù)據(jù)庫共享服務系統(tǒng)和風能資源數(shù)值模擬系統(tǒng)的存儲設計，闡述基于SAN和GPFS技術(shù)的存儲集群架構(gòu)，并重點介紹存儲集群的在線擴展技術(shù)的實現(xiàn)。基于SAN和GPFS的存儲集群在線擴展技術(shù)包含在線擴展服務器節(jié)點、在線擴展存儲容量和在線擴展文件系統(tǒng)容量三方面，實現(xiàn)了氣象數(shù)據(jù)存儲系統(tǒng)隨著業(yè)務數(shù)據(jù)變化的靈活擴展，使系統(tǒng)具備優(yōu)秀的擴展性和適應性。

關(guān)鍵詞：氣象數(shù)據(jù)存儲；存儲集群；SAN；GPFS集群；在線擴展

1引言

隨著氣象事業(yè)和科技水平的迅速發(fā)展，氣象數(shù)據(jù)的種類、數(shù)量也隨之迅速增長，目前氣象數(shù)據(jù)的存儲采用數(shù)據(jù)庫和共享文件系統(tǒng)兩種技術(shù)，根據(jù)數(shù)據(jù)特點和服務方式將數(shù)據(jù)按照在線、近線和離線三種方式進行存儲。由于氣象數(shù)據(jù)種類多、數(shù)量大、格式多樣，除通用數(shù)據(jù)庫、專題數(shù)據(jù)庫存儲的數(shù)據(jù)之外，還有大量的數(shù)據(jù)采用高性能的共享文件系統(tǒng)實現(xiàn)在高速磁盤陣列上的直接在線存儲，以滿足業(yè)務應用、服務和安全備份的需求。隨著業(yè)務的不斷豐富，數(shù)據(jù)量呈現(xiàn)快速增長，大量數(shù)據(jù)庫系統(tǒng)也采用高性能共享文件系統(tǒng)作為底層存儲，如何高效的訪問存儲，保障業(yè)務應用的數(shù)據(jù)訪問效率，同時考慮滿足不斷增長的數(shù)據(jù)存儲需求，靈活的在線擴展，成為存儲系統(tǒng)設計和實現(xiàn)中必須考慮的問題。

我國氣象部門應用廣泛采用GPFS（General Parallel File System）[1]、NFS（Network File System）[2]等共享文件系統(tǒng)。GPFS是一個可擴展、高性能、安全的通用并行文件系統(tǒng)，在性能和安全性上優(yōu)于NFS[3]，結(jié)合SAN（Storage Area Network）[4] 高速高可靠網(wǎng)絡互聯(lián)技術(shù)，構(gòu)成高性能的數(shù)據(jù)存儲集群[5]，實現(xiàn)大容量數(shù)據(jù)庫存儲和直接的在線存儲，廣泛的應用于氣象信息系統(tǒng)數(shù)據(jù)庫、共享數(shù)據(jù)存儲系統(tǒng)建設中。

針對基于SAN和GPFS的存儲集群架構(gòu)，探討了在數(shù)據(jù)計算和處理能力、存儲容量、文件系統(tǒng)容量變更等三方面的在線擴展技術(shù)，對氣象數(shù)據(jù)存儲系統(tǒng)的靈活擴展具有重要意義。

2高性能氣象數(shù)據(jù)存儲集群設計

基于SAN和GPFS的存儲集群物理架構(gòu)包含三層，1）存儲層：高速磁盤陣列；2）SAN存儲網(wǎng)絡層：冗余鏈路配置的高速SAN存儲區(qū)域網(wǎng)；3）服務器層：至少兩臺的服務器作為冗余的數(shù)據(jù)訪問處理節(jié)點。

2.1存儲集群架構(gòu)設計

2.1.1.物理架構(gòu) 本實例采用三臺服務器作為集群節(jié)點，配置兩臺冗余SAN光纖交換機，四臺磁盤陣列。每臺服務器配置兩塊HBA卡，冗余連接至兩臺SAN交換機。每臺光纖交換機配置2個控制器，每個控制器兩個端口，將每個控制器冗余連接到兩臺SAN交換機。如圖1所示，為存儲集群的物理架構(gòu)，冗余配置保證了在Zone劃分后集群的高可靠性。服務器節(jié)點間通過以太網(wǎng)連接，服務器節(jié)點和存儲之間的連接鏈路采用光纖線，磁盤陣列采用高端磁盤陣列，構(gòu)成高性能數(shù)據(jù)存儲管理集群，根據(jù)業(yè)務數(shù)據(jù)訪問性能需求和磁盤陣列的光纖出口速率，可對集群性能進行精細化分析，在此不詳細探討。

2.1.2邏輯架構(gòu)

使集群節(jié)點訪問存儲設備的路徑唯一，需要對連接到SAN中的服務器和存儲劃分Zone，實現(xiàn)設備的隔離。Zone劃分好以后，配置GPFS集群，形成邏輯上的存儲集群。存儲集群的邏輯架構(gòu)如圖2所示，GPFS將物理磁盤映射形成虛擬設備NSD（Network Share Disk），將一個或多個NSD作為邏輯文件設備掛載到服務器節(jié)點上提供給文件系統(tǒng)使用。

2.2存儲集群構(gòu)建

2.2.1物理結(jié)構(gòu)配置

1）將三臺服務器連接至以太網(wǎng)絡，配置光纖交換機，配置Domain。

SAN1：Domain為1，SAN2：Domain為2

2）規(guī)劃服務器節(jié)點和存儲占用的交換機端口，并按規(guī)則為每個控制器進行編號，在交換機中配置。

（1）服務器節(jié)點

控制器A：I-SRV-1-A-1：1，1 ；

控制器B：I- SRV-1-B-2：2，1 ；

各項含義為：交換-服務器-服務器編號-控制器-Domain：Domain，端口號

（2）磁盤陣列

控制器A：I-DS42-1-A-1：1，4 ；

控制器A：I-DS42-1-A-2：2，4 ；

控制器B：I- DS42-1-B-1：1，5 ；

控制器B：I- DS42-1-B-2：2，5 ；

各項含義為：交換-陣列名稱-陣列編號-控制器-Domain：Domain，端口號

3）物理連線：按照圖1所示結(jié)構(gòu)和端口規(guī)劃，用光纖線連接服務器、SAN交換機和磁盤陣列。

4）Zone劃分：創(chuàng)建Zone，并指定該Zone所包含的端口，將Zone添加到配置中，保存配置，并使其生效。

5）LUN Mapping：基于存儲管理軟件，將LUN與集群節(jié)點的端口進行綁定，使LUN與主機建立一對一或者多對一的映射關(guān)系。

2.2.2GPFS集群構(gòu)建

如圖3所示，在物理架構(gòu)搭建后，對各個服務器節(jié)點做互信配置，并在每個節(jié)點上安裝GPFS軟件包，創(chuàng)建GPFS集群。根據(jù)應用需求創(chuàng)建文件系統(tǒng)，提供給文件存儲使用或數(shù)據(jù)庫應用，則構(gòu)成GPFS高性能存儲集群。

3存儲集群在線擴展技術(shù)

圖2所示GPFS存儲集群的邏輯結(jié)構(gòu)分為三層，服務器節(jié)點層、文件系統(tǒng)層、磁盤存儲層。GPFS存儲集群的擴展包含這三方面：在線擴展服務器節(jié)點、在線擴展磁盤容量和在線擴展文件系統(tǒng)。

3.1在線擴展服務器節(jié)點

風能資源數(shù)值模擬系統(tǒng)[6，7，8]基于SAN和GPFS的集群架構(gòu)，由7臺服務器節(jié)點構(gòu)成高性能數(shù)據(jù)存儲處理集群，但風能資源數(shù)值模擬業(yè)務涉及大量的計算和數(shù)據(jù)處理，隨著業(yè)務計算需求的增加，7個節(jié)點的處理能力逐漸顯得不足，需要在不影響現(xiàn)有應用的情況下在線擴展集群節(jié)點至16個。圖4所示，將G07至G15節(jié)點在線增加至GPFS集群，流程與新建GPFS集群流程相似，如圖5所示，在物理連接配置環(huán)節(jié)，將新增的節(jié)點逐一加入到已有的Zone中，并使配置生效，在集群配置環(huán)節(jié)將節(jié)點增加至集群。集群節(jié)點的擴展包括剔除節(jié)點，直接執(zhí)行最后一個環(huán)節(jié)：從GPFS集群刪除節(jié)點操作。

3.2在線擴展磁盤容量

國家級氣象資料存儲檢索系統(tǒng)[9，10]（簡稱“存儲系統(tǒng)”）中采用了基于SAN和GPFS的集群架構(gòu)，提供高性能計算機用戶無法在高性能計算機上長期在線保存而又需要保存的各類數(shù)據(jù)以及需要備份和歸檔的數(shù)據(jù)。

擴容前存儲能力為337.8TB，可用磁盤容量以所有文件系統(tǒng)平均90%為可用上限計算為304.02TB，僅有20TB左右的余量，無法滿足數(shù)據(jù)量的增長，通過在線擴展磁盤陣列，實現(xiàn)系統(tǒng)無業(yè)務影響擴容80TB，如圖6所示。

集群中存儲容量的擴展，需要將新增的磁盤設備用光纖連線加入SAN中，并加入Zone的配置使其生效，將LUN與集群中的節(jié)點進行綁定。

流程如圖7所示，將已連接集群的該存儲設備創(chuàng)建為虛擬的NSD，并創(chuàng)建文件系統(tǒng)，分配這些空閑的NSD給掛載的文件系統(tǒng)。

3.3在線擴展文件系統(tǒng)容量

省級風能資源數(shù)據(jù)庫共享服務系統(tǒng)[11，12]基于基礎地理信息、風能資源專業(yè)觀測網(wǎng)數(shù)據(jù)、詳查區(qū)數(shù)值模擬結(jié)果與綜合評估數(shù)據(jù)，為決策部門、業(yè)務用戶、行業(yè)用戶以及公眾用戶提供不同層次的風能數(shù)據(jù)共享服務，其數(shù)據(jù)庫存儲基于SAN和GPFS的集群架構(gòu)設計實現(xiàn)。

表1所示為省級風能資源數(shù)據(jù)庫共享服務系統(tǒng)文件系統(tǒng)容量擴展前的參數(shù)值，系統(tǒng)共建立四個文件系統(tǒng)，業(yè)務流程調(diào)試過程中發(fā)現(xiàn)/dev/gpfs_DB文件系統(tǒng)容量預估過小，不能滿足應用需求，擬在不影響現(xiàn)有系統(tǒng)數(shù)據(jù)存儲的情況下，對系統(tǒng)進行調(diào)整。

表2所示調(diào)整后情況，與表1所示調(diào)整前文件系統(tǒng)容量分布比較可以看出，/dev/gpfs_mysql文件系統(tǒng)容量由調(diào)整前的5.5TB縮減為2.2TB，/dev/gpfs_DB文件系統(tǒng)的容量由調(diào)整前的2.2TB，增加至5.5TB，而調(diào)整前后系統(tǒng)總?cè)萘课锤淖儭Ｕ{(diào)整過程在線進行，對用戶和應用透明，未對現(xiàn)有數(shù)據(jù)發(fā)生影響。

該方法是在線實現(xiàn)容量調(diào)整的，但在實踐中需要注意三點：1）GPFS在刪除磁盤前會自動遷移走該盤上的數(shù)據(jù)，前提是該刪除的磁盤是好的、可用的；2）除去要刪除的磁盤之外，是否剩余足夠的磁盤空間存儲文件系統(tǒng)中的數(shù)據(jù)。3）在執(zhí)行調(diào)整命令后留出一定的時間供GPFS元數(shù)據(jù)同步，防止元數(shù)據(jù)不一致導致的性能下降的問題。

3.4系統(tǒng)擴展效果

以上三套系統(tǒng)所采用的基于SAN和GPFS架構(gòu)的存儲集群，其分層的存儲架構(gòu)和靈活的在線擴展技術(shù)使得系統(tǒng)具有良好的業(yè)務適應性，能夠提供高效的數(shù)據(jù)存儲訪問，并能夠隨著業(yè)務需求變化而快速、安全、無縫的擴展。

4總結(jié)

本文介紹了國家級氣象資料存儲檢索系統(tǒng)、省級風能資源數(shù)據(jù)庫共享服務系統(tǒng)和風能資源數(shù)值模擬系統(tǒng)的存儲架構(gòu)和在線擴展的實施，闡述了基于SAN和GPFS技術(shù)的高性能氣象數(shù)據(jù)存儲集群架構(gòu)及其在線擴展技術(shù)，實現(xiàn)了存儲集群數(shù)據(jù)處理能力、數(shù)據(jù)存儲容量及文件系統(tǒng)容量隨著氣象數(shù)據(jù)和業(yè)務需求變化的靈活擴展。經(jīng)過實踐的檢驗，該存儲架構(gòu)具備靈活的可擴展性和適應性，能夠在不影響已有數(shù)據(jù)應用服務的前提下實現(xiàn)在線擴展，適用于快速增長的氣象數(shù)據(jù)存儲管理的需求。

數(shù)據(jù)存儲技術(shù)論文:云計算環(huán)境下的數(shù)據(jù)存儲技術(shù)分析

摘 要 社會經(jīng)濟的快速發(fā)展帶動了科學技術(shù)的進步，尤其是計算機技術(shù)的發(fā)展可謂突飛猛進，目前已經(jīng)出現(xiàn)了新的計算形式，即云計算。該種計算模式的出現(xiàn)，實際上就是對互聯(lián)網(wǎng)技術(shù)的一種升華和體現(xiàn)，在此背景下的數(shù)據(jù)存儲技術(shù)也成為非常重要的一個技術(shù)領域。本文將對云計算與數(shù)據(jù)存儲問題進行簡單闡釋，并在此基礎上就云計算環(huán)境下的數(shù)據(jù)存儲技術(shù)談一下自己的認識，以供參考。

關(guān)鍵詞 云計算；數(shù)據(jù)存儲；研究

所謂云計算，實際上就是一種以服務為主體的現(xiàn)代架構(gòu)體系，基本服務形式有兩種，一種是云計算，另一種是云存儲。云計算是計算機技術(shù)快速的一種新形式，這種基于云計算服務體系的現(xiàn)代應用程序，在現(xiàn)代金融服務領域、網(wǎng)絡系統(tǒng)中扮演著非常重要的角色，幾乎在所有的環(huán)境下都需要云存儲來滿足數(shù)據(jù)處理要求。因此，在當前的形勢下，加強對云計算環(huán)境下的數(shù)據(jù)存儲技術(shù)問題研究，具有非常重大的現(xiàn)實意義。

1 云計算與云存儲

1.1 云計算

云計算主要是基于Internet技術(shù)提供服務的一種技術(shù)形式，它可以提供動態(tài)化的可伸縮、虛擬資源計算模式。其中，云是一種比喻性的說法，實質(zhì)是計算機網(wǎng)絡和互聯(lián)網(wǎng)。傳統(tǒng)意義上的“云”代表的是電信網(wǎng)，近年來才用于互聯(lián)網(wǎng)、基礎設施抽象表達。云計算通過計算，使大量的數(shù)據(jù)信息分布于計算機之上，并非本地計算機、遠程服務器之中，而企業(yè)數(shù)據(jù)中心的實際運行與計算機互聯(lián)網(wǎng)非常相似，這在很大程度上可以使企業(yè)將資源信息切換至客觀應用上，并且根據(jù)實際需求，對計算機及其存儲系統(tǒng)進行訪問。簡單地說，正如從傳統(tǒng)的單臺發(fā)電機模式向現(xiàn)代的電廠集中供電模式轉(zhuǎn)變一樣，這意味著計算能力已經(jīng)作為商品在流通，并且像水電一樣，利用方便而費用低廉，主要區(qū)別在于它是借助互聯(lián)網(wǎng)技術(shù)進行傳輸。

1.2 云存儲

所謂云存儲，實際上基于云計算概念延伸出來的新概念，它與云計算非常相似，以集群應用、分布式文件系統(tǒng)以及網(wǎng)格技術(shù)等功能為基礎，將計算網(wǎng)絡中的各種存儲設備借助應用軟件進行有效集中，從而使其協(xié)同作業(yè)，具體功能是對外提供相關(guān)的數(shù)據(jù)存儲以及業(yè)務訪問。從本質(zhì)上來講，云存儲是對當前存儲模式的一種創(chuàng)新，同時也是特殊的架構(gòu)服務之一。形象地說，就像是云一樣的廣域網(wǎng)、互聯(lián)網(wǎng)，對應用者而言，具有透明性；云存儲的關(guān)鍵在于相關(guān)應用程序軟件、存儲設備之間的有機結(jié)合，并且通過這些應用軟件來實現(xiàn)存儲設備之間的服務轉(zhuǎn)變。

2 云計算環(huán)境下的數(shù)據(jù)存儲體系構(gòu)建

實踐中，云計算環(huán)境下的數(shù)據(jù)存儲體系，主要包括數(shù)據(jù)中心、云服務接口、云用戶以及服務協(xié)議等內(nèi)容，其中數(shù)據(jù)中心主要由存儲管理、分布式文件系統(tǒng)以及存儲設備等構(gòu)成，同時它也是云計算環(huán)境下實現(xiàn)數(shù)據(jù)存儲的基礎。云存儲設備通常沒有特殊的規(guī)定的類型，既可以是個人PC，也可是企業(yè)發(fā)展過程中所應用的專門存儲設備，甚至是二者的結(jié)合體。分布式文件系統(tǒng)，即文件系統(tǒng)管理中的物理存儲資源是通過網(wǎng)絡節(jié)點之間相互連接的，該系統(tǒng)的設計主要是依據(jù)客戶機、服務器模式。

2.1 服務器架構(gòu)

云存儲體系構(gòu)建之前，應當先構(gòu)建云存儲服務器架構(gòu)，它是云計算IAAS中重要組成部分，可通過多樣化的架構(gòu)技術(shù)實現(xiàn)，常見的是附網(wǎng)存儲（NAS）以及存儲區(qū)域網(wǎng)（SAN）。

NAS屬于分布式架構(gòu)系統(tǒng)的文件存儲系統(tǒng)，是一種松散結(jié)合型集群，實踐中可有效滿足以云存儲為主體的環(huán)境要求，而且在該系統(tǒng)集群中，任何一個節(jié)點都是相對獨立的實體。在此系統(tǒng)中，最小單位即為文件。當文件被保存在該集群之中時，其數(shù)據(jù)信息會被有效地保存在集群中的特定節(jié)點上，雖然文件副本很多，也可能會被重新定位到另外的節(jié)點上，從而形成冗余，但該節(jié)點提供的文件單實例卻是唯一的。下圖為NAS存儲架構(gòu)示意圖如圖1所示。

實踐中可以看到，SAN為集群架構(gòu)塊存儲系統(tǒng)的一種，即為緊密結(jié)合型集群系統(tǒng)。當文件請求產(chǎn)生時，每一個節(jié)點都會訪問該文件中的不同數(shù)據(jù)塊，并對用戶的請求進行及時的處理。用戶請求越多，SAN響應請求可用節(jié)點數(shù)量就越多，此時其性能也就越強。實踐證明，該存儲架構(gòu)比較適合于云服務器，而且其可擴展性非常的好，數(shù)據(jù)傳輸效率較高，若配合P2P以及重復數(shù)據(jù)刪除技術(shù)使用，可有效滿足一級存儲要求。

2.2 服務器之間的數(shù)據(jù)信息傳送

針對當前的存儲結(jié)構(gòu)體系，NFS、CIF即為NAS存儲系統(tǒng)的數(shù)據(jù)傳送協(xié)議，將NFS、CIF作為數(shù)據(jù)傳送口，可實現(xiàn)異構(gòu)平臺間的信息資源有效共享。NFS在Windows客戶端加載了NFS客戶端軟件，這樣就可以確保Windows客戶端能夠有效融入到UNIX基礎的計算機網(wǎng)絡系統(tǒng)之中；CIF在UNIX服務器上也加載了CIFS服務器端軟件，這樣就可以使UNIX服務器與本地Windows服務器一樣。NFS與CIF，使NAS服務器間形成一個統(tǒng)一的整體，實現(xiàn)了云存儲服務的統(tǒng)一化，并且在集群環(huán)境下，表現(xiàn)非常的突出。ISCSI也是一種SAN數(shù)據(jù)傳送協(xié)議，它可以實現(xiàn)單客戶端有效應用程，像本地客戶端使用服務器資源一樣，操作結(jié)果對另外客戶端不透明。

3 結(jié)束語

云計算作為一種典型的現(xiàn)代計算模式，擁有較大規(guī)模的數(shù)據(jù)集，可向廣大用戶提供最優(yōu)質(zhì)的服務。云計算環(huán)境下的數(shù)據(jù)存儲，采用的是冗余存儲方式來確保存儲數(shù)據(jù)的安全可靠性，未來云存儲將向著安全性、共享性以及便捷性方向發(fā)展。

數(shù)據(jù)存儲技術(shù)論文:數(shù)據(jù)存儲技術(shù)在云環(huán)境下的應用特性分析

【摘 要】隨著IT系統(tǒng)向云計算技術(shù)方向演進，數(shù)據(jù)存儲應用需求也出現(xiàn)了顯著的變化特點，傳統(tǒng)的數(shù)據(jù)存儲已不能滿足云時代的需要。為解決云時代的數(shù)據(jù)存儲問題，首先分析了傳統(tǒng)數(shù)據(jù)存儲應用技術(shù)現(xiàn)狀，接著在此基礎上分析了塊存儲、分布式存儲、對象存儲、表存儲等非結(jié)構(gòu)化和結(jié)構(gòu)化存儲技術(shù)在云計算環(huán)境中的不同應用及性能特點，為云時代的數(shù)據(jù)存儲技術(shù)提供建議。

【關(guān)鍵詞】云計算 云存儲 塊存儲 結(jié)構(gòu)化存儲

1 傳統(tǒng)數(shù)據(jù)存儲應用現(xiàn)狀

隨著社會信息時代的快速發(fā)展，用戶對存儲的需求增長迅速。在進入云環(huán)境的時代，傳統(tǒng)IT系統(tǒng)存儲技術(shù)面臨建設成本高、運維復雜、擴展性有限等問題的挑戰(zhàn)，系統(tǒng)存儲擴容壓力很大，主要表現(xiàn)在以下幾個方面：首先，傳統(tǒng)存儲開放性不足，通常采用軟硬件一體化解決方案，標準化程度低，不同廠家系統(tǒng)無法混合使用；其次，成本較高，且市場壟斷嚴重，建設成本居高不下，擴容成本尤其高；再者，擴展性能較差，其單點擴展存在容量上限和接口帶寬等限制，面對云時代PB級的海量存儲需求，在容量和性能的擴展上無法滿足。

長期以來，傳統(tǒng)IT系統(tǒng)存儲一直存在諸多資源配置不合理的狀況，帶來資源浪費。一些系統(tǒng)不考慮數(shù)據(jù)的價值和訪問方式，統(tǒng)一放在磁盤陣列或NAS中，相對于云存儲缺少性能、擴展性和低成本的優(yōu)勢。而另有一些系統(tǒng)對磁盤I/O性能要求并不太高，卻仍然采用FC SAN建設，造成建設成本的浪費。大部分系統(tǒng)沒有區(qū)分應用對磁盤可靠性的要求，統(tǒng)一使用SAS磁盤，將SATA盤排除在外，造成一定的浪費。

傳統(tǒng)的塊存儲承載傳統(tǒng)關(guān)系數(shù)據(jù)庫，在應對大數(shù)據(jù)環(huán)境下高性能應用系統(tǒng)，特別是超大規(guī)模和高并發(fā)的業(yè)務系統(tǒng)已經(jīng)顯得力不從心，暴露出很多難以克服的問題。傳統(tǒng)關(guān)系數(shù)據(jù)庫穩(wěn)定性高，使用簡單，功能強大，久經(jīng)歷史考驗，積累了大量的成功案例。但是，隨著網(wǎng)絡技術(shù)和軟件技術(shù)的飛速發(fā)展，網(wǎng)站也開始快速發(fā)展，近幾年比較火爆的論壇、博客、SNS、微博逐漸引領Web領域的潮流。隨著訪問量的急劇上升，幾乎大部分使用傳統(tǒng)數(shù)據(jù)庫的網(wǎng)站都開始出現(xiàn)了性能問題。Web程序也不再僅僅專注在功能上，同時也在追求性能，雖然后來MySQL的集群技術(shù)和Memcache的緩存技術(shù)使得MySQL架構(gòu)在一定程度上緩解了性能的壓力，但最終還是因為其擴展性差（需要比較復雜的技術(shù)來實現(xiàn)），承受著大數(shù)據(jù)下的I/O壓力，因此依然面臨著很大的問題。

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)并不能提供這些應用所需要的高可擴展性，新型的網(wǎng)絡應用又不像金融等領域那樣需要嚴格的數(shù)據(jù)一致性和很強的事務特性，而是對海量數(shù)據(jù)的松散結(jié)構(gòu)表示以及可用性與可擴展性提出了更高的要求。很多研究學者與互聯(lián)網(wǎng)公司早已開始尋求新的數(shù)據(jù)存儲和管理架構(gòu)，并試著弱化數(shù)據(jù)管理系統(tǒng)在一致性和事務性方面的要求，向著系統(tǒng)可用性和可擴展性方面努力，使之成功運用到后端系統(tǒng)中。

2 云環(huán)境下數(shù)據(jù)存儲需求特點

隨著現(xiàn)代信息網(wǎng)絡技術(shù)發(fā)展，數(shù)據(jù)信息總量正呈指數(shù)級爆炸式增長，在如此大量數(shù)據(jù)產(chǎn)生的時代，用戶的數(shù)據(jù)存儲需求具有全新的特點：

（1）對數(shù)據(jù)庫高并發(fā)讀寫的需求

隨著互聯(lián)網(wǎng)應用的發(fā)展，Web 2.0應用強調(diào)的是以用戶為主，需要根據(jù)用戶個性化信息來實時生成動態(tài)頁面和提供動態(tài)的信息，目前比較流行的微博就是如此。該類應用對數(shù)據(jù)庫的并發(fā)訪問的負載就非常高，往往能達到每秒上萬次的讀寫請求，甚至更多。從已有的優(yōu)秀的數(shù)據(jù)庫產(chǎn)品看來，對于上萬次SQL查詢還能勉強應付，但是應付上萬次SQL寫數(shù)據(jù)請求時，I/O成了瓶頸。

（2）對海量數(shù)據(jù)的高效率存儲和訪問的需求

以Facebook為例，它一個月就達到了2.5億條用戶動態(tài)，對于關(guān)系數(shù)據(jù)庫來說，在一張擁有2.5億條記錄的表里面進行SQL查詢，效率是極其低下乃至無法忍受的。在未來大數(shù)據(jù)時代，海量數(shù)據(jù)的高效存儲和訪問是必須要解決的問題。

（3）對數(shù)據(jù)庫的高可擴展性和高可用性的需求

在基于Web的架構(gòu)中，數(shù)據(jù)庫是最難進行橫向擴展的，當一個Web應用的用戶量和訪問量與日暴增時，數(shù)據(jù)庫服務器卻沒辦法像Web Server那樣簡單地通過更多的硬件和服務節(jié)點來進行性能擴展與負載分擔。對于很多需要不間斷提供服務的網(wǎng)站來說，由于這樣的升級需要停機維護和數(shù)據(jù)遷移，將使用戶體驗值急劇降低。

（4）支持非結(jié)構(gòu)化數(shù)據(jù)的處理能力的需求

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫對數(shù)據(jù)的處理和數(shù)據(jù)類型有比較明確的限制，只針對某些數(shù)據(jù)類型，如整型數(shù)字、字符、字符串等，而對類似圖片、音視頻的非結(jié)構(gòu)化數(shù)據(jù)的支持不夠，無法滿足未來用戶對各種各樣類型數(shù)據(jù)的需求。

對于以上數(shù)據(jù)存儲應用需求，傳統(tǒng)存儲應用技術(shù)是無法勝任云計算環(huán)境下應用需求的。云存儲技術(shù)的發(fā)展結(jié)合了各種存儲技術(shù)應用的特點，在容錯、吞吐量、冗余、讀寫分布、數(shù)據(jù)劃分、負載均衡等特性方面進行技術(shù)提升，并綜合多種存儲技術(shù)以適應復雜的不同的數(shù)據(jù)存儲需求。

3 數(shù)據(jù)存儲技術(shù)在云計算環(huán)境中的應用特性分析

現(xiàn)有的IT環(huán)境正逐步向云計算環(huán)境演進，在未來云時代，塊存儲、分布式存儲、對象存儲、表存儲等非結(jié)構(gòu)化和結(jié)構(gòu)化存儲技術(shù)有各自的應用特點，可區(qū)分不同應用需求，實現(xiàn)云環(huán)境下存儲能力最優(yōu)化應用。

3.1 塊存儲技術(shù)

塊存儲基于傳統(tǒng)的磁盤陣列實現(xiàn)，主要為現(xiàn)有各種應用提供通用的存儲能力，將存儲區(qū)域劃分成固定大小的小塊，使傳統(tǒng)裸存儲設備的存儲空間對外暴露，將大量磁盤設備通過SCSI/SAS或FC SAN與存儲服務器連接，服務器直接通過SCSI/SAS或FC協(xié)議控制和訪問數(shù)據(jù)。塊存儲方式由于不存在數(shù)據(jù)打包/解包過程，可提供更高的性能，數(shù)據(jù)訪問延遲低、帶寬較高，但可擴展性差。因此可采用彈性塊存儲降低傳統(tǒng)磁盤盤陣的使用比例，以滿足快速分配和靈活擴展的場景。

塊存儲本身可以通過多個設備堆疊出更大的空間，但受限于數(shù)據(jù)庫的能力，通常只能支持TB級數(shù)據(jù)庫應用。主要為一些高性能、高I/O的企業(yè)關(guān)鍵業(yè)務系統(tǒng)（如企業(yè)內(nèi)部數(shù)據(jù)庫）提供存儲，也可為虛擬機提供集中存儲，包括鏡像和實例的存儲。

在云計算環(huán)境中，塊存儲的使用可根據(jù)數(shù)據(jù)的重要性、訪問頻率、保留時間、容量、性能等指標，進行分級存儲管理。一般可進行動態(tài)、靜態(tài)存儲分級，基于文件級和塊級分級，基于主機和盤陣等類型分級，將數(shù)據(jù)采取不同的存儲方式分別存儲在不同性能的存儲設備上，以實現(xiàn)數(shù)據(jù)客體在存儲設備之間的自動遷移。同時，為提高存儲利用率，還可以使用存儲瘦供給技術(shù)，當存儲真正開始使用時才開始實際分配物理空間，可達到減少每GB可用空間的成本的目的。

3.2 非結(jié)構(gòu)化存儲技術(shù)

在云計算環(huán)境下引入非結(jié)構(gòu)化云存儲技術(shù)可降低傳統(tǒng)盤陣/NAS的采購成本，滿足業(yè)務系統(tǒng)海量非結(jié)構(gòu)化數(shù)據(jù)存儲處理需求。在互聯(lián)網(wǎng)類業(yè)務等具有海量冷數(shù)據(jù)存儲需求的業(yè)務中，可逐步采用基于X86架構(gòu)本地硬盤的分布式文件、對象、彈性塊等云存儲產(chǎn)品，代替NAS和傳統(tǒng)盤陣設備，并開展和推動云存儲接口標準化和規(guī)范化，推動上層業(yè)務軟件適應底層新型云存儲系統(tǒng)，最終在業(yè)務系統(tǒng)中大規(guī)模引入非結(jié)構(gòu)化云存儲技術(shù)。目前非結(jié)構(gòu)化存儲技術(shù)主要包括分布式文件存儲和對象存儲兩種。

（1）分布式文件存儲

分布式文件存儲提供文件存儲能力，把分布在局域網(wǎng)內(nèi)各個計算機上的共享文件夾集合成一個虛擬共享文件夾，將整個分布式文件資源以統(tǒng)一的視圖呈現(xiàn)給用戶，最終以標準文件系統(tǒng)接口形式，向應用系統(tǒng)提供海量非結(jié)構(gòu)化數(shù)據(jù)存儲空間，支持隨機讀寫、復雜目錄結(jié)構(gòu)。

對于數(shù)據(jù)增長量快的文件存儲型業(yè)務，分布式文件存儲提供NFS、CIFS、POSIX等文件訪問接口，但整體協(xié)議開銷較高、響應延遲比塊存儲長，存儲能力和性能水平有待擴展。分布式文件存儲適合TB～PB級文件存儲，可支持文件頻繁修改和刪除，例如存儲圖片、文件、視頻、郵件附件、MMS內(nèi)容等，同時它在文件在線備份和文件共享具有較強優(yōu)勢，但上層業(yè)務需要考慮支持跨多個文件系統(tǒng)的系統(tǒng)結(jié)構(gòu)。

（2）對象存儲

對象存儲與分布式文件存儲都屬于非結(jié)構(gòu)化存儲類型，對象存儲操作簡單、無需頻繁修改，對于一次寫入、多次讀取的數(shù)據(jù)，優(yōu)先考慮對象數(shù)據(jù)存儲系統(tǒng)。對象存儲為海量非結(jié)構(gòu)化數(shù)據(jù)提供Key-Value這種通過鍵-值查找數(shù)據(jù)文件的存儲模式，提供基于對象訪問的REST/SOAP接口，協(xié)議開銷較高，且響應延遲較文件存儲長，應用系統(tǒng)跟存儲系統(tǒng)的耦合程度松散。

在對象存儲中引入對象元數(shù)據(jù)描述對象特征，所存儲的對象是附帶各種屬性信息的文件，屬性包括圖片尺寸、拍攝時間等，一般采用“桶”作為對象的容器來劃分應用和用戶。由于對象存儲系統(tǒng)同時管理用戶信息和實際數(shù)據(jù)，上層業(yè)務設計時需考慮支持跨多個對象存儲的場景。對象存儲屬PB級文件在線存儲，用于在線訪問的文件存儲（包括縮略圖、音樂視頻、大文件）。數(shù)據(jù)存儲后很少改動，對于文件索引所容納的條目數(shù)量不受限制。對象存儲是企業(yè)能夠以低成本的簡易方式實現(xiàn)對大規(guī)模數(shù)據(jù)存儲和訪問的方案。同時，對象存儲使得“混合云”和“公有云”成為可能，也使以互聯(lián)網(wǎng)服務的方式進行廣域歸檔或遠程數(shù)據(jù)備份成為可能。

3.3 結(jié)構(gòu)化存儲技術(shù)

針對傳統(tǒng)數(shù)據(jù)庫對非一致性數(shù)據(jù)存儲及不能靈活擴展等技術(shù)壁壘，在云存儲技術(shù)中用表存儲以管理結(jié)構(gòu)化數(shù)據(jù)或者半結(jié)構(gòu)化數(shù)據(jù)，并通過設置鍵值對映射模型采用Hadoop框架等技術(shù)，向應用系統(tǒng)提供高可擴展的表存儲空間，主要包括交易型（OLTP）數(shù)據(jù)庫和分析型（OLAP）數(shù)據(jù)庫。

交易型應用每次更新或查找少量記錄，并發(fā)量大，響應時間短，主要應用在大規(guī)模互聯(lián)網(wǎng)社交網(wǎng)絡、博客、微博、在線詳單查詢等。在新型互聯(lián)網(wǎng)業(yè)務和詳單查詢業(yè)務中，針對交互性海量數(shù)據(jù)查詢需求，可引入NoSQL存儲，提升系統(tǒng)可擴展性和數(shù)據(jù)處理能力，消除系統(tǒng)瓶頸。

分析型應用特點則是更新少，批量導入，每次針對大量數(shù)據(jù)進行處理，并發(fā)量小。主要應用在大規(guī)模日志存儲處理、信令系統(tǒng)XDR數(shù)據(jù)存儲和分析預處理、經(jīng)分系統(tǒng)ETL等場景。并且可引入逐步成熟的日志詳單類存儲，系統(tǒng)的性能、穩(wěn)定性及安全性將得到全面提升，這可以作為數(shù)據(jù)倉庫的補充，承擔ETL、數(shù)據(jù)挖掘和非結(jié)構(gòu)化數(shù)據(jù)處理，緩解現(xiàn)有數(shù)據(jù)倉庫的壓力。

4 結(jié)束語

在云環(huán)境中積極探索和引入大數(shù)據(jù)處理和云存儲技術(shù)，開展和推動云存儲接口標準化和規(guī)范化，將有效推動上層業(yè)務軟件適應底層新型云存儲系統(tǒng)。在云存儲技術(shù)發(fā)展的另一方面，存儲網(wǎng)絡技術(shù)和存儲介質(zhì)技術(shù)的進步也必將推動云存儲的有效規(guī)模部署，共同推動云時代的加速發(fā)展。

數(shù)據(jù)存儲技術(shù)論文:基于云計算的數(shù)據(jù)存儲技術(shù)

摘要：隨著Web2.0技術(shù)的發(fā)展，用戶對數(shù)據(jù)的計算和存儲需求激增，往往通過購置更多數(shù)量的服務器來增加計算和存儲能力。通過互聯(lián)網(wǎng)租用計算能力和存儲資源，就可以大大減少對自有硬件資源的依賴。因此，將云計算技術(shù)應用到存儲領域可以大大提高資源的利用率。本文主要分析基于云計算的數(shù)據(jù)存儲技術(shù)。

關(guān)鍵詞：云計算，數(shù)據(jù)存儲，技術(shù)

云計算是一種基于服務的架構(gòu)體系，有兩種基本服模式：云計算和云存儲。 基于云計算服務的應用程序，無論是金融服務還是網(wǎng)絡角色扮演游戲，幾乎在所有情況下都需要高性能的云存儲來滿足數(shù)據(jù)處理的需求[1]。網(wǎng)絡時代是一個信息時代，隨著 Web2.0 技術(shù)的成熟，大量的信息以井噴的姿勢出現(xiàn)在互聯(lián)網(wǎng)上，如何應對這種信息爆炸式的增長速度，如何對這些信息進行有效存儲和管理，云存儲是否能夠應對這種情況，如何才能保證云存儲的高性能，如何才能保證云存儲的靈活性，這些是本文探討的問題。

1、云計算與云存儲

1.1 云計算的概念

云計算（cloud computing）是分布式計算技術(shù)的一種，是分布式處理、并行處理和網(wǎng)格計算的發(fā)展。其最基本的概念是通過網(wǎng)絡將龐大的計算處理程序自動拆分成無數(shù)個較小的子程序，再交給由多部服務器組成的運算系統(tǒng)，經(jīng)過計算分析之后將處理結(jié)果回傳給用戶。

1.2 云存儲的概念

云存儲是在云計算概念基礎上延伸和發(fā)展出來的一個新概念。與云計算類似，它是通過集群應用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡中不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。云存儲是對現(xiàn)有存儲方式的一種變革，是一種特殊形式的架構(gòu)服務。如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣，云存儲對使用者來講是透明的，不是指某一個具體的設備，而是指分布在不同物理地域的多臺存儲設備所構(gòu)成的集合體。云存儲的核心是應用程序軟件與存儲設備相結(jié)合，通過應用軟件來實現(xiàn)存儲設備向存儲服務的轉(zhuǎn)變。

2、云存儲系統(tǒng)的結(jié)構(gòu)模型

與傳統(tǒng)的存儲設備相比，云存儲不僅僅是一個硬件，而是一個由網(wǎng)絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的復雜系統(tǒng)。它以存儲設備為核心，通過應用軟件對外提供數(shù)據(jù)存儲和業(yè)務訪問服務。自下而上分別為存儲層、基礎管理層、應用接口層和訪問層。

2.1 存儲層

存儲層是云存儲的基礎部分。各個存儲設備通過網(wǎng)絡設備連接在一起，存儲設備可以是FC光纖通道存儲設備，也可以是NAS和iSCSI等IP存儲設備。在存儲設備層之上是一個統(tǒng)一的存儲設備管理系統(tǒng)，可以實現(xiàn)存儲設備的邏輯虛擬化管理、多鏈路冗余管理以及硬件設備的狀態(tài)監(jiān)控和故障維護[2]。

2.2 基礎管理層

基礎管理層是云存儲的核心部分，也是云存儲中最難實現(xiàn)的部分。基礎管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲系統(tǒng)中多個存儲設備之間的協(xié)同工作，使多個存儲設備可以對外提供強大的數(shù)據(jù)訪問功能。使用CDN（Content Delivery Network）進行內(nèi)容分發(fā)，數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問。同時，通過各種數(shù)據(jù)備份和容災技術(shù)可以避免云存儲中的數(shù)據(jù)不會丟失，保證云存儲系統(tǒng)自身的安全和穩(wěn)定。

2.3 應用接口層

云存儲運營單位可以根據(jù)實際業(yè)務類型開發(fā)不同的應用服務接口并提供不同的應用服務。比如視頻監(jiān)控應用平臺、IPTV和視頻點播應用平臺及遠程數(shù)據(jù)備份應用平臺等。

2.4 訪問層

任何一個授權(quán)用戶都可以通過公用應用接口登錄云存儲系統(tǒng)，享受云存儲服務。不同的云存儲運營單位提供的訪問類型和訪問手段也不盡相同。

云計算是一種新型的計算模式。它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據(jù)集、基于該數(shù)據(jù)集,向用戶提供服務。為保證高可用、高可靠和經(jīng)濟性,云計算采用分布式存儲的方式來存儲數(shù)據(jù),采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性,即為同一份數(shù)據(jù)存儲多個副本。

三、云存儲未來發(fā)展趨勢

云存儲已經(jīng)成為未來存儲發(fā)展的一種趨勢，目前，云存儲廠商正在將各類搜索、應用技術(shù)和云存儲相結(jié)合，以便能夠向企業(yè)提供一系列的數(shù)據(jù)服務。但是，未來云存儲的發(fā)展趨勢，主要還是要從安全性、便攜性及數(shù)據(jù)訪問等角度進行發(fā)展。

四、結(jié)束語

云計算是一種新型的計算模式。它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據(jù)集、基于該數(shù)據(jù)集，向用戶提供服務。為保證高可用、高可靠和經(jīng)濟性，云計算采用分布式存儲的方式來存儲數(shù)據(jù)，采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)存儲多個副本。另外，云計算系統(tǒng)需要同時滿足大量用戶的需求，并行地為大量用戶提供服務。未來云存儲的發(fā)展還是要從安全性、便攜性及數(shù)據(jù)訪問等角度進行深入發(fā)展。