激情創新,勇于承擔,樂于分享,發展互贏
當前位置 : 首頁 > 新聞中心
藍光光盤庫在工商銀行電子影像平臺的應用

2020.06.12

電子影像平臺是工商銀行重要的技術支撐平臺,負責管理工商銀行在業務辦理過程產生的非結構化數據,例如憑證影像、音視頻、附件文檔等。截至目前,共有17條業務線,79類影像文檔接入電子影像平臺,其中包括業務集中處理平臺、遠程授權、GCMS全球信貸等重要的業務系統。隨著業務的快速發展,累積的存量歷史數據越來越大,目前電子影像平臺存量批次約為79.6億個(約2PB),且以每天3TB的速度快速增長,如何管理數量龐大的離線影像數據是一個巨大的挑戰。


    一、工商銀行電子影像平臺背景介紹

此前,電子影像平臺采用IBMCM管理歸檔數據,離線時采用普通DVD光盤刻錄,刻錄過程需要人工干預,刻錄效率低下,離線速度遠遠趕不上數據增長速度,導致電子影像平臺的存儲使用量不斷膨脹。同時,普通DVD容量小、壽命短,幾千張光盤的管理和查閱非常麻煩。


    2013年9月,工商銀行總行架構評審通過《電子影像及文檔服務平臺優化研究報告》,決議要求對電子影像及文檔服務平臺進行優化升級,完善離線數據服務功能,簡化離線數據管理復雜度是優化改造的重要內容。經過長達半年的測評,工商銀行引入華錄藍光光盤庫作為電子影像平臺離線數據歸檔存儲和管理介質。


    二、藍光光盤庫介紹
    藍光光盤庫以單張容量為100GB的專業檔案級藍光光盤為存儲介質,使用激光燒制的物理存儲方式進行數據保存,不受電磁輻射干擾,且一次寫入后不可更改,可避免人為誤操作并防范惡意病毒軟件的攻擊,確保了數據的安全性。該碟片取得國際認證,通過長時間光照實驗、強力彎曲實驗、浸水實驗、劃傷實驗等證明其具有極高的可靠性、穩定性。通過基于Eyring模型的加速老化壽命試驗,按照ISO/IEC16963-2011標準進行壽命估算,驗證其有50年數據有效存儲壽命。藍光光盤結構示意如圖1所示。
 

華錄藍光光盤庫采用光盤匣的方式管理碟片,每個光盤匣內藏12張藍光碟片,采用100GB藍光光盤的光盤匣容量達到1.2TB,單臺光盤庫可容納90個光盤匣,容量達到108TB。采用19英寸標準機架可容納7臺光盤庫,總容量可達到756TB。藍光光盤庫內部結構示意如圖2所示。

藍光光盤保存長達50年以上,無需頻繁地進行數據遷移,且光盤庫不需要空調、風扇等環境降溫冷卻系統,其主機工作功率僅為120W,整體存儲成本遠低于磁盤陣列和磁帶庫,真正實現長期、安全、綠色環保的數據保存。


    三、藍光光盤庫在工商銀行的特色化應用
    1.項目需求
    結合工商銀行電子影像平臺的現狀和業務發展需求,引入藍光光盤庫產品需要滿足以下幾點要求。
    (1)按照數據生命周期管理技術規范,對離線歸檔階段的數據進行統一管理;
    (2)對符合離線條件的數據自動進行離線刻錄,無需人工干預;
    (3)數據離線后需對在線歸檔服務器進行數據清理,釋放存儲空間;
    (4)在庫數據可準實時查詢,離庫數據可快速查詢;
    (5)離線數據需有災備機制。


    2.藍光光盤庫系統功能模塊
    針對以上需求,華錄公司和銀行軟件開發中心進行合作,開發了特色化的DABC模塊,確保藍光光盤庫系統滿足工商銀行高安全性、高可用性、高穩定性特色化要求。藍光光盤庫系統功能模塊如下。
    (1)數據生命周期
    提供配置頁面按應用類別配置在線周期、歸檔保留周期、離線保留周期。目的是對超期歸檔數據進行離線處理,降低在線及歸檔數據規模。


    (2)定時刻錄功能
    按保留時間策略,每天到任務啟動時將超期的數據按類別自動湊整刻盤。目的是釋放在線存儲空間,降低人工維護成本,極大化使用光盤匣。


    (3)離線數據查詢
    以查詢任務列表方式管理查詢請求,采用緩沖機制,實現數據異步查詢。目的是告知用戶目前狀態及再查詢說明,提高用戶查詢體驗度。


    (4)離庫盤匣管理
    離庫盤匣貼上標簽,按應用號、數據時間順序擺放,人工錄入位置信息。目的是通過有效地管理離線柜中擺放的光盤匣,擴充更大的光盤庫容量。


    (5)管理控制系統
    包括容量管理、刻錄管理、查詢管理、狀態監控管理等內容。目的:有效保障光盤庫正常運行。


    (6)離線數據災備
    在本地機房和災備機房各刻錄1份相同內容的光盤匣,進行異地備份。目的是防患于未然,以利于災后數據快速恢復。


    (7)應用監控服務
    包括可用性(光盤庫、管控服務狀態)、批量事件、聯機交易等。目的是在人工換盤匣、刻錄容量不足、達到閾值等情況下進行報警通知。


    3.藍光光盤庫系統架構及實現功能
    藍光光盤庫項目于2015年6月中旬完成工商銀行全行推廣部署,系統架構如圖3所示,系統技術架構如圖4所示。

光盤庫在電子影像平臺的功能為:負責接收在線歸檔服務器中完成生命周期的數據,并刻錄至藍光光盤;對于客戶端的離線查詢請求,將數據從藍光光盤中讀取并返回。


4.藍光光盤庫系統特點
    (1)根據客戶需求訂制系統組建方案,提供存儲硬件設備和光盤庫管控軟件(DAM)及負責業務管理系統(EAP)綜合開發;
    (2)實現數據定時刻錄、檢索查詢、重要數據備份、光盤匣離線管理、系統故障恢復等業務應用;
    (3)保障數據自動化高 效管理、低成本長久保存、高可靠安全存儲;
    (4)滿足客戶數據爆炸式增長的需求,降低數據保存成本壓力,為大數據應用價值的深度挖掘提供基礎服務。


    四、實際應用效果
    為全 面了解藍光光盤庫的使用、運行情況,優化完善藍光系統各項功能,由工商銀行總行應用二處牽頭,軟件開發中心廣州一部、架構辦、應用支持二部以及華錄公司共同參與,于2015年9月份赴河南分行、四川分行、貴州分行進行現場調研。調研交流期間,分行科技人員和業務人員對藍光光盤庫的刻錄查詢效率、操作便利性,以及對存儲成本等給予了肯定,同時也對災備管理、日常運維等方面提出了優化建議。結合分行調研建議及光盤庫運行過程中發現的問題,華錄公司投入人力進行了系統優化完善,工商銀行于2016年7月份全行投產了該優化版本。投產后分行反饋系統運行穩定,對使用效果表示滿意。


    1.藍光光盤庫投產前分行離線歸檔數據情況
    以前分行的在線歸檔數據采用IBMCM和舊的近線系統保存,離線使用普通DVD光盤,由于IBMCM是小文件管理模式,刻錄一張光盤需要近2小時,值班人員日常操作較多,每日僅能刻錄3張光盤(一式兩份,共計6張),一個月僅能離線保存約360GB數據,而分行一個月的數據增量約為2TB,造成高端存儲的使用量不斷增長;并且DVD光盤的質量較低,需要每3年定期翻刻,使用和管理成本高且查詢效率低下。


    2.藍光光盤庫投產后分行的應用情況
    藍光光盤庫項目投產后,分行反饋系統運行穩定,維護工作比較輕松。由于是大文件塊模式離線刻錄,目前分行一天可以上傳到光盤庫的數據量約為500G左右,當天的刻錄任務都能完成,相當于以前普通DVD一個半月的刻錄量。整個上傳和刻錄以及盤匣備份都是系統自動完成,無需人工操作,分行對此非常滿意。
    在成本投入方面,因初期需要采購光盤庫、管控服務器和光盤匣,成本較高,隨著刻錄數據的增加,后續只需購買光盤匣,相比其他存儲設備更加節約成本。
    在使用方面,以前查詢離線數據需要走完審批流程后再人工查找光盤獲取數據,現在可直接聯機發起查詢請求,觸發光盤庫準備數據,稍后即可聯機查看數據。由于離線數據的查詢頻率較低,光盤庫的效率可基本滿足業務要求。
    藍光光盤庫為工商銀行電子影像離線數據的管理提供了極大便利,得到了各分行的一致認可,同時各分行也對進一步加強藍光光盤庫的應用提出了建設性意見。各分行希望擴大藍光光盤庫的使用范圍,應用于電子影像平臺之外的其他系統,后續工商銀行將根據光盤庫的技術特點,研討更多的應用場景。

華錄光存儲研究院

掃描二維碼,關注我們

CONTACT US
電話: 0411-65801066
客戶咨詢郵箱: gcc@hualu.com.cn
地址:中國遼寧大連高新技術產業園區黃浦路717號
華錄光存儲研究院(大連)有限公司版權所有 遼ICP備20006991號-1
日本精品成人久久久