數據倉庫與智能卡應用系統

文章出處：http://www.xujuanpiju.com 作者：創峰金安公司 楊升   人氣： 發表時間：2011年09月18日

1．前言 

    隨著全球一體化進程的加劇和我國加入世貿組織，對我國政府及企業的管理工作提出了更高的要求。因此，充分利用現代信息科技技術，自動快速獲取有用的決策信息，為企業提供及時、準確的決策支持，已成為大多數成功企業及政府部門的共識。 

    數據倉庫是近年來興起的一種新的數據庫應用。“數據倉庫”一詞最早出現于20世紀90年代初，目前已趨于成熟。據IDC調查，數據倉庫的平均投資回報率（ROI）已超過400%。數據倉庫技術與互聯網技術一樣，正在成為最快的IT增長點，并日益緊密地與智能卡應用技術相結合。 

2．數據倉庫 

    傳統的數據庫技術是以單一的數據資源，進行事務處理、批處理、決策分析等各種數據處理工作，主要的劃分為兩大類：操作型處理和分析型處理(或信息型處理)。操作型處理也叫事務處理，是指對數據庫聯機的日常操作，通常是對一個或一組紀錄的查詢和修改，主要為企業的特定應用服務的，注重響應時間，數據的安全性和完整性；分析型處理則用于管理人員的決策分析，經常要訪問大量的歷史數據。傳統數據庫系統優于企業的日常事務處理工作，而難于實現對數據分析處理要求，已經無法滿足數據處理多樣化的要求。操作型處理和分析型處理的分離成為必然。 

    隨著數據庫技術的應用和發展，人們嘗試對數據庫中的數據進行再加工，形成一個綜合的，面向分析的環境，以更好支持決策分析，從而形成了數據倉庫技術。作為決策支持系統，數據倉庫系統包括： 

1）數據倉庫技術； 

    數據倉庫是適合知識發現的過程的結構。數據倉庫的處理過程是從“數據清理/整合——>數據倉庫——>數據選擇——>數據挖掘——>模式評價——>知識”不斷循環的過程 

2）聯機分析處理技術； 

    聯機分析處理是使分析人員、管理人員或執行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數據的更深入了解的一類軟件技術。 

3）數據挖掘技術； 

    從大量的、不完全的、有噪聲的、模糊的、隨機的實際應有數據中，提取出隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。它是在沒有明確假設的前提下去挖掘信息、發現知識。 

    數據倉庫彌補了原有的數據庫的缺點，將原來的以單一數據庫為中心的數據環境發展為一種新環境：體系化環境。 


    數據倉庫概念始于本世紀80年代中期，第一次出現是在號稱“數據倉庫之父”William H.Inmon的《建立數據倉庫》一書中。隨著人們對大型數據系統研究、管理、維護等方面的深刻認識和不斷完善，在總結、豐富、集中各行業，企業信息的經驗之后，為數據倉庫給出了更為精確的定義，即“數據倉庫是在企業管理和決策中面向主題的、集成的、與時間相關的、不可修改的數據集合”。 

    數據倉庫并沒有嚴格的數學理論基礎，也沒有成熟的基本模式，且更偏向于工程，具有強烈的工程性。因此，在技術上人們習慣于從工作過程等方面來分析，并按其關鍵技術部份分為數據的抽取、存儲與管理以及數據的表現等三個基本方面。 

1)      數據的抽取： 

    數據的抽取是數據進入倉庫的入口。由于數據倉庫是一個獨立的數據環境，它需要通過抽取過程將數據從聯機事務處理系統、外部數據源、脫機的數據存儲介質中導入到數據倉庫。 

2) 存儲和管理： 

    數據倉庫的真正關鍵是數據的存儲和管理。數據倉庫的組織管理方式決定了它有別于傳統數據庫，同時也決定了其對外部數據的表現形式。要決定采用什么產品和技術來建立數據倉庫的核心，則需要從數據倉庫的技術特點著手分析。  

3)　數據的表現： 

    數據表現實際上相當于數據倉庫的門面，其性能主要集中在多維分析、數理統計和數據挖掘方面。而多維分析又是數據倉庫的重要表現形式，近幾年來由于互聯網的發展，使得多維分析領域的工具和產品更加注重提供基于Web前端聯機分析界面，而不僅僅是在網上發布數據。 

    數據倉庫技術應用領域非常廣，凡是涉及到數據分析，報表匯總，決策支持等與數據有關的信息系統，都是其應用的范圍。 

3．智能卡 

    智能卡即IC卡，就是集成電路卡。它的顯著特征就是自身嵌裝有微處理器及大容量存儲器等集成電路芯片。IC卡是伴隨著半導體技術的發展和社會對信息安全性等要求的日益提高而應運而生的，經過近幾十年的發展，其技術日趨成熟，目前在國內外均已經得到了很廣泛的應用。由于IC卡采用了當今最先進的半導體制造技術和信息安全技術，相對于其他卡具，如磁卡等，主要有以下優點：  
    ① 存儲容量大：因其內部有集成電路存儲器芯片，存儲容量可達幾兆字節，為磁卡的幾千至幾萬倍。IC卡的存儲器可以分成若干應用區，分別存儲文字、聲音、圖形、圖像等各種信息，便于一卡多用，方便保管。  
    ② 安全性能高：加密IC卡從硬件和軟件等幾個方面實施其安全策略，可以控制卡內不同存儲區域的存取特性。IC卡本身具有安全密碼，卡內的信息加密后不可復制。只有密碼核對正確后才能對卡內的信息進行讀寫操作，對安全密碼核對錯誤時，卡片具有自毀功能；而磁卡等一般只能用功能較弱的軟件加密措施，存儲信息很容易被復制，安全性較差。 
    ③ IC卡防磁、防一定強度的靜電，一般至少可重復讀寫十萬次以上，使用壽命長，可靠性比磁卡高。且IC卡體積小、重量輕，便于攜帶，易于使用。 
    ④ IC卡的讀寫機構比磁卡的讀寫機構簡單可靠、造價便宜，維護方便，推廣容易。 正是由于這些優點，IC卡越來越受重視，其市場迅速遍及世界各地，而其應用領域也從最初單一的銀行信用卡領域，滲透到包括稅務征收、付費電話、健康記錄、身份認證、賓館旅游等多個領域。 

    IC卡的使用，應該說還有很大的擴展空間，上面所說，只是其中一部分，推而廣之，各行業中的辦公自動化(OA)系統、考勤系統、甚至人員的工資等，均可用IC卡作為身份認證、數據查詢及數據存儲，真正實現一卡多用。 

    即將開始試驗使用的我國第二代身份證采用非接觸IC卡技術，是最大的IC卡應用項目。它的使用，對加強我國人口信息化的安全性和高效性將起到十分重要的作用。 

4．二者的結合 

    智能IC卡作為與信息系統的接口，大量業務數據的產生與它有關。包括銀行，電信，稅務，海關等積累了大量的數據，業務人員與決策人員都希望能夠從中發現可利用的，有價值的信息。在這樣的需求下，數據倉庫技術便在智能卡應用領域迅速的推廣開來。 

    以煙草行業為例，基于Sybase（美國數據庫供應商）數據倉庫技術的煙草商業信息系統。分為五個版本：為國家專賣局(煙草總公司)、省煙草公司(省煙草專賣局)、地區級煙草公司(煙草專賣局)也叫煙草分公司(分公司煙草專賣局)、縣煙草公司(煙草專賣局)、煙草批發部。數據是垂直分布，并且是有關聯性的。以便完成購銷業務、匯總處理和查詢功能。 

    針對煙草行業的業務特點，系統分為八個子系統進行設計：日常業務管理子系統、倉儲管理子系統、商品帳核算子系統、專賣管理子系統、價格管理子系統、通用報表子系統、綜合查詢子系統、移動訪銷、配送、稽查系統。 

    靈活的IC卡銷售及專賣管理是其中的一個重要子系統。門店銷售時系統在商戶IC卡上記錄銷售數據，送貨時通過移動式IC卡讀寫器對商戶作卷煙銷售，銷售記錄同時記入商戶IC卡和IC卡讀寫器，并自動上傳到MIS系統；專賣檢查人員也可以通過移動式IC卡讀寫器對商戶進行專賣檢查，將檢查結構同時記入商戶IC卡和IC卡讀寫器，自動上傳到MIS系統。并抽取到數據倉庫數據服務器供決策支持使用。 

    整個系統結合了數據倉庫和智能IC卡的特點。充分考慮到系統的融合與獨立性。實現了如下的一些特點： 

1．實現數據的采集 

2．高效的IC卡專賣的管理 

3．高效率的存儲和查詢 

    這樣的系統充分集合了數據倉庫與智能卡二者的優點，使整個體系有了完整的信息化流程。 

    中國是人口大國，人口的管理一直是國家非常重視的。作為人口系統化的重要部分，我國第一代身份證以其保密性差，易仿造等諸多缺點，已經不能滿足未來的需要。即將取而代之的第二代身份證將采用非接觸IC卡技術，在防偽性、保密性等方面將有質的飛躍。 

    人口信息系統最大的特點是數據量大，每年的調查格式不盡相同。以中等城市人口統計數據為例，許多歷年的、大量的人口調查原始資料多以紙介質、軟盤、磁帶等形式存儲在資料庫里，這些寶貴的資料，一方面面臨外部環境對傳統保存方式數據安全性的挑戰，另一方面各業務部門和相關單位也有充分利用、進行數據挖掘的迫切需求。而數據倉庫的應用，是一種最佳解決之道。 

    舉例來說，某市人口約900萬，第四次人口普查數據加上近十年的人口調查資料、勞動力情況調查資料和社區情況調查資料，原始數據量約10GB。針對人口系統的特點，采用了數據倉庫技術并面向主題設計了最佳數據模型和數據字典。人口數據的整理需要一定的時間，在項目的實施過程中數據整理工作和數據加載工作同步進行。第四次人口普查900萬條數據和1990年至今近十年的抽樣調查數據已全部加載到人口數據倉庫。 

    人口信息數據大，對數據倉庫引擎和數據加載工具有極高的性能要求。NCR（作為以硬件為主的的數據倉庫解決方案提供商）它的Teradata數據倉庫是完全并行的數據庫，速度非常之快；NCR的FastLoad數據加載工具也是并行的，可以啟動多個會話進程，加載900萬人口數據僅需15分鐘，這對其它數據庫來說是不可想象的。 

    人口系統的應用特點是各年度的絕對調查指標之間缺少可比性，要對原始數據進行加工整理，在原始數據基礎之上派生各種相對分析指標，如人口分布、年齡結構、生育結構、家庭結構、婚姻狀況等以滿足各年度之間的分析研究。考慮到通用性和便于統計業務人員進行分析，我們設計了一個通用的、功能強大的、靈活的派生數據模塊，利用后臺處理和Teradata快速的特點，能將原始數據生成相對通用的派生數據。派生數據已將指標代碼轉化成漢字屬性，并計算和產生了許多新的屬性字段，在派生數據基礎之上，利用報表工具（如Brio工具），統計業務人員和人口研究人口可以隨機產生各種報表，可以作各種各樣的聯機分析處理這將大大提高了工作效率。加上未來第二代身份證采用非接觸IC卡技術，在安全性、唯一性方面有強有力的保障。使人口信息系統在數據識別，信息交互方面以及與底層數據通訊速度方面都將有很大的提高。 

5.前景展望 

    數據倉庫工程是一個復雜的信息集成工程,需要有事先周密的規劃。通過對數據倉庫工程進行規劃， 要明確分析信息的需求和現狀，提出如何通過采用相應技術，實施可行的工程化步驟，達到工程項目的預期目標。隨著數據倉庫技術和智能卡在各行業及企業的應用，二者的結合也將趨于成熟。為政府，企業決策提供更先進的技術手段，必將進一步加強政府，企業的管理和決策職能。數據倉庫技術在不遠的將來，必將在我國的信息化的建設中發揮重要作用。