數據虛擬化對大數據優化的重要性

　　大數據就像是從當代數據環境中不斷涌現出的豐富的、極度膨脹的資源。如今，不斷擴張的物聯網、隨處可見的移動設備、社交媒體、點擊流量、網頁以及開放的數據都是導致我們今日數據不斷增長的的主要因素。雖然數據資源富足，但這些數據都是最原始的、未經提煉的，其中存在大量不能用的數據。與其他”自然”資源一樣，“原始的”數據必須經過提煉后，才能被用于生產目的，例如設備維護、產品創新、競爭情報、市場營銷以及數據貨幣化等等。

　　數據細化、提煉的過程可以納入數據探查，準備，關聯和背景化，標注和注釋，統一和整合以及安全和治理政策的應用。元數據也是一個重要的組成部分，它在數據整體細化過程中輸入、輸出階段起著十分重要的作用。

　　其中，數據探查主要是對數據進行技術性分析，對數據的內容、一致性和結構進行描述。數據探查擔負著兩種不同的目標：戰略性的和戰術性的。

　　1、戰略性：一旦確定了某個候選數據源，就應當進行一次輕量級的探查評估來確定該數據源是否適合于包含到數據倉庫中，針對早期的采納/不采納問題提供決策。理想情況下，應當在業務需求分析過程中確定出一個候選數據源之后立即進行戰略性評估。較早地找出那些不合格的數據源是一個責任重大的步驟，即使帶來的是壞消息，也是必要的一步。如果很晚才發現數據源無法支持要做的工作，對DW/BI團隊的積極性將產生重大的打擊，特別是當項目已經展開數月之后才發現數據源存在問題時更是如此。

　　2、戰術性：一旦將某個數據源引入項目的基本戰略決策已經定下來，就需要進行一系列戰術性的數據探查工作來盡可能多地確定出各種問題。通常這一工作從數據建模過程就開始了，一直到ETL系統設計過程。有時ETL團隊也可能需要使用一個其內容沒有經過徹底評估的數據源。系統也可能支持產品過程的需求，但是卻存在ETL方面的難題，因為對產品處理并不重要的字段用來進行分析也是不可靠和不完整的。

　　該子系統中揭示出來的問題最終會產生兩種詳細說明：

　　1、將數據送回原來的數據源中，請求改善數據質量；

　　2、構成了數據質量子系統的需求。

　　備注：元數據（Metadata），又稱中介數據、中繼數據，為描述數據的數據，主要是描述數據屬性的信息，用來支持如指示存儲位置、歷史數據、資源查找、文件記錄等功能。元數據算是一種電子式目錄，為了達到編制目錄的目的，必須在描述并收藏數據的內容或特色，進而達成協助數據檢索的目的。

　　如果還沒有為分析提供數據，那么這些數據可能會受到碎片化、最小化標記和丟失信息的影響。這些特征在電子健康記錄(EHRs)中很明顯，這說明了優化數據面對的挑戰。收集和分析EHR數據的其中的一個障礙就是缺乏適當的標簽和一致的語義的缺乏。

　　EHRs的設計主要是為了滿足病人的醫療、行政和經濟的需要。埃爾斯的多用途目標——不考慮每一種數據的數據分析——可能造成數據碎片化，這需要在為臨床研究等分析提供數據之前進行糾正。

　　從共享患者健康記錄中構建數據集的另一個挑戰是在衛生保健組織中如何實現EHRs的標準化，甚至在相同的衛生保健系統中也缺乏標準化。例如，不同的部門（例如:同一家醫院的放射學、整形和內醫學）可能采用不同的方法來滿足他們獨特的數據輸入需求、文檔和排序需求，以及偏好，因此，會產生數據倉。

　　備注：電子健康記錄（EHR，electronic health record）是個人官方的健康記錄，這些記錄可以在多個設備和機構中共享。一個電子健康記錄通常包括：聯系方式、訪問醫護專業人員信息、過敏史、醫療保險信息、家族遺傳病史、免疫狀況、身體狀況或疾病信息、服用藥物清單、住院記錄、做手術信息等。

　　事實上，數據安全和隱私也可能成為分析受監管數據的障礙，比如在EHRs中?？朔@一障礙的最佳方法是在細化過程中應用適當的安全性和治理。谷歌等公司正在試驗聯邦學習，以推進分析，同時確保隱私。

　　數據的優化對于從數據分析中獲得可靠結果是至關重要的，數據分析包括有意義的結論、準確的預測和明智的決策。

　　事實上，與任何虛擬化一樣，數據虛擬化是一種允許用戶訪問、管理和優化異構基礎架構的方法，就好像它們是一種單一、且在邏輯上是統一的資源一樣。這使得用戶能夠從一些服務、功能或其他資源的內部部署中對外部界面進行抽象化。

　　與支持邏輯上統一的訪問、查詢、報告、預測分析，以及針對關系型、Hadoop、NoSQL等不同后端數據庫應用的任何“SQL-虛擬化”解決方法相同，數據虛擬化的核心是抽象層。

　　當然，數據虛擬化可能會轉而依靠其他的基礎設施虛擬化層，例如存儲與服務器平臺。在某些情況下，數據虛擬化可能會在地理上和多云環境中進行擴張。在眾多層中，虛擬化無疑是這些枯燥數據話題的一個縮影。