資料交換平臺的功能結構設計與實現

資料交換平臺定義

資料交換平臺是指將分散建設的若干應用資訊系統進行整合，透過計算機網路構建的資訊交換平臺，它使若干個應用子系統進行資訊/資料的傳輸及共享，提高資訊資源的利用率，成為進行資訊化建設的基本目標，保證分佈異構系統之間互聯互通，建立中心資料庫，完成資料的抽取、集中、載入、展現，構造統一的資料處理和交換。

資料交換平臺是資料中心與其它應用系統溝通的橋樑，是進行資料交換的樞紐站。資料交換平臺負責從各個業務系統採集資料，對資料進行清洗與整合，按照資料中心建設標準規範化原始資料，最終形成業務核心資料庫，並提供給其它應用系統使用。本文將重點介紹資料交換平臺的功能結構設計與實現。資料交換平臺功能結構設計如下圖所示：

資料交換平臺功能結構

從功能設計上，將資料交換平臺功能劃分成支撐功能與應用功能兩部分。支撐功能是資料交換平臺的基礎，包括資料採集、元資料管理、資料交換服務匯流排、平臺監控及安全管理功能。應用功能是指與具體業務系統相關，應用功能利用資料交換平臺的資料交換服務匯流排，以資料交換服務的形式為各業務系統提供資料共享服務。

資料交換平臺具體實現功能包括資料採集、元資料管理、資料交換服務匯流排、平臺監控和安全管理功能：

（1）資料採集

主要實現三種採集方式：資料複製採集方式、ETL工具採集方式和專用資料採集介面採集方式。資料複製是透過將源資料庫中的資料複製到目標資料庫中，以保持源資料庫與目標資料庫的一致性，一般採用全量複製和增量複製兩種方式，當然，資料複製適用於被採集的資料無需進行負責的資料轉換。ETL工具適用於資料來源中被採集的資料需要轉換的情形，專用資料採集介面適用於資料複製和ETL工具難以滿足資料採集任務的情形，透過自行開發實現。

（2）元資料管理

主要是實現對自身元資料的管理功能，包括對元資料的增加、修改、刪除、瀏覽查詢等一般維護功能，以及維護元資料之間的關聯、依賴關係，並提供元資料的影響分析、來源分析。

（3）資料交換服務匯流排

主要是實現資料交換功能，資料交換服務匯流排由一組基本的交換服務功能組成，包括接入服務、訪問控制服務、訊息轉換服務、路由服務、介面卡服務以及管理服務等。

（4）平臺監控管理功能

主要是實現對平臺各個系統元件的狀態、日誌、異常等進行監測，並進行記錄、統計與分析。

（5）安全管理功能

主要是實現平臺數據的安全交換和使用者的身份認證和授權功能，包含平臺訪問安全和資料交換安全兩個功能。

億信的資料交換管理平臺

正是立足於解決相互獨立的業務系統之間的業務資料可以無障礙傳輸共享的問題，透過豐富的資料處理和交換任務設計，對分散的業務系統進行資料整合，消除“資訊孤島”，實現各類業務系統的互通互聯和資料共享，形成統一的資料服務層，為政企機構業務資訊服務提供可靠的資料基礎。

強大的功能特性

傳輸節點管理

提供豐富的資料來源介面，除支援主流的資料庫和大資料外，還支援文字檔案、 FTP服務、API介面、Web Service服務等多種形態的資料來源。支援從多個異構資料來源取數，能直接完成跨資料庫的資料關聯取數。

圖：資料來源介面

提供豐富元件

提供了豐富的傳輸元件、文字解析元件、介面元件、轉換元件、流程元件等的視覺化元件來保證資料交換功能的完整性，還提供了指令碼元件保證資料交換平臺的擴充套件性。

圖：內建交換元件

視覺化運維與監控

支援拖拽式方式設計流程，透過視覺化操作介面自動生成滿足業務需要的交換任務。支援定時和事件觸發，透過檢測執行時間、監聽資料庫、指定檔案變化來觸發排程，靈活進行資料抽取和交換。

圖：視覺化流程示例

安全高效的資料交換

支援資料加密傳輸、斷點續傳、各種脫敏演算法、資料許可權與功能許可權雙重控制，讓資料傳輸更安全可控；資料分割槽、並行裝載技術讓資料傳輸更高效快速。

圖：設定脫敏方式