數(shù)字經(jīng)濟時代，非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式增長，面對容量大、數(shù)量和種類繁多的非結(jié)構(gòu)化數(shù)據(jù)，集中式存儲性能無法滿足應(yīng)用需求，分布式存儲架構(gòu)漸成主流。在存儲架構(gòu)升級過程中，應(yīng)用業(yè)務(wù)系統(tǒng)老舊、存儲系統(tǒng)孤立等問題成為數(shù)據(jù)入湖的阻礙。

　　數(shù)據(jù)入湖面臨的常見問題

　　以智能生產(chǎn)車間存儲架構(gòu)升級過程為例，面臨的常見問題有：

　　應(yīng)用改造難，架構(gòu)升級受阻

　　智能生產(chǎn)車間的現(xiàn)有機臺系統(tǒng)往往使用 NAS 共享甚至本地文件方式訪問存儲系統(tǒng)，由于業(yè)務(wù)系統(tǒng)技術(shù)服務(wù)終止、架構(gòu)升級代價昂貴等原因，無法直接對接對象存儲 API 接口，此時企業(yè)往往采用如下圖1所示的“臨時寫入本地磁盤+數(shù)據(jù)同步腳本”的折中方案，將文件持續(xù)上傳到對象存儲。

圖1 腳本上傳數(shù)據(jù)架構(gòu)

　　多業(yè)務(wù)系統(tǒng)/終端管理復(fù)雜，效率低

　　由于智能生產(chǎn)車間內(nèi)部數(shù)據(jù)管理涉及所有生產(chǎn)機臺，而大型智能制造企業(yè)機臺數(shù)量往往達到數(shù)千級別，單純基于上述單機腳本分別管理上千個機臺，每個機臺均需要獨立部署和配置，對于運維人員來說顯然過于復(fù)雜。

　　大量機臺運維成本高，業(yè)務(wù)可靠性低

　　數(shù)千個機臺節(jié)點需要單獨運維，業(yè)務(wù)管理員無法全面主動駕馭，只能定時逐個檢查機臺運轉(zhuǎn)是否正常，如業(yè)務(wù)出現(xiàn)故障無法及時處理，不僅消耗人力物力，業(yè)務(wù)可靠性也缺乏保障。

　　IT 系統(tǒng)在支撐業(yè)務(wù)快速發(fā)展的同時，企業(yè)核心生產(chǎn)數(shù)據(jù)的安全、可用成為關(guān)鍵。數(shù)據(jù)不斷增長使企業(yè)原有的數(shù)據(jù)存儲不可避免需要升級、擴容和更新?lián)Q代。海量數(shù)據(jù)接入難及數(shù)據(jù)孤島問題，給企業(yè)數(shù)據(jù)的治理和利用帶來了極大阻礙。在此過程中，運維人員往往面臨著應(yīng)用改造難、多業(yè)務(wù)系統(tǒng)管理復(fù)雜、運維成本高等問題。如何更高效、安全、完整地完成存儲架構(gòu)升級、替換、遷移的目標(biāo)，保證業(yè)務(wù)的連續(xù)性?

　　DataIngestor：數(shù)據(jù)入湖新通道

　　基于上述背景，結(jié)合客戶業(yè)務(wù)數(shù)據(jù)遷移管理需求，杉巖數(shù)據(jù)全新推出數(shù)據(jù)入湖新通道 DataIngestor。如圖2所示，DataIngestor 核心組件包括中心集中管控服務(wù) IngestorServer 和終端管理插件 Agent 兩部分，Agent 以本地服務(wù)的形式運行在終端節(jié)點上，通過 token 認(rèn)證與服務(wù)端建立安全連接;IngestorServer 基于統(tǒng)一的管理入口對全局的所有 Agent 進行數(shù)據(jù)傳輸任務(wù)管理，上述三個難題迎刃而解：

圖2 DataIngestor 業(yè)務(wù)架構(gòu)圖

　　·Agent 對本地文件的全量和持續(xù)增量上傳管理，不再需要業(yè)務(wù)軟件改造或者客戶開發(fā)數(shù)據(jù)管理工具，大大降低了客戶存儲架構(gòu)升級的門檻。

　　·可視化的任務(wù)配置，統(tǒng)一的監(jiān)控系統(tǒng)，大幅降低運維工作量，提升生產(chǎn)效率。

　　·持續(xù)的機臺狀態(tài)及資源監(jiān)控告警，能夠第一時間反饋產(chǎn)線問題，及時處理故障，提升業(yè)務(wù)可靠性。

　　此外，如圖3所示，DataIngestor 支持與杉巖 MOS 海量對象存儲的智能數(shù)據(jù)處理引擎聯(lián)動，基于智能數(shù)據(jù)處理引擎的靈活性和對業(yè)務(wù)流程的支持，數(shù)據(jù)匯聚的過程中可以根據(jù)用戶業(yè)務(wù)需要觸發(fā)相應(yīng)的數(shù)據(jù)智能處理流程，如輸出數(shù)據(jù)統(tǒng)計分析、業(yè)務(wù)洞察報告及業(yè)務(wù)數(shù)據(jù)風(fēng)險預(yù)警，有效提高企業(yè)數(shù)據(jù)管理效率，助力客戶商業(yè)成功。

圖3 DataIngestor 與杉巖 MOS 智能數(shù)據(jù)處理引擎聯(lián)動示意圖

　　一探究竟：DataIngestor 功能特性詳解

　　數(shù)據(jù)源端管理

　　如圖4所示，通過數(shù)據(jù)源端管理界面，可以動態(tài)增加需要一次性遷移或者持續(xù)數(shù)據(jù)匯聚的數(shù)據(jù)源端。

圖4 數(shù)據(jù)源端管理

　　數(shù)據(jù)目標(biāo)端

　　如圖5所示，通過界面可以添加數(shù)據(jù)目標(biāo)端，支持自定義名稱、配置存儲桶、服務(wù)地址及鑒權(quán)密鑰。

圖5 數(shù)據(jù)目標(biāo)端管理

　　任務(wù)管理

　　如圖6所示，在任務(wù)管理界面可以選擇已經(jīng)添加的數(shù)據(jù)源端和目標(biāo)端，配置數(shù)據(jù)一次性遷移或持續(xù)匯聚類型任務(wù);可選擇數(shù)據(jù)標(biāo)簽感知策略，上傳文件的同時根據(jù)策略配置自動生成文件標(biāo)簽。此外，支持按業(yè)務(wù)需要調(diào)整增量數(shù)據(jù)掃描間隔，以滿足不同業(yè)務(wù)壓力場景需要。

　　對于遷移類型的數(shù)據(jù)上傳任務(wù)，支持配置數(shù)據(jù)上傳執(zhí)行時間段，可以按需避開在線業(yè)務(wù)高峰，在業(yè)務(wù)閑時啟動歷史數(shù)據(jù)遷移任務(wù)。

圖6 數(shù)據(jù)傳輸任務(wù)管理

　　Agent管理

　　如圖7所示，系統(tǒng)管理界面持續(xù)展示 Agent 節(jié)點的在線狀態(tài)、執(zhí)行任務(wù)類型、任務(wù)狀態(tài)、Agent 本地空間利用率、CPU 使用率及內(nèi)存使用率，同時支持通過 Agent 機器 IP 地址搜索過濾查看，大大提升終端節(jié)點管理效率。

圖7 Agent 終端節(jié)點管理

　　告警監(jiān)控管理

　　如圖8所示，當(dāng)前支持如下告警類型：

　　任務(wù)傳輸異常告警：不論是節(jié)點網(wǎng)絡(luò)異常，還是其他原因?qū)е聰?shù)據(jù)傳輸任務(wù)執(zhí)行異常，Agent 進程都會及時上報告警到 server 端，方便管理員快速分析，恢復(fù)服務(wù)。

　　Agent 本地空間不足告警：業(yè)務(wù)壓力過大或者網(wǎng)絡(luò)異常導(dǎo)致的數(shù)據(jù)堆積，致使本地空間超過一定閾值時，Agent 會自動上報空間不足告警。

　　Agent 節(jié)點失聯(lián)告警：當(dāng) Agent 節(jié)點異常或者網(wǎng)絡(luò)不通時，server 端會主動觸發(fā)告警。

圖8 告警管理

　　總結(jié)

　　DataIngestor 提供數(shù)據(jù)源端/目標(biāo)端管理，支持配置一次性遷移或持續(xù)數(shù)據(jù)匯聚任務(wù)，同時支持自定義數(shù)據(jù)傳輸動作執(zhí)行時間段，可選配置數(shù)據(jù)內(nèi)容感知策略自動打標(biāo)簽以便業(yè)務(wù)檢索管理，省去企業(yè)業(yè)務(wù)軟件改造成本，降低數(shù)據(jù)入湖門檻，提升業(yè)務(wù)故障處理效率，大幅降低運維工作量。

　　同時 DataIngestor 支持與杉巖 MOS 智能數(shù)據(jù)處理引擎聯(lián)動，能夠主動觸發(fā)數(shù)據(jù)統(tǒng)計分析、業(yè)務(wù)洞察報告生成和風(fēng)險預(yù)警，支撐企業(yè)關(guān)鍵業(yè)務(wù)決策。顯而易見，DataIngestor 是基于杉巖 MOS 的企業(yè)數(shù)據(jù)湖方案絕佳拍檔。

特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。