數(shù)字經(jīng)濟(jì)時(shí)代，非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式增長(zhǎng)，面對(duì)容量大、數(shù)量和種類繁多的非結(jié)構(gòu)化數(shù)據(jù)，集中式存儲(chǔ)性能無(wú)法滿足應(yīng)用需求，分布式存儲(chǔ)架構(gòu)漸成主流。在存儲(chǔ)架構(gòu)升級(jí)過(guò)程中，應(yīng)用業(yè)務(wù)系統(tǒng)老舊、存儲(chǔ)系統(tǒng)孤立等問(wèn)題成為數(shù)據(jù)入湖的阻礙。

　　數(shù)據(jù)入湖面臨的常見(jiàn)問(wèn)題

　　以智能生產(chǎn)車間存儲(chǔ)架構(gòu)升級(jí)過(guò)程為例，面臨的常見(jiàn)問(wèn)題有：

　　應(yīng)用改造難，架構(gòu)升級(jí)受阻

　　智能生產(chǎn)車間的現(xiàn)有機(jī)臺(tái)系統(tǒng)往往使用 NAS 共享甚至本地文件方式訪問(wèn)存儲(chǔ)系統(tǒng)，由于業(yè)務(wù)系統(tǒng)技術(shù)服務(wù)終止、架構(gòu)升級(jí)代價(jià)昂貴等原因，無(wú)法直接對(duì)接對(duì)象存儲(chǔ) API 接口，此時(shí)企業(yè)往往采用如下圖1所示的“臨時(shí)寫(xiě)入本地磁盤(pán)+數(shù)據(jù)同步腳本”的折中方案，將文件持續(xù)上傳到對(duì)象存儲(chǔ)。

圖1 腳本上傳數(shù)據(jù)架構(gòu)

　　多業(yè)務(wù)系統(tǒng)/終端管理復(fù)雜，效率低

　　由于智能生產(chǎn)車間內(nèi)部數(shù)據(jù)管理涉及所有生產(chǎn)機(jī)臺(tái)，而大型智能制造企業(yè)機(jī)臺(tái)數(shù)量往往達(dá)到數(shù)千級(jí)別，單純基于上述單機(jī)腳本分別管理上千個(gè)機(jī)臺(tái)，每個(gè)機(jī)臺(tái)均需要獨(dú)立部署和配置，對(duì)于運(yùn)維人員來(lái)說(shuō)顯然過(guò)于復(fù)雜。

　　大量機(jī)臺(tái)運(yùn)維成本高，業(yè)務(wù)可靠性低

　　數(shù)千個(gè)機(jī)臺(tái)節(jié)點(diǎn)需要單獨(dú)運(yùn)維，業(yè)務(wù)管理員無(wú)法全面主動(dòng)駕馭，只能定時(shí)逐個(gè)檢查機(jī)臺(tái)運(yùn)轉(zhuǎn)是否正常，如業(yè)務(wù)出現(xiàn)故障無(wú)法及時(shí)處理，不僅消耗人力物力，業(yè)務(wù)可靠性也缺乏保障。

　　IT 系統(tǒng)在支撐業(yè)務(wù)快速發(fā)展的同時(shí)，企業(yè)核心生產(chǎn)數(shù)據(jù)的安全、可用成為關(guān)鍵。數(shù)據(jù)不斷增長(zhǎng)使企業(yè)原有的數(shù)據(jù)存儲(chǔ)不可避免需要升級(jí)、擴(kuò)容和更新?lián)Q代。海量數(shù)據(jù)接入難及數(shù)據(jù)孤島問(wèn)題，給企業(yè)數(shù)據(jù)的治理和利用帶來(lái)了極大阻礙。在此過(guò)程中，運(yùn)維人員往往面臨著應(yīng)用改造難、多業(yè)務(wù)系統(tǒng)管理復(fù)雜、運(yùn)維成本高等問(wèn)題。如何更高效、安全、完整地完成存儲(chǔ)架構(gòu)升級(jí)、替換、遷移的目標(biāo)，保證業(yè)務(wù)的連續(xù)性?

　　DataIngestor：數(shù)據(jù)入湖新通道

　　基于上述背景，結(jié)合客戶業(yè)務(wù)數(shù)據(jù)遷移管理需求，杉巖數(shù)據(jù)全新推出數(shù)據(jù)入湖新通道 DataIngestor。如圖2所示，DataIngestor 核心組件包括中心集中管控服務(wù) IngestorServer 和終端管理插件 Agent 兩部分，Agent 以本地服務(wù)的形式運(yùn)行在終端節(jié)點(diǎn)上，通過(guò) token 認(rèn)證與服務(wù)端建立安全連接;IngestorServer 基于統(tǒng)一的管理入口對(duì)全局的所有 Agent 進(jìn)行數(shù)據(jù)傳輸任務(wù)管理，上述三個(gè)難題迎刃而解：

圖2 DataIngestor 業(yè)務(wù)架構(gòu)圖

　　·Agent 對(duì)本地文件的全量和持續(xù)增量上傳管理，不再需要業(yè)務(wù)軟件改造或者客戶開(kāi)發(fā)數(shù)據(jù)管理工具，大大降低了客戶存儲(chǔ)架構(gòu)升級(jí)的門(mén)檻。

　　·可視化的任務(wù)配置，統(tǒng)一的監(jiān)控系統(tǒng)，大幅降低運(yùn)維工作量，提升生產(chǎn)效率。

　　·持續(xù)的機(jī)臺(tái)狀態(tài)及資源監(jiān)控告警，能夠第一時(shí)間反饋產(chǎn)線問(wèn)題，及時(shí)處理故障，提升業(yè)務(wù)可靠性。

　　此外，如圖3所示，DataIngestor 支持與杉巖 MOS 海量對(duì)象存儲(chǔ)的智能數(shù)據(jù)處理引擎聯(lián)動(dòng)，基于智能數(shù)據(jù)處理引擎的靈活性和對(duì)業(yè)務(wù)流程的支持，數(shù)據(jù)匯聚的過(guò)程中可以根據(jù)用戶業(yè)務(wù)需要觸發(fā)相應(yīng)的數(shù)據(jù)智能處理流程，如輸出數(shù)據(jù)統(tǒng)計(jì)分析、業(yè)務(wù)洞察報(bào)告及業(yè)務(wù)數(shù)據(jù)風(fēng)險(xiǎn)預(yù)警，有效提高企業(yè)數(shù)據(jù)管理效率，助力客戶商業(yè)成功。

圖3 DataIngestor 與杉巖 MOS 智能數(shù)據(jù)處理引擎聯(lián)動(dòng)示意圖

　　一探究竟：DataIngestor 功能特性詳解

　　數(shù)據(jù)源端管理

　　如圖4所示，通過(guò)數(shù)據(jù)源端管理界面，可以動(dòng)態(tài)增加需要一次性遷移或者持續(xù)數(shù)據(jù)匯聚的數(shù)據(jù)源端。

圖4 數(shù)據(jù)源端管理

　　數(shù)據(jù)目標(biāo)端

　　如圖5所示，通過(guò)界面可以添加數(shù)據(jù)目標(biāo)端，支持自定義名稱、配置存儲(chǔ)桶、服務(wù)地址及鑒權(quán)密鑰。

圖5 數(shù)據(jù)目標(biāo)端管理

　　任務(wù)管理

　　如圖6所示，在任務(wù)管理界面可以選擇已經(jīng)添加的數(shù)據(jù)源端和目標(biāo)端，配置數(shù)據(jù)一次性遷移或持續(xù)匯聚類型任務(wù);可選擇數(shù)據(jù)標(biāo)簽感知策略，上傳文件的同時(shí)根據(jù)策略配置自動(dòng)生成文件標(biāo)簽。此外，支持按業(yè)務(wù)需要調(diào)整增量數(shù)據(jù)掃描間隔，以滿足不同業(yè)務(wù)壓力場(chǎng)景需要。

　　對(duì)于遷移類型的數(shù)據(jù)上傳任務(wù)，支持配置數(shù)據(jù)上傳執(zhí)行時(shí)間段，可以按需避開(kāi)在線業(yè)務(wù)高峰，在業(yè)務(wù)閑時(shí)啟動(dòng)歷史數(shù)據(jù)遷移任務(wù)。

圖6 數(shù)據(jù)傳輸任務(wù)管理

　　Agent管理

　　如圖7所示，系統(tǒng)管理界面持續(xù)展示 Agent 節(jié)點(diǎn)的在線狀態(tài)、執(zhí)行任務(wù)類型、任務(wù)狀態(tài)、Agent 本地空間利用率、CPU 使用率及內(nèi)存使用率，同時(shí)支持通過(guò) Agent 機(jī)器 IP 地址搜索過(guò)濾查看，大大提升終端節(jié)點(diǎn)管理效率。

圖7 Agent 終端節(jié)點(diǎn)管理

　　告警監(jiān)控管理

　　如圖8所示，當(dāng)前支持如下告警類型：

　　任務(wù)傳輸異常告警：不論是節(jié)點(diǎn)網(wǎng)絡(luò)異常，還是其他原因?qū)е聰?shù)據(jù)傳輸任務(wù)執(zhí)行異常，Agent 進(jìn)程都會(huì)及時(shí)上報(bào)告警到 server 端，方便管理員快速分析，恢復(fù)服務(wù)。

　　Agent 本地空間不足告警：業(yè)務(wù)壓力過(guò)大或者網(wǎng)絡(luò)異常導(dǎo)致的數(shù)據(jù)堆積，致使本地空間超過(guò)一定閾值時(shí)，Agent 會(huì)自動(dòng)上報(bào)空間不足告警。

　　Agent 節(jié)點(diǎn)失聯(lián)告警：當(dāng) Agent 節(jié)點(diǎn)異?；蛘呔W(wǎng)絡(luò)不通時(shí)，server 端會(huì)主動(dòng)觸發(fā)告警。

圖8 告警管理

　　總結(jié)

　　DataIngestor 提供數(shù)據(jù)源端/目標(biāo)端管理，支持配置一次性遷移或持續(xù)數(shù)據(jù)匯聚任務(wù)，同時(shí)支持自定義數(shù)據(jù)傳輸動(dòng)作執(zhí)行時(shí)間段，可選配置數(shù)據(jù)內(nèi)容感知策略自動(dòng)打標(biāo)簽以便業(yè)務(wù)檢索管理，省去企業(yè)業(yè)務(wù)軟件改造成本，降低數(shù)據(jù)入湖門(mén)檻，提升業(yè)務(wù)故障處理效率，大幅降低運(yùn)維工作量。

　　同時(shí) DataIngestor 支持與杉巖 MOS 智能數(shù)據(jù)處理引擎聯(lián)動(dòng)，能夠主動(dòng)觸發(fā)數(shù)據(jù)統(tǒng)計(jì)分析、業(yè)務(wù)洞察報(bào)告生成和風(fēng)險(xiǎn)預(yù)警，支撐企業(yè)關(guān)鍵業(yè)務(wù)決策。顯而易見(jiàn)，DataIngestor 是基于杉巖 MOS 的企業(yè)數(shù)據(jù)湖方案絕佳拍檔。

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。