離線數據還有一些數據,對于實時性和有序性的要求都沒那么強,分析時數據已經固化,我們稱之為離線數據。典型的離線數據包括產品銷量數據、景點游客數據等,應用于統(tǒng)計分析,總結盤點等場景,例如,物聯(lián)網平臺將自動售貨機上報的**匯總后保存,然后定期使用大數據分析平臺分析**,以報表形式呈現(xiàn)給廠家,協(xié)助廠家進行銷售策略的調整。離線分析的挑戰(zhàn)主要在于龐大的數據量,一般會采用分布式處理的方案來提升海量數據分析的效率。設備接入服務:設備接入是華為OceanConnect物聯(lián)網平臺對海量設備進行聯(lián)接、數據采集/轉發(fā)、遠程控制的云服務??蓪崿F(xiàn)海量設備與云端之間雙向通信連接、設備數據采集上云,支持上層應用通過調用API遠程控制設備,還提供了與華為云其他云服務無縫對接的規(guī)則引擎,可應用于各種物聯(lián)網場景。設備接入服務還可以搭配設備管理服務使用,可實現(xiàn)產品模型定義、設備生命周期可視化管理,提供強大的面向行業(yè)應用開放能力,幫助企業(yè)快速構建創(chuàng)新的物聯(lián)網業(yè)務。一個大的系統(tǒng),采集的數據種類繁多,而且除采集的原始數據外,還有大量的衍生數據。南通工程物聯(lián)網大數據平臺綜合服務
需要支持邊云協(xié)同。要有一套靈活的機制將邊緣計算節(jié)點的數據上傳到云端,根據具體需要,可以將原始數據,或加工計算后的數據,或**符合過濾條件的數據同步到云端,而且隨時可以取消,更改策略。16.需要單一的后臺管理系統(tǒng)。便于查看系統(tǒng)運行狀態(tài)、管理集群、管理用戶、管理各種系統(tǒng)資源等,而且系統(tǒng)能夠與第三方IT運維監(jiān)測平臺無縫集成,便于管理。17.便于私有化部署。因為很多企業(yè)出于安全以及各種因素的考慮,希望采用私有化部署。而傳統(tǒng)的企業(yè)往往沒有很強的IT運維團隊,因此在安裝、部署上需要做到簡單、快捷,可維護性強。以上總結了物聯(lián)網大數據平臺的主要功能和特點,而物聯(lián)網大數據平臺本身也在演變之中,但總的目標不會改變,那就是高效、可伸縮、實時、可靠、靈活、開放、簡單、易維護?;窗哺咝锫?lián)網大數據平臺提供商比如智能電表,如果系統(tǒng)出問題,直接導致的是千家萬戶無法正常用電。
實時處理必須是實時處理的系統(tǒng)?;ヂ?lián)網大數據處理,大家所熟悉的場景是用戶畫像、推薦系統(tǒng)、輿情分析等等,這些場景并不需要什么實時性,批處理即可。但是對于物聯(lián)網場景,需要基于采集的數據做實時預警、決策,延時要控制在秒級以內。如果計算沒有實時性,物聯(lián)網的商業(yè)價值就大打折扣。3.高可靠性需要運營商級別的高可靠服務。物聯(lián)網系統(tǒng)對接的往往是生產、經營系統(tǒng),如果數據處理系統(tǒng)宕機,直接導致停產,產生經濟有損失、導致對終端消費者的服務無法正常提供。比如智能電表,如果系統(tǒng)出問題,直接導致的是千家萬戶無法正常用電。因此物聯(lián)網大數據系統(tǒng)必須是高可靠的,必須支持數據實時備份,必須支持異地容災,必須支持軟件、硬件在線升級,必須支持在線IDC機房遷移,否則服務一定有被中斷的可能。
趨勢七:數據生態(tài)系統(tǒng)復合化程度加強大數據的世界不只是一個單一的、巨大的計算機網絡,而是一個由大量活動構件與多元參與者元素所構成的生態(tài)系統(tǒng),終端設備提供商、基礎設施提供商、網絡服務提供商、網絡接入服務提供商、數據服務使能者、數據服務提供商、觸點服務、數據服務零售商等等一系列的參與者共同構建的生態(tài)系統(tǒng)。而今,這樣一套數據生態(tài)系統(tǒng)的基本雛形已然形成,接下來的發(fā)展將趨向于系統(tǒng)內部角色的細分,也就是市場的細分;系統(tǒng)機制的調整,也就是商業(yè)模式的創(chuàng)新;系統(tǒng)結構的調整,也就是競爭環(huán)境的調整等等,從而使得數據生態(tài)系統(tǒng)復合化程度逐漸增強。需要單一的后臺管理系統(tǒng)。
實時數據和歷史數據的處理要合二為一。實時數據在緩存里,歷史數據在持久化存儲介質里,而且可能依據時長,保留在不同存儲介質里。系統(tǒng)應該隱藏背后的存儲,給用戶和應用呈現(xiàn)的是同一個接口和界面。無論是訪問新采集的數據還是十年前的老數據,除輸入的時間參數不同之外,其余應該是一樣的。8.需要保證數據能持續(xù)穩(wěn)定寫入。對于物聯(lián)網系統(tǒng),數據流量往往是平穩(wěn)的,因此數據寫入所需要的資源往往是可以估算的。但是變化的是查詢、分析,特別是即席查詢,有可能耗費很大的系統(tǒng)資源,不可控。因此系統(tǒng)必須保證分配足夠的資源以確保數據能夠寫入系統(tǒng)而不被丟失。準確的說,系統(tǒng)必須是一個寫優(yōu)先系統(tǒng)。9.需要對數據支持靈活的多維度分析。對于聯(lián)網設備產生的數據,需要進行各種維度的統(tǒng)計分析,比如從設備所處的地域進行分析,從設備的型號、供應商進行分析,從設備所使用的人員進行分析等等。而且這些維度的分析是無法事先想好的,而是在實際運營過程中,根據業(yè)務發(fā)展的需求定下來的。因此物聯(lián)網大數據系統(tǒng)需要一個靈活的機制增加某個維度的分析。不僅如此,計算的需求也相當復雜,因場景而異,應容許用戶自定義函數進行計算?;窗哺咝锫?lián)網大數據平臺提供商
對于物聯(lián)網系統(tǒng),數據流量往往是平穩(wěn)的,因此數據寫入所需要的資源往往是可以估算的。南通工程物聯(lián)網大數據平臺綜合服務
5.實時流式計算需要實時流式計算。各種實時預警或預測已經不是簡單的基于某一個閾值進行,而是需要通過將一個或多個設備產生的數據流進行實時聚合計算,不只是基于一個時間點、而是基于一個時間窗口進行計算。不僅如此,計算的需求也相當復雜,因場景而異,應容許用戶自定義函數進行計算。6.數據訂閱需要支持數據訂閱。與通用大數據平臺比較一致,同一組數據往往有很多應用都需要,因此系統(tǒng)應該提供訂閱功能,只要有新的數據更新,就應該實時提醒應用。而且這個訂閱也應該是個性化的,容許應用設置過濾條件,比如只訂閱某個物理量五分鐘的平均值。南通工程物聯(lián)網大數據平臺綜合服務