物聯(lián)網(wǎng)可以通過互聯(lián)網(wǎng)連接傳感器連接到各種各樣的“東西”，并得到了快速增長。簡單地說，它是一個(gè)連接任何設(shè)備的具有“開/關(guān)”功能的開關(guān)，通過互聯(lián)網(wǎng)連接到彼此，可以方便地連接“事物”大規(guī)模網(wǎng)絡(luò)的概念。根據(jù)分析公司Gartner稱，到2020年，全球?qū)⒂谐^260億個(gè)連接設(shè)備，盡管這種預(yù)測根據(jù)來源不同而不同。物聯(lián)網(wǎng)和大數(shù)據(jù)具有改變?cè)S多領(lǐng)域活動(dòng)的潛力，不僅是商業(yè)活動(dòng)，還關(guān)系到我們的日常生活。調(diào)查機(jī)構(gòu)IDC2015年對(duì)物聯(lián)網(wǎng)發(fā)展的預(yù)測指出，“如今，物聯(lián)網(wǎng)的活動(dòng)超過50％集中在制造業(yè)，交通，智能城市和消費(fèi)類應(yīng)用，但在五年內(nèi)，所有的行業(yè)都將會(huì)推出采用物聯(lián)網(wǎng)的舉措?！毙枰咝У木彺婀δ堋＝^大部分場景，都需要能快速獲取設(shè)備當(dāng)前狀態(tài)或其他信息，用以報(bào)警、大屏展示或其他。上海教育物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)解決方案
12.需要提供靈活的數(shù)據(jù)管理策略。一個(gè)大的系統(tǒng)，采集的數(shù)據(jù)種類繁多，而且除采集的原始數(shù)據(jù)外，還有大量的衍生數(shù)據(jù)。這些數(shù)據(jù)各自有不同的特點(diǎn)，有的采集頻次高，有的要求保留時(shí)間長，有的需要多個(gè)副本以保證更高的安全性，有的需要能快速訪問。因此物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)必須提供多種策略，讓用戶可以根據(jù)特點(diǎn)進(jìn)行選擇和配置，而且各種策略并存。13.必須是開放的。系統(tǒng)需要支持業(yè)界流行的標(biāo)準(zhǔn)SQL，提供各種語言開發(fā)接口，包括C/C++,Java,Go,Python,RESTful等等,也需要支持Spark,R，Matlab等等，方便集成各種機(jī)器學(xué)習(xí)、人工智能算法或其他應(yīng)用，讓大數(shù)據(jù)處理平臺(tái)能夠不斷擴(kuò)展，而不是成為一個(gè)孤島。嘉興特色物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)提供商需要通過將一個(gè)或多個(gè)設(shè)備產(chǎn)生的數(shù)據(jù)流進(jìn)行實(shí)時(shí)聚合計(jì)算。
8.需要保證數(shù)據(jù)能持續(xù)穩(wěn)定寫入。對(duì)于物聯(lián)網(wǎng)系統(tǒng)，數(shù)據(jù)流量往往是平穩(wěn)的，因此數(shù)據(jù)寫入所需要的資源往往是可以估算的。但是變化的是查詢、分析，特別是即席查詢，有可能耗費(fèi)很大的系統(tǒng)資源，不可控。因此系統(tǒng)必須保證分配足夠的資源以確保數(shù)據(jù)能夠?qū)懭胂到y(tǒng)而不被丟失。準(zhǔn)確的說，系統(tǒng)必須是一個(gè)寫優(yōu)先系統(tǒng)。9.需要對(duì)數(shù)據(jù)支持靈活的多維度分析。對(duì)于聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)，需要進(jìn)行各種維度的統(tǒng)計(jì)分析，比如從設(shè)備所處的地域進(jìn)行分析，從設(shè)備的型號(hào)、供應(yīng)商進(jìn)行分析，從設(shè)備所使用的人員進(jìn)行分析等等。而且這些維度的分析是無法事先想好的，而是在實(shí)際運(yùn)營過程中，根據(jù)業(yè)務(wù)發(fā)展的需求定下來的。因此物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)需要一個(gè)靈活的機(jī)制增加某個(gè)維度的分析。
數(shù)據(jù)處理：數(shù)據(jù)處理包括實(shí)時(shí)計(jì)算和離線計(jì)算兩種。TIZASTAR采用Storm作為實(shí)時(shí)處理引擎，并在它的基礎(chǔ)上包裝了自己的實(shí)時(shí)計(jì)算服務(wù)，可以支持應(yīng)用層的調(diào)度和管理。基于實(shí)時(shí)計(jì)算服務(wù)可以很容易實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的清洗、解析、報(bào)警等實(shí)時(shí)的處理。離線計(jì)算支持MapReduce和Hive等，主要用于對(duì)物聯(lián)網(wǎng)數(shù)據(jù)做日/周/月/年等多個(gè)時(shí)間維度做報(bào)表分析和數(shù)據(jù)挖掘，并將結(jié)果輸出到關(guān)系數(shù)據(jù)庫中?！駭?shù)據(jù)交換接口：數(shù)據(jù)交換接口支持SQL、Restful、Thrift和JavaAPI等，用戶可以根據(jù)實(shí)際情況靈活選擇數(shù)據(jù)交換的方式。數(shù)據(jù)交換的內(nèi)容包括物聯(lián)網(wǎng)終端的當(dāng)前狀態(tài)、物聯(lián)網(wǎng)終端的歷史狀態(tài)/軌跡、指令下發(fā)、數(shù)據(jù)訂閱與發(fā)布等等?！衿脚_(tái)管理：平臺(tái)管理包括監(jiān)控報(bào)警和管理UI。監(jiān)控報(bào)警采用Ganglia和Nagios結(jié)合的形式，包括硬件級(jí)別（服務(wù)器、cpu、內(nèi)存、磁盤等）、進(jìn)程級(jí)別（進(jìn)程不存在、端口***異常等）、關(guān)鍵業(yè)務(wù)指標(biāo)（中間隊(duì)列的元素?cái)?shù)、網(wǎng)關(guān)建立的tcp連接數(shù)等）等三個(gè)級(jí)別。管理UI包括界面化安裝部署、用戶管理、終端管理、集群管理、數(shù)據(jù)接入管理、實(shí)時(shí)和離線計(jì)算任務(wù)界面化管理。為提高大數(shù)據(jù)分析師的工作效率，系統(tǒng)應(yīng)該提供一命令行工具或容許用戶通過其他工具，執(zhí)行SQL查詢。
實(shí)時(shí)處理必須是實(shí)時(shí)處理的系統(tǒng)?；ヂ?lián)網(wǎng)大數(shù)據(jù)處理，大家所熟悉的場景是用戶畫像、推薦系統(tǒng)、輿情分析等等，這些場景并不需要什么實(shí)時(shí)性，批處理即可。但是對(duì)于物聯(lián)網(wǎng)場景，需要基于采集的數(shù)據(jù)做實(shí)時(shí)預(yù)警、決策，延時(shí)要控制在秒級(jí)以內(nèi)。如果計(jì)算沒有實(shí)時(shí)性，物聯(lián)網(wǎng)的商業(yè)價(jià)值就大打折扣。3.高可靠性需要運(yùn)營商級(jí)別的高可靠服務(wù)。物聯(lián)網(wǎng)系統(tǒng)對(duì)接的往往是生產(chǎn)、經(jīng)營系統(tǒng)，如果數(shù)據(jù)處理系統(tǒng)宕機(jī)，直接導(dǎo)致停產(chǎn)，產(chǎn)生經(jīng)濟(jì)有損失、導(dǎo)致對(duì)終端消費(fèi)者的服務(wù)無法正常提供。比如智能電表，如果系統(tǒng)出問題，直接導(dǎo)致的是千家萬戶無法正常用電。因此物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)必須是高可靠的，必須支持?jǐn)?shù)據(jù)實(shí)時(shí)備份，必須支持異地容災(zāi)，必須支持軟件、硬件在線升級(jí)，必須支持在線IDC機(jī)房遷移，否則服務(wù)一定有被中斷的可能。系統(tǒng)應(yīng)該提供訂閱功能，只要有新的數(shù)據(jù)更新，就應(yīng)該實(shí)時(shí)提醒應(yīng)用。湖州現(xiàn)代化物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)有哪些
這些數(shù)據(jù)各自有不同的特點(diǎn)，有的采集頻次高，有的要求保留時(shí)間長，有的需要多個(gè)副本以保證更高的安全性。上海教育物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)解決方案
3.高可靠性需要運(yùn)營商級(jí)別的高可靠服務(wù)。物聯(lián)網(wǎng)系統(tǒng)對(duì)接的往往是生產(chǎn)、經(jīng)營系統(tǒng)，如果數(shù)據(jù)處理系統(tǒng)宕機(jī)，直接導(dǎo)致停產(chǎn)，產(chǎn)生經(jīng)濟(jì)有損失、導(dǎo)致對(duì)終端消費(fèi)者的服務(wù)無法正常提供。比如智能電表，如果系統(tǒng)出問題，直接導(dǎo)致的是千家萬戶無法正常用電。因此物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)必須是高可靠的，必須支持?jǐn)?shù)據(jù)實(shí)時(shí)備份，必須支持異地容災(zāi)，必須支持軟件、硬件在線升級(jí)，必須支持在線IDC機(jī)房遷移，否則服務(wù)一定有被中斷的可能。4.高效緩存需要高效的緩存功能。絕大部分場景，都需要能快速獲取設(shè)備當(dāng)前狀態(tài)或其他信息，用以報(bào)警、大屏展示或其他。系統(tǒng)需要提供一高效機(jī)制，讓用戶可以獲取全部、或符合過濾條件的部分設(shè)備的***狀態(tài)。上海教育物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)解決方案