數(shù)據(jù)分析設(shè)計匯總十篇
時間：2023-07-27 16:16:01
序論：好文章的創(chuàng)作是一個不斷探索和完善的過程，我們?yōu)槟扑]十篇數(shù)據(jù)分析設(shè)計范例，希望它們能助您一臂之力，提升您的閱讀品質(zhì)，帶來更深刻的閱讀感受。
篇（1）
1)商品ID號：根據(jù)上線商品的ID號直接獲取商品的評論，并對評論進行等級評定；
2)評論平均分：計算評論平均分，據(jù)此可判斷商品是否合格；
3)評論分分布：計算評論的合格數(shù)及其比例。等級評定時是多個操作人員同時對同一商品數(shù)據(jù)進行評論操作，評論評分定級是人工進行的，操作人員的主觀對商品評論操作有一定影響。因此需要將所有操作人員的評論評分數(shù)據(jù)進行統(tǒng)計對比分析，以控制整個評定的有效性。
2系統(tǒng)設(shè)計
本系統(tǒng)根據(jù)MVC的三層框架，利用JSP技術(shù)制作動態(tài)網(wǎng)頁，通過JDBC技術(shù)訪問數(shù)據(jù)庫，使用JSP作為服務(wù)器端應(yīng)用程序處理客戶端的請求并在Web服務(wù)器中進行業(yè)務(wù)邏輯處理并返回客戶端請求的結(jié)果。在JSP里嵌套HTML以及CSS對WEB頁面進行設(shè)計，引入Bootstrap封裝的樣式，達到系統(tǒng)數(shù)據(jù)呈現(xiàn)的設(shè)計要求。頁面數(shù)據(jù)呈現(xiàn)與后臺數(shù)據(jù)交互是整個系統(tǒng)的核心，對數(shù)據(jù)進行歸納計算和整理并呈現(xiàn)到用戶界面上。用戶只需獲取到公司平臺上線商品的ID號就可以通過系統(tǒng)抓取商品評論數(shù)據(jù)；同時對數(shù)據(jù)進行整理分析得到評論平均分、評論分數(shù)比例等數(shù)據(jù)；同時可以系統(tǒng)整理分析出整體上線商品的整體趨勢，通過餅狀圖直觀地看出商品的品質(zhì)分布。
2.1系統(tǒng)功能結(jié)構(gòu)設(shè)計
商務(wù)平臺商品數(shù)據(jù)分析系統(tǒng)分為三個模塊，八個基本功能，分別是管理員登陸、用戶登陸、用戶注冊、商品評論抓取評分、商品評論數(shù)據(jù)的統(tǒng)計和分析、用戶管理和修改密碼等。
1)管理員登陸：管理員輸入用戶名和密碼，數(shù)據(jù)經(jīng)由UIServlet傳遞給ControllerServlet，再到數(shù)據(jù)庫中驗證身份，將結(jié)果返回給JSP，成功登陸就可進入系統(tǒng)，不成功則重新輸入。用戶名只可能是字母，密碼字母和數(shù)字皆可。管理員是系統(tǒng)指定的，不可以注冊。
2)用戶登錄：普通用戶輸入用戶名和密碼，數(shù)據(jù)經(jīng)由UIServlet傳遞給ControllerServlet，再到數(shù)據(jù)庫中驗證身份，將結(jié)果返回給JSP，成功登陸就可進入系統(tǒng)，不成功則重新輸入。用戶名只可能是6-20位字母，密碼是6-15位字母和數(shù)字組合皆可。若沒有賬號，可以在用戶登錄JSP頁面點擊注冊，通過UIServlet跳轉(zhuǎn)到注冊頁面。
3)用戶注冊：用戶注冊需要輸入Email、用戶名、密碼等信息，Email有格式判斷，必須輸入正確的格式，用戶名必須是6-20位字母，密碼是6-15位的字母數(shù)字組合皆可。輸入正確后可以成功申請新用戶，隨后跳轉(zhuǎn)到普通用戶登錄界面登錄系統(tǒng)。
4)商品評論抓取評分：普通用戶與管理員皆可操作，在輸入框中輸入商品的id號，點擊查詢，就可獲取到“淘寶網(wǎng)”中商品的前一百條評論，并且按照評論時間順序進行呈現(xiàn)。其后的評分框，按照規(guī)定只能輸入1-5的數(shù)值，同時點擊保存，數(shù)據(jù)就會存入數(shù)據(jù)庫中。
5)商品評論數(shù)據(jù)統(tǒng)計：此功能方便普通用戶清楚的跟蹤自己的工作進度，對于管理員可以掌控平臺上線商品的商品質(zhì)量，會顯示出該操作人員所操作的所有商品的平均分、合格率，可以看出該操作人員操作的商品評分狀態(tài)詳情。
6)商品評論數(shù)據(jù)分析：此功能為管理者觀察網(wǎng)站整體上線商品的質(zhì)量分布，點擊查詢，會統(tǒng)計所有使用系統(tǒng)的普通用戶操作過的所有商品數(shù)的評論數(shù)據(jù)。如此管理者可以通過這些數(shù)據(jù)對網(wǎng)站上線商品進行調(diào)整。以操作人為條件，區(qū)分每個人的操作數(shù)據(jù)，可以控制一定的主觀誤差，還有整體的上線商品的趨勢。普通用戶可以看出自己的主觀意見和其他用戶的差別。
7)用戶管理：管理員可以對普通用戶進行增加和刪除，用戶管理界面對普通用戶不可見。管理員有權(quán)限重置普通用戶的密碼。
8)修改密碼：管理員和普通用戶都可以自行更改密碼。
2.2系統(tǒng)數(shù)據(jù)庫設(shè)計
數(shù)據(jù)庫能夠?qū)ι虅?wù)平臺商品數(shù)據(jù)分析系統(tǒng)的后臺數(shù)據(jù)進行添加、刪除、查詢，修改。本系統(tǒng)采用MySQL數(shù)據(jù)庫設(shè)計，分別是用戶信息表、評論評分信息表、商品數(shù)據(jù)分析表和商品數(shù)據(jù)統(tǒng)計表。用戶信息表主要保存管理員和普通用戶的登錄信息：用戶的用戶名、密碼、級別還有Email。評論評分信息表主要保存評論內(nèi)容、評論的時間、評論評分、商品id、操作人員、商品名稱等。商品數(shù)據(jù)分析表主要保存操作人員、操作商品總數(shù)、平均四分以上的商品總數(shù)及其比例、合格率大于80%的商品總數(shù)及其占比、合格率大于60%的商品總數(shù)及其占比、不合格商品總數(shù)及其占比等內(nèi)容。商品數(shù)據(jù)統(tǒng)計表主要保存商品id、操作人員、商品名稱、評論平均分、評論合格率、評論不合格率等信息。
篇（2）
中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2013）12-2798-04
目前在激光準直、測角、自動跟蹤等精密光電檢測系統(tǒng)中，探測目標位置的連續(xù)變化已經(jīng)變得非常重要。位置敏感探測器（Position Sensitive Detector，PSD）是對入射到光敏面上的光斑能量中心位置敏感的光電感應(yīng)器件，可以利用少數(shù)幾個輸出光電信號的相對程度來計算位置信息。由其構(gòu)成的數(shù)據(jù)分析系統(tǒng)具有位置分辨率高、響應(yīng)速度快等特點[1]；四象限探測器（Four-Quadrant photodetector，QPD）通過比較四個象限的電流來確定光斑中心在二維平面上的位置坐標，其數(shù)據(jù)分析系統(tǒng)可以探測目標位置的連續(xù)變化，具有位置分辨率高、響應(yīng)速度快、調(diào)節(jié)方便等特點[2-3]。該文在對光電位置敏感器件構(gòu)成的數(shù)據(jù)分析系統(tǒng)研究的基礎(chǔ)上，開發(fā)了一套上位機軟件界面。該上位機軟件交互界面設(shè)計了供用戶選擇位置敏感器件型號及輸入系統(tǒng)修正參數(shù)的窗口，通過對串口通信和USB通信方法的研究，設(shè)置了上下位機通信控制部分，同時，設(shè)計了光斑中心位置數(shù)據(jù)文本直觀顯示、模擬坐標繪制、歷史信息保存模塊，及設(shè)備狀態(tài)顯示模塊。軟件功能全面、界面友好、操作直觀、方便，且適用于其他型號的位置敏感器件數(shù)據(jù)分析系統(tǒng)中。
1 開發(fā)工具簡介
Visual C++ 6.0擁有強大的功能和友好的界面，能為用戶提供一個良好的可視化開發(fā)環(huán)境，它將程序和資源的編輯、編譯、調(diào)試和運行融為一體，且提供了大量的程序開發(fā)工具。MFC是它一個龐大的類庫，實現(xiàn)了標準的用戶接口，提供了管理窗口、菜單、對話框的代碼，可實現(xiàn)基本的輸入/輸出和數(shù)據(jù)存儲，為用戶開發(fā)Windows應(yīng)用程序建立了一個非常靈活的應(yīng)用程序框架[4]。
在MFC中對消息的處理利用了消息映射的方法，該方法的基礎(chǔ)是宏定義實現(xiàn)，通過宏定義將消息分派到不同的成員函數(shù)進行處理。因此，在這種機制的支持下，MFC具有強大的消息處理能力[5]。
借助VC++提供的軟件代碼自動生成可視化資源編輯的功能及MFC消息映射機制，可以很便捷地開發(fā)上位機軟件交互界面。
2 交互界面設(shè)計
上位機軟件交互界面包括供用戶選擇位置敏感器件型號及輸入相應(yīng)修正參數(shù)的窗口部分，上下位機通信控制部分，數(shù)據(jù)/設(shè)備狀態(tài)顯示部分。
2.1 供用戶選擇輸入的窗口設(shè)計
利用下拉式列表框控件提供供用戶選擇位置敏感器件型號的窗口。通過給其連接變量m_Type，利用m_Type.AddString（）函數(shù)為列表框添加選項，m_Type.SelectString（-1， "HY1315（Active area 1.3*15mm）"）函數(shù)添加默認選項。軟件通過m_Type. GetCurSel（）函數(shù)獲得用戶的選擇，完成相應(yīng)量程及坐標軸范圍的改變及顯示。利用編輯框控件提供用戶輸入增益及修正系數(shù)的窗口，以完善數(shù)據(jù)處理[6]。
2.2 上下位機通信控制模塊設(shè)計
上下位機通信控制模塊是數(shù)據(jù)分析系統(tǒng)實時數(shù)據(jù)采集的核心部分。設(shè)計中采用了串口通信和USB通信兩種方式進行數(shù)據(jù)采集與傳輸。其中，串口通信用于測試，USB通信用于實際數(shù)據(jù)傳輸。
圖1 USB通信流程圖
2.2.1 串口通信控制部分
利用單選按鈕控件提供串口號選擇窗口，通過函數(shù)GetCheckedRadioButton（）獲取串口號。通過按鈕控制串口設(shè)備的狀態(tài)，按鈕交互的實現(xiàn)，通過MFC類向?qū)Π粹o按下時，觸發(fā)消息BN_CLICKED進行攔截，并重寫對應(yīng)的消息處理函數(shù)On*Button（），在函數(shù)中完成相應(yīng)按鈕的功能。串口控制區(qū)中，“Open”、“Close”按鈕對應(yīng)的函數(shù)在獲取用戶選擇的串口號后，分別完成對應(yīng)串口的打開及關(guān)閉功能；“Start”、“Stop”按鈕通過控制參數(shù)m_SPStop控制串口通信的開始與否。借助串口類成員函數(shù)OnComm（）實現(xiàn)接收字符及相應(yīng)數(shù)據(jù)處理的功能[7]。
2.2.2 USB通信控制部分
USB通信接口具有即插即用的特點，方便與微處理器進行聯(lián)機通信，同時USB的通信效率要遠遠高于RS232、RS485等通信接口。USB通信控制部分通過按鈕控制數(shù)據(jù)傳輸，根據(jù)用戶選定的位置敏感器件型號，進行相應(yīng)的數(shù)據(jù)處理。通信程序流程圖如圖1所示。
“Link”按鈕通過標志位m_OpenFlag控制設(shè)備是否連接。“Start”和“Stop”按鈕通過標志位m_stop控制數(shù)據(jù)接收與否。“Suspand”按鈕通過參數(shù)m_pause控制數(shù)據(jù)傳輸?shù)臅和：屠^續(xù)，當按下該按鈕時，按鈕改變?yōu)椤癈ontinue”字樣，同時通過調(diào)用Invalidate（）函數(shù)使整個客戶區(qū)無效，這時Windows會在應(yīng)用程序的消息隊列中放置WM_PAINT消息，MFC為窗口類提供了其消息處理函數(shù)OnPaint（）；當再次按下該按鈕時，OnPaint（）函數(shù)負責(zé)重繪窗口，從而重新進行數(shù)據(jù)傳輸。
上下位機的數(shù)據(jù)通信通過直接調(diào)用CH375DLL.dll動態(tài)鏈接庫實現(xiàn)。CH372是一款USB總線的通用設(shè)備接口芯片，是芯片CH375的功能簡化版，硬件成本更低，且完全兼容CH375，可以直接使用其WDM驅(qū)動程序和動態(tài)鏈接庫。CH372在計算機端提供了應(yīng)用層接口，即由動態(tài)鏈接庫DLL提供的面向功能應(yīng)用的API，包括：設(shè)備管理API、數(shù)據(jù)傳輸API及中斷處理API。設(shè)備管理API包含了打開設(shè)備函數(shù)CH375OpenDevice（），關(guān)閉設(shè)備函數(shù)CH375CloseDevice（）；數(shù)據(jù)傳輸API包含了讀取數(shù)據(jù)塊（數(shù)據(jù)上傳）函數(shù)CH375ReadData（），寫出數(shù)據(jù)塊（數(shù)據(jù)下傳）函數(shù)CH375WriteData（）等[8]。
2.3數(shù)據(jù)/設(shè)備狀態(tài)顯示設(shè)計
上位機軟件在數(shù)據(jù)傳輸過程中，借助CString類成員變量stateinfo直觀顯示設(shè)備狀態(tài)。數(shù)據(jù)接收處理后，借助Format（）函數(shù)，以文字形式直觀顯示光斑中心位置的橫縱坐標值，利用繪圖函數(shù)在模擬坐標中顯示光斑位置。借助文件實現(xiàn)數(shù)據(jù)歷史信息保存的功能，關(guān)鍵代碼如下：
GetDlgItem（IDC_RECEIVE_EDIT）PostMessage（WM_VSCROLL，SB_BOTTOM，NULL）；
CString strPath；
圖2 HY1315系統(tǒng)調(diào)試結(jié)果圖
GetModuleFileName（NULL，strPath.GetBufferSetLength（MAX_PATH+1），MAX_PATH）；
strPath.ReleaseBuffer（）；
//此時strPath內(nèi)容為工程文件全路徑，如：E：＼TestPro＼Exam＼ Test.exe
//以下函數(shù)作用是獲取最后一個"＼"的位置
圖3 四象限探測器系統(tǒng)調(diào)試結(jié)果圖
int nPos=strPath.ReverseFind（'＼＼'）；
//開始取全路徑
strPath=strPath.Left（nPos+1）；//此時strPath保存為當前工程的全路徑，如：E：＼TestPro＼Exam＼
//保存文件
CFile m_rFile；
if（！m_rFile.Open（"Rec.txt"，CFile：：modeCreate | CFile：：modeWrite）） {
AfxMessageBox（"創(chuàng)建記錄文件失敗！"）；}
m_rFile.Write（m_Receive，m_Receive.GetLength（））；
m_rFile.Close（）；
3 實際調(diào)試結(jié)果
上位機軟件設(shè)計完成后，運行程序，選擇位置敏感器件的型號為默認選項，即一維位置敏感探測器HY1315，連接其對應(yīng)的系統(tǒng)設(shè)備，輸入需要的增益參數(shù)，選擇串口號，單擊串口控制區(qū)“Open”按鈕打開串口，“Start”按鈕接收數(shù)據(jù)，此時上位機界面數(shù)據(jù)、設(shè)備狀態(tài)顯示，模擬光斑坐標結(jié)果如圖2所示。再次運行程序，選擇四象限探測器型號，即QP36（Active area 6*6mm），連接相應(yīng)系統(tǒng)設(shè)備，單擊USB通信控制區(qū)按鈕，可以控制數(shù)據(jù)傳輸設(shè)備的狀態(tài)，單擊“Link”按鈕打開設(shè)備，“Start”按鈕接收數(shù)據(jù)，此時上位機軟件界面結(jié)果如圖3所示。
4 結(jié)束語
針對位置敏感器件構(gòu)成的數(shù)據(jù)分析系統(tǒng)，通過對串口通信和USB通信方法的研究，借助VC++提供的軟件代碼自動生成可視化資源編輯的功能及MFC消息映射機制，設(shè)計了上位機人機交互界面。調(diào)試結(jié)果證明，該界面能夠?qū)崿F(xiàn)用戶選擇輸入，實現(xiàn)數(shù)據(jù)的上下位機通信傳輸，直觀顯示數(shù)據(jù)，準確繪出光斑在模擬坐標中的位置，完成光斑位置的歷史信息存儲。設(shè)計為數(shù)據(jù)分析系統(tǒng)提供了一套功能全面、界面友好、操作直觀、方便的上位機軟件。應(yīng)用中只需修改對應(yīng)的數(shù)據(jù)處理，即可應(yīng)用到其他類似的數(shù)據(jù)分析系統(tǒng)中，很大程度上增強了系統(tǒng)的實際應(yīng)用性。該界面已用于PSD及QPD數(shù)據(jù)分析系統(tǒng)試驗箱中。
參考文獻：
[1] Henry J，Livingstone J.Improved position sensitive detectors using high resistivity subs- trates[J].J Phys D ：Appl Phys ，2008，41.
[2] Liu Yun，De Xu，MinTan.A new pre-alignm ent approach based on four-quadrant-photo- detector for IC mask[J].International Journal of Automation and Computing，2007， 4（2）： 208 -216.
[3] Guo Li，Zheng Shuang.A high-performanc -e smallsignal amplifier[J].Journal of Northe-ast Agricultuial University，2005，12（2）：141-145.
[4] Wang Ziying.The design of scene simula- tion system based on MFC programming fra- mework[J].Advanced Computer Control （ICA CC）.2010，V3： 302-305.
[5] 潘恒.基于VC++/MFC的麻將牌連連看程序設(shè)計.[J]科協(xié)論壇：下半月，2011，25（5）： 53-54.
[6] 揣錦華.面向?qū)ο蟪绦蛟O(shè)計與VC++實踐[M].西安：西安電子科技大學(xué)出版社，2005：201-204.
篇（3）
中圖分類號：U279 文章編號：1009-2374（2017）11-0007-02 DOI：10.13535/ki.11-4406/n.2017.11.004
1 概述
S著城市軌道交通的快速發(fā)展，地鐵成為人們出行不可或缺的交通工具。地鐵車輛作為運送乘客的主要載體，具有封閉性強、起停頻繁、客流量大且來源復(fù)雜、乘客自助乘車、應(yīng)急疏散難度大等固有特點，因此對其自身的可靠性及維修保障工作有著非常高的要求。搭建地鐵車輛遠程數(shù)據(jù)分析平臺可以運行地鐵車輛提供遠程決策支持，對列車開展實時監(jiān)控和故障處理，并通過故障統(tǒng)計和數(shù)據(jù)分析進而達到車輛優(yōu)化設(shè)計的目的。
2 平臺需求
2.1 功能需求
以列車運營管理的實際工作需求為核心，提高列車組效率和效能，節(jié)約維修費用，減少事故率為目標開展建設(shè)工作，其主要具有列車組及關(guān)鍵部件的實時監(jiān)視、故障預(yù)測功能。
通過列車組及關(guān)鍵部件或子系統(tǒng)當前狀態(tài)，對故障進行診斷或識別，并對潛在的故障進行預(yù)測或報警；根據(jù)故障診斷及預(yù)測信息、當前維修可用資源情況以及對系統(tǒng)的使用需求等對列車組或關(guān)鍵部件的維修活動提供決策支持和建議。實現(xiàn)一套列車組及關(guān)鍵部件的狀態(tài)檢測、故障診斷、運行監(jiān)控、故障預(yù)測及決策支持的完整系統(tǒng)，同時針對不同子系統(tǒng)/產(chǎn)品建立全生命周期的產(chǎn)品數(shù)據(jù)服務(wù)，滿足企業(yè)對生產(chǎn)、運營維護、設(shè)計優(yōu)化、采購等不同環(huán)節(jié)決策的支撐要求。根據(jù)業(yè)務(wù)需求，系統(tǒng)具有以下功能：
2.1.1 車載系統(tǒng)。由系統(tǒng)檢測、故障診斷、集中報警及無線傳輸?shù)冉M成。通過在列車組及各子系統(tǒng)上安裝各種傳感器，獲取動車組及關(guān)鍵子系統(tǒng)傳感器及控制系統(tǒng)的數(shù)據(jù)。利用故障特征提取、數(shù)據(jù)分析及對比、基于模型的系統(tǒng)辨識等多技術(shù)相融合的故障診斷技術(shù)，實現(xiàn)牽引、制動、輔助等各子系統(tǒng)的在線故障診斷（故障定位到最小可更換單元）和故障報告，通過車載無線傳輸系統(tǒng)將狀態(tài)數(shù)據(jù)和故障數(shù)據(jù)傳輸至地面。
2.1.2 運行監(jiān)控系統(tǒng)。列車狀態(tài)、故障監(jiān)控、綜合診斷及應(yīng)急處置等組成。根據(jù)列車組和關(guān)鍵零部件的運行狀態(tài)，提取與列車組安全運行相關(guān)的數(shù)據(jù)及關(guān)鍵技術(shù)指標進行監(jiān)控。根據(jù)車載系統(tǒng)傳輸?shù)墓收蠄蟾婊蜿P(guān)鍵設(shè)備技術(shù)狀態(tài)數(shù)據(jù)對當前列車組運行狀態(tài)進行評估，對潛在的故障進行綜合診斷，形成綜合評估和故障診斷報告，依據(jù)故障等級對列車組進行控制，對列車組現(xiàn)場人員提供技術(shù)指導(dǎo)和應(yīng)急處置方案。
2.1.3 健康維護系統(tǒng)。由故障報告、健康評估、故障預(yù)測、維修管理等組成。根據(jù)列車組車載系統(tǒng)及運行監(jiān)控系統(tǒng)報告的故障數(shù)據(jù)和列車組設(shè)備狀態(tài)數(shù)據(jù)以及積累的歷史數(shù)據(jù)，在地面利用高性能計算機及檢測系統(tǒng)實現(xiàn)智能故障推理、關(guān)鍵機械部件的故障發(fā)展趨勢模型，實現(xiàn)列車組及關(guān)鍵部件健康狀態(tài)評估及故障預(yù)測，給出列車組系統(tǒng)的綜合評價指標，提高列車組或部件的維修管理水平。
2.1.4 決策支持系統(tǒng)。由狀態(tài)維修、壽命預(yù)測、服役跟蹤、檔案管理等組成。根據(jù)地面系統(tǒng)存儲的列車組及關(guān)鍵部件的大量數(shù)據(jù)和歷史檔案數(shù)據(jù)，利用數(shù)據(jù)挖掘、故障模式識別等手段，建立關(guān)鍵機械部件故障發(fā)展趨勢模型庫，電子零部件的連續(xù)量、離散量、開關(guān)量等不同性質(zhì)的故障預(yù)測模型庫，建立列車組及零部件健康檔案，進行零部件壽命預(yù)測、服役跟蹤和檔案管理，給出維修決策，形成列車組及關(guān)鍵部件健康評價指標體系。
2.2 業(yè)務(wù)需求
根據(jù)地鐵車輛遠程數(shù)據(jù)分析系統(tǒng)提供的核心功能，具體的業(yè)務(wù)需求為：
2.2.1 數(shù)據(jù)采集存儲模塊。主要實現(xiàn)列車實時數(shù)據(jù)和離線數(shù)據(jù)的接收、轉(zhuǎn)發(fā)、解析、存儲等功能。
2.2.2 實時狀態(tài)檢測模塊。對列車的關(guān)鍵部件工作狀態(tài)、運行線路、故障數(shù)據(jù)進行管理和處理，以可視化的形式進行展示。
2.2.3 分析統(tǒng)計模塊。對列車的歷史數(shù)據(jù)、離線數(shù)據(jù)結(jié)合知識庫，進行統(tǒng)計分析，以可視化的形式進行展示。
2.2.4 后臺管理模塊。對整個系統(tǒng)進行綜合的后臺管理，管理員通過Web登錄管理系統(tǒng)后，可以進行用戶管理、權(quán)限管理、日志管理以及資料管理等操作。
3 總體設(shè)計
3.1 搭建原則
以創(chuàng)新驅(qū)動、資源共享為引領(lǐng)，整合地鐵和現(xiàn)代信息技術(shù)等先進成果，打造創(chuàng)新、高效的列車遠程數(shù)據(jù)分析。系統(tǒng)是一種具有基礎(chǔ)性的支撐體系，數(shù)據(jù)來源廣泛而零散，它具有整合和共享的服務(wù)性質(zhì)。
3.2 業(yè)務(wù)架構(gòu)
以列車智能維護為目標應(yīng)用領(lǐng)域，圍繞其數(shù)據(jù)增量的特點，建立流式數(shù)據(jù)接入、存儲管理、實時跟蹤以及異常識別的全業(yè)務(wù)鏈服務(wù)體系。結(jié)合當前技術(shù)缺陷，在平臺搭建中實現(xiàn)流式數(shù)據(jù)實時處理與離線分析工作的結(jié)合。
系統(tǒng)建設(shè)的目的是針對列車監(jiān)測數(shù)據(jù)，提供一體化、智能化的數(shù)據(jù)支撐服務(wù)環(huán)境，實現(xiàn)多源數(shù)據(jù)的存儲、管理、分析。其主要包括采集層、現(xiàn)場處理層、接入層、IO層、持久化層、分析處理層以及服務(wù)層共七個基本層次。
3.2.1 采集層：其通過各種傳感器與車上網(wǎng)絡(luò)環(huán)境形成數(shù)據(jù)采集環(huán)境。采集的各種對象的監(jiān)控數(shù)據(jù)經(jīng)過匯聚后，統(tǒng)一開展現(xiàn)場處置與傳輸?shù)群罄^工作，其依賴列車通信設(shè)備。
3.2.2 現(xiàn)場處理層：其在采集層數(shù)據(jù)的基礎(chǔ)上，根據(jù)管理機制對數(shù)據(jù)進行檢測，發(fā)現(xiàn)異常對象的前兆與警報信息，并通過列控數(shù)據(jù)交換機制及時預(yù)警或值警，同時根據(jù)不同數(shù)據(jù)的業(yè)務(wù)重要性以多種方式回傳后臺。另外，結(jié)合列控網(wǎng)采集手段，在列車檢修階段采集有關(guān)數(shù)據(jù)并回傳，滿足后臺管理、分析與業(yè)務(wù)支撐的要求。
3.2.3 接入層：根據(jù)不同類別數(shù)據(jù)的規(guī)范要求，清洗數(shù)據(jù)并存儲入庫。
3.2.4 IO層：利用文件系統(tǒng)實現(xiàn)底層數(shù)據(jù)的基本IO存儲與讀取。通過文件系統(tǒng)有效實現(xiàn)系統(tǒng)整體IO讀寫負載的平衡，滿足數(shù)據(jù)持久化存儲的基本要求。
3.2.5 持久化層：由基本數(shù)據(jù)庫構(gòu)成。在這一層中圍繞列車海量、多維流式監(jiān)測數(shù)據(jù)提供高性能數(shù)據(jù)存儲管理系統(tǒng)。這一系統(tǒng)結(jié)合IO定向分布、流數(shù)據(jù)增量分段存儲模型等方式，實現(xiàn)流數(shù)據(jù)集的規(guī)模可控，解決由高增量引起的存儲膨脹問題；針對列車數(shù)據(jù)實時主動的需求特點，在鍵值存儲模型的基礎(chǔ)上，建立邊界溢出主動機制，槌志貌闃械氖凳敝鞫提供基礎(chǔ)。
3.2.6 分析處理層：在內(nèi)存數(shù)據(jù)集的基礎(chǔ)上構(gòu)造基于連續(xù)窗口的事件多維數(shù)據(jù)主動協(xié)同機制；結(jié)合底層數(shù)據(jù)主動機制以及數(shù)據(jù)pub/sub機制實現(xiàn)增量過程中，事件的主動識別、跟蹤與觸發(fā)響應(yīng)。
3.2.7 服務(wù)層：提供故障（報警）統(tǒng)計查詢、實時數(shù)據(jù)查詢等用戶服務(wù)。
3.3 邏輯結(jié)構(gòu)
遠程數(shù)據(jù)分析平臺由服務(wù)器端軟件、Web端軟件兩部分組成。
3.3.1 服務(wù)器端軟件。根據(jù)數(shù)據(jù)類型有流式、結(jié)構(gòu)化以及查詢模式化的特點，結(jié)合關(guān)系數(shù)據(jù)庫構(gòu)成一體化的存儲管理支撐環(huán)境，完成數(shù)據(jù)的統(tǒng)一存儲、管理。
3.3.2 Web端軟件。提供系統(tǒng)實時狀態(tài)監(jiān)測、數(shù)據(jù)分析和預(yù)警等基本功能；為整個系統(tǒng)的數(shù)據(jù)處理和數(shù)據(jù)等操作提供統(tǒng)一的配置管理平臺，包括用戶信息管理、用戶權(quán)限分配等系統(tǒng)管理功能，組成系統(tǒng)的綜合信息管理環(huán)境。
3.4 物理結(jié)構(gòu)
3.4.1 實時數(shù)據(jù)。（1）列車實時通過地面4G無線傳輸通道通過以TCP協(xié)議將車載數(shù)據(jù)分別傳輸?shù)綑z修庫服務(wù)器和車輛段服務(wù)器；（2）檢修庫和車輛段的實時數(shù)據(jù)采集存儲軟件同時對協(xié)議數(shù)據(jù)進行數(shù)據(jù)采集、解析，解析后的數(shù)據(jù)通過以太網(wǎng)存儲到數(shù)據(jù)庫，對實時數(shù)據(jù)長期存儲；（3）Web程序讀取數(shù)據(jù)庫，對數(shù)據(jù)進行可視化展示；（4）用戶通過以太網(wǎng)使用瀏覽器，在網(wǎng)頁中進行查看。
3.4.2 離線數(shù)據(jù)。（1）車輛到庫后，維護人員使用HMI進行手動觸發(fā)進行車輛數(shù)據(jù)上傳或者TCMS根據(jù)時間觸發(fā)條件自動上傳車輛數(shù)據(jù)，借用庫內(nèi)WLAN技術(shù)，以TCP或者FTP的協(xié)議發(fā)送到車輛段或者檢修庫服務(wù)器；（2）車輛段服務(wù)器中的離線數(shù)據(jù)采集存儲軟件對數(shù)據(jù)進行數(shù)據(jù)采集、解析，并將解析后的數(shù)據(jù)內(nèi)容通過以太網(wǎng)的方式存儲到數(shù)據(jù)庫中；（3）Web程序讀取數(shù)據(jù)庫，對數(shù)據(jù)進行可視化展示；（4）用戶通過以太網(wǎng)使用瀏覽器，在網(wǎng)頁中進行查看。
4 結(jié)語
隨著地鐵車輛遠程數(shù)據(jù)分析平臺的搭建，可以大大提高車輛自診斷及維修智能化水平，提升維修診斷效率；降低人工成本，提高車輛的可靠性和安全性；更便于建立車輛維修智能化數(shù)據(jù)庫，優(yōu)化維修模式，提升資源利用率，隨著車輛的數(shù)據(jù)累計，更加可以利用云計算、數(shù)據(jù)挖掘、神經(jīng)元算法等提供車輛運行的安全性和可靠性，為后期車輛的設(shè)計改進提供強有力的數(shù)據(jù)支持。
參考文獻
篇（4）
引言
與傳統(tǒng)數(shù)據(jù)數(shù)量手段比較，大數(shù)據(jù)技術(shù)具有數(shù)據(jù)類型復(fù)雜、處理迅速、實效性強等優(yōu)點，在智能交通領(lǐng)域運用大數(shù)據(jù)技術(shù)，可以采集海量的數(shù)據(jù)，這些數(shù)據(jù)內(nèi)包含許多不可估量的價值，通過挖掘和分析能夠快速得到所需的數(shù)據(jù)信息[1]。針對上述情況，本文提出基于大數(shù)據(jù)技術(shù)智能交通臺數(shù)據(jù)平臺各功能層設(shè)計情況，并提出其在交通數(shù)據(jù)診斷、路網(wǎng)延遲指數(shù)等方面的應(yīng)用。
1智能交通數(shù)據(jù)平臺功能需求
隨著智能交通管控平臺違法數(shù)據(jù)、道路信息增長速度日益加快，過去的關(guān)系型數(shù)據(jù)庫在數(shù)據(jù)保存、處理等方面的性能已無法滿足龐大的數(shù)據(jù)需求。關(guān)系型數(shù)據(jù)庫在對智能交通轉(zhuǎn)向場景的規(guī)律展開分析時，難以從多個維度數(shù)據(jù)類型間創(chuàng)建良好的相關(guān)性聯(lián)系。大數(shù)據(jù)技術(shù)的應(yīng)用就是為將這些結(jié)構(gòu)或者半結(jié)構(gòu)化的智能交通數(shù)據(jù)實施整合處理，因此，依托大數(shù)據(jù)技術(shù)設(shè)計的智能交通數(shù)據(jù)分析平臺具有的處理功能如下：①過車數(shù)據(jù)：處在行使狀態(tài)的車輛從卡口、電子警察等智能視頻采集點通過時，能夠準確記錄該車輛的車牌號、顏色、車型等結(jié)構(gòu)化的數(shù)據(jù)信息。②車輛違規(guī)行駛數(shù)據(jù)：前段配置的采集設(shè)備能從各路口采集車輛是否闖紅燈、壓線、違法掉頭或停車等數(shù)據(jù)。同時，利用智能的視頻采集點或固定源能夠?qū)崟r采集車輛行駛速度、車頭間距等車流量信息。③運用大數(shù)據(jù)技術(shù)設(shè)計的智能交通數(shù)據(jù)分析平臺能夠與信號控制系統(tǒng)實現(xiàn)對接，及時獲取信號控制系統(tǒng)的相位控制等信息。同時，智能交通數(shù)據(jù)分析平臺還具備監(jiān)控和智能交通管控平臺，能夠提供過車信息數(shù)據(jù)、路網(wǎng)信息、違法數(shù)據(jù)等。
2大數(shù)據(jù)背景下智能交通數(shù)據(jù)平臺架構(gòu)
2.1設(shè)計整體架構(gòu)
智能交通數(shù)據(jù)分析平臺是采用先進的計算機信息技術(shù)、通信技術(shù)、傳感技術(shù)、人工智能等有效整合用于交通運輸信息的管理和控制中，注重人、車與道路之間的協(xié)調(diào)，組成一種有利于改善環(huán)境、節(jié)約能源、保護安全的綜合運輸系統(tǒng)。智能交通數(shù)據(jù)分析平臺運用層次化結(jié)構(gòu)模型展開設(shè)計，并根據(jù)大數(shù)據(jù)建設(shè)要求，整個平臺包含數(shù)據(jù)感知、資源層、應(yīng)用層三個層次，數(shù)據(jù)感知層主要任務(wù)就是采集交通信息，資源層旨在管理交通領(lǐng)域的數(shù)據(jù)；應(yīng)用層旨在負責(zé)實時調(diào)度智能交通資源。本次設(shè)計的智能交通數(shù)據(jù)平臺系統(tǒng)能滿足采集、存儲、調(diào)度及處理數(shù)據(jù)等方面的需求，具體架構(gòu)如圖1所示。
2.2各模塊層設(shè)計
2.2.1資源層從智能交通數(shù)據(jù)存儲方面分析，運用數(shù)據(jù)倉庫與挖掘技術(shù)實現(xiàn)大數(shù)據(jù)的存儲和分析。其中，數(shù)據(jù)倉庫技術(shù)能夠滿足智能交通數(shù)據(jù)平臺處理海量數(shù)據(jù)的要求，該技術(shù)依托預(yù)設(shè)的存儲模式，把交通領(lǐng)域中的異構(gòu)數(shù)據(jù)根據(jù)數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)實施提取、調(diào)用、處理等操作。同時，根據(jù)預(yù)設(shè)的倉儲模型把數(shù)據(jù)存放在數(shù)據(jù)倉庫內(nèi)，借助數(shù)據(jù)倉庫技術(shù)設(shè)計的智能交通數(shù)據(jù)平臺下數(shù)據(jù)存儲及挖掘架構(gòu)見圖2。
2.2.2應(yīng)用層設(shè)計利用SOA實現(xiàn)智能交通數(shù)據(jù)平臺系統(tǒng)應(yīng)用層的設(shè)計，該層主要包含三個子模塊：①應(yīng)用實現(xiàn)模塊：該模塊旨在完成數(shù)據(jù)的調(diào)度，借助邏輯編程及時實現(xiàn)相應(yīng)的功能；②應(yīng)用流程模塊：大數(shù)據(jù)調(diào)度流程依托專業(yè)的BPEL工具調(diào)度各種資源；③特殊調(diào)度模塊：該模塊的主要任務(wù)是把自定義調(diào)度流程轉(zhuǎn)換成BPEL流程。依托SOA服務(wù)設(shè)計的應(yīng)用層。
2.2.3數(shù)據(jù)表現(xiàn)層智能交通數(shù)據(jù)平臺系統(tǒng)中的表現(xiàn)層是使用者直接參與的界面，用戶可依托瀏覽器、平板、手機等終端設(shè)備瀏覽各種智能交通信息數(shù)據(jù)。該層主要任務(wù)是確保用戶與整個系統(tǒng)的交互性，因此，配備簡潔的外觀、界面框架、各單元控件等。
3智能交通數(shù)據(jù)分析平臺系統(tǒng)的應(yīng)用
3.1智能交通數(shù)據(jù)共享及數(shù)據(jù)診斷
智能交通數(shù)據(jù)平臺系統(tǒng)各功能的實現(xiàn)離不開各模塊之間的信息整合與共享，因此，實現(xiàn)各模塊信息融合的主要方式就是創(chuàng)建信息共享平臺，這個平臺能支持相關(guān)子模塊功能提取所需的數(shù)據(jù)資源及信息共享服務(wù)。此外，一個完整的智能交通系統(tǒng)還必須配置智能交通信息中心、管理中心、智能交通基礎(chǔ)設(shè)備等，它能滿足城市交通信息規(guī)范化發(fā)展要求，包含各類信息性質(zhì)、功能及傳送方法，組成相應(yīng)的信息流機制，對共享的數(shù)據(jù)進行存儲和管理操作。依托大數(shù)據(jù)技術(shù)的相關(guān)功能，這些共享數(shù)據(jù)可以由日益變化的智能交通各數(shù)據(jù)信息提取出來，實現(xiàn)各地區(qū)、不同領(lǐng)域的數(shù)據(jù)庫實施綜合處理，將歷史數(shù)據(jù)遷移至大數(shù)據(jù)平臺下，還要保持數(shù)據(jù)的完整性及各種數(shù)據(jù)之間的關(guān)系可以理解。同時，可依據(jù)各模塊不同需求及相關(guān)關(guān)系為客戶提供各種數(shù)據(jù)信息服務(wù)，組織內(nèi)部存儲各類數(shù)據(jù)直接輸出來，其他子系統(tǒng)保存相關(guān)數(shù)據(jù)從信息共享平臺提供一系列的查詢功能。此外，大數(shù)據(jù)平臺可以及時統(tǒng)計并輸出道路網(wǎng)絡(luò)的擁堵、事故情況，并能歸納為利于用戶決策的有用信息，例如：利用大數(shù)據(jù)分析，某個路口闖紅燈數(shù)量明顯少于平時，出現(xiàn)異常數(shù)據(jù)可以設(shè)置報警規(guī)則，提醒出現(xiàn)異常信息[2]。維護者對現(xiàn)場道路智能交通設(shè)施實施排查操作，判定是否存在設(shè)備故障。利用大數(shù)據(jù)技術(shù)直觀展現(xiàn)道路不均指數(shù)，提供最佳的信號機配時/相位方案，便于決策人員制定科學(xué)的決策。
3.2道路網(wǎng)延遲指數(shù)分析
依托大數(shù)據(jù)技術(shù)對各個路口/路段歷史流量進行統(tǒng)計，進一步分析路網(wǎng)的延遲指數(shù)。智能交通延遲指數(shù)求解方法是實際通過旅行時間與自由流通旅行時間相減，若所得數(shù)值為負數(shù)，則設(shè)定為0，表明并未發(fā)生延遲，并把這些數(shù)據(jù)映射至[0，10]數(shù)據(jù)區(qū)間之內(nèi)。如果智能交通延遲指數(shù)較大，說明這個地點的擁堵情況更嚴重。左側(cè)向使用者展現(xiàn)設(shè)定日期、特點等交通延遲指數(shù)改變情況，來回移動水平滾動條，能夠及時查看不同時間段的延遲數(shù)據(jù)。左側(cè)展現(xiàn)路口、道路等級、行政區(qū)劃等各維度下相對應(yīng)點的延遲指數(shù)和排名情況。通過綜合分析道路延遲指數(shù)，能夠為決策人員提供新建道路規(guī)劃等決策提供支持。
3.3道路路口組織優(yōu)化設(shè)計
篇（5）
中國分類號：TP311?1文獻標識碼：A文章編號：10053824（2013）03003004
0引言
物聯(lián)網(wǎng)（internet of things， IoT）是指將各種信息感知設(shè)備及系統(tǒng)通過接入網(wǎng)絡(luò)與互聯(lián)網(wǎng)結(jié)合起來而形成的巨大的智能網(wǎng)絡(luò)[12]。物聯(lián)網(wǎng)作為一次技術(shù)革命，代表了通信技術(shù)和計算技術(shù)的未來，被稱作繼計算機和互聯(lián)網(wǎng)之后，世界信息產(chǎn)業(yè)的第三次浪潮[3]，受到了世界各國政府和科研機構(gòu)的廣泛關(guān)注[4]。
作為物聯(lián)網(wǎng)的主要支撐技術(shù)之一[5]，信息處理軟件直接影響著物聯(lián)網(wǎng)的用戶體驗及其進一步發(fā)展[67]。但是已有的物聯(lián)網(wǎng)數(shù)據(jù)處理軟件的功能較為單一，可擴展性不足，應(yīng)用領(lǐng)域受限。為了改善物聯(lián)網(wǎng)數(shù)據(jù)處理軟件的功能性和擴展性，為用戶提供快速、高效的物聯(lián)網(wǎng)實時管控方案，本文設(shè)計并實現(xiàn)了一種模塊化的多功能的物聯(lián)網(wǎng)數(shù)據(jù)分析與處理軟件。該軟件采用模塊化設(shè)計，以VC++ 6.0作為主控模塊實現(xiàn)環(huán)境，便于在Windows系統(tǒng)環(huán)境下方便地使用本軟件；服務(wù)器采用Apache Tomcat 6.0搭建；數(shù)據(jù)庫模塊基于MySQL 6.0實現(xiàn)，以保證軟件的易擴展性和穩(wěn)定性；拓撲顯示模塊采用Flex和flash player ActivX 10.0進行開發(fā)，以改善用戶體驗。
1軟件的總體設(shè)計
1.1主要功能
本軟件旨在為用戶提供一套快速、高效的物聯(lián)網(wǎng)實時數(shù)據(jù)處理與管控方案，其主要功能包括以下幾個方面。
1）網(wǎng)絡(luò)數(shù)據(jù)解析和處理功能：軟件可對物聯(lián)網(wǎng)數(shù)據(jù)進行協(xié)議解析、分析、處理和存儲等操作，并同相鄰網(wǎng)絡(luò)層設(shè)備進行數(shù)據(jù)交互。
2）網(wǎng)絡(luò)數(shù)據(jù)的存儲功能：軟件可通過數(shù)據(jù)庫讀寫操作，將網(wǎng)絡(luò)重要歷史數(shù)據(jù)存儲于遠程數(shù)據(jù)庫中，并可進行讀取等操作，為物聯(lián)網(wǎng)網(wǎng)絡(luò)管理人員提供便利。
3）網(wǎng)絡(luò)拓撲顯示功能：軟件采用FLEX技術(shù)繪制目標物聯(lián)網(wǎng)網(wǎng)絡(luò)拓撲，并通過定時發(fā)送拓撲數(shù)據(jù)請求實現(xiàn)網(wǎng)絡(luò)拓撲狀態(tài)圖的實時更新，提供了優(yōu)越的用戶體驗。
4）網(wǎng)絡(luò)信息查詢和控制功能：本軟件集成了網(wǎng)絡(luò)節(jié)點信息的顯示、查詢能力，用戶可對網(wǎng)絡(luò)節(jié)點相關(guān)狀態(tài)進行針對性的查詢；同時，提供網(wǎng)絡(luò)屬性調(diào)整和節(jié)點控制功能，用戶可根據(jù)實際需要修改網(wǎng)絡(luò)節(jié)點參數(shù)，控制網(wǎng)絡(luò)運行情況。
1.2軟件系統(tǒng)總體架構(gòu)
本軟件系統(tǒng)運行于C/S架構(gòu)的服務(wù)器平臺上，作為遠端服務(wù)器控制軟件完成網(wǎng)絡(luò)監(jiān)聽與數(shù)據(jù)包接收、網(wǎng)絡(luò)數(shù)據(jù)分析處理、網(wǎng)絡(luò)拓撲狀態(tài)顯示以及節(jié)點信息查詢與控制等物聯(lián)網(wǎng)管控工作。系統(tǒng)總體組織架構(gòu)圖如圖1所示。
圖1軟件總體架構(gòu)圖軟件功能模塊主要由6個部分組成，分別是網(wǎng)絡(luò)通信模塊、參數(shù)設(shè)置模塊、數(shù)據(jù)處理模塊、拓撲顯示模塊、信息查詢模塊和數(shù)據(jù)庫交互模塊，如圖2所示。其中，網(wǎng)絡(luò)通信模塊完成底層的網(wǎng)絡(luò)通信工作；參數(shù)設(shè)置模塊接收并設(shè)定用戶輸入的軟件工作基本參數(shù)；數(shù)據(jù)處理模塊負責(zé)數(shù)據(jù)包的解析、判別和數(shù)據(jù)分類處理工作；拓撲顯示模塊負責(zé)為用戶提供網(wǎng)絡(luò)拓撲和節(jié)點簡要信息的顯示；信息查詢模塊為用戶提供網(wǎng)絡(luò)節(jié)點詳細屬性的查詢和節(jié)點控制；數(shù)據(jù)庫模塊負責(zé)完成網(wǎng)絡(luò)數(shù)據(jù)的存儲和查詢等工作。
圖2軟件系統(tǒng)功能模塊1.3軟件系統(tǒng)工作流程
本軟件功能模塊間的數(shù)據(jù)流關(guān)系如圖3所示。各模塊間通過相應(yīng)接口完成網(wǎng)絡(luò)數(shù)據(jù)的上傳、分析與處理和控制命令的下發(fā)操作。首先，軟件接收來自網(wǎng)絡(luò)的各類型數(shù)據(jù)，并對其進行分類與解析。隨后，軟件將數(shù)據(jù)處理結(jié)果通過數(shù)據(jù)庫模塊進行存儲。在此基礎(chǔ)上，拓撲顯示模塊和信息查詢模塊分別通過查詢/更新數(shù)據(jù)庫進行信息顯示和用戶控制指令的下發(fā)操作。數(shù)據(jù)處理模塊和數(shù)據(jù)庫模塊掃描數(shù)據(jù)庫中的相應(yīng)表項，提取控制信息后通過網(wǎng)絡(luò)通信模塊下發(fā)至目標網(wǎng)絡(luò)。
圖3軟件工作流程圖2主要功能模塊的實現(xiàn)
2.1網(wǎng)絡(luò)通信功能模塊
網(wǎng)絡(luò)通信模塊是本軟件的底層數(shù)據(jù)通信模塊，該模塊采用完成端口模型（I/O completion port， IOCP）作為本軟件的網(wǎng)絡(luò)服務(wù)引擎，由于IOCP規(guī)定了并行線程的數(shù)量，并使用線程池對線程進行管理，從而避免了反復(fù)創(chuàng)建線程和線程調(diào)度的開銷，提高了本軟件的并行處理能力。該模塊通過構(gòu)造完成端口模型類（IOCPModeSvr），使用CreatIOCompletionPort（）函數(shù)創(chuàng)建完成端口對象；構(gòu)造ListenProc（）函數(shù)監(jiān)聽來自物聯(lián)網(wǎng)感知層網(wǎng)絡(luò)網(wǎng)關(guān)節(jié)點的連接請求；使用bool CIOCPModeSvr：：SendMsg（）函數(shù)響應(yīng)上層控制命令的下發(fā)要求，向客戶端發(fā)送控制命令幀。
2.2數(shù)據(jù)分析與處理功能模塊
數(shù)據(jù)處理模塊是物聯(lián)網(wǎng)數(shù)據(jù)分析與處理軟件的關(guān)鍵組成模塊之一。該模塊接收來自底層網(wǎng)絡(luò)模塊的數(shù)據(jù)幀，并進行分類、分析、處理及重構(gòu)等操作，為上層數(shù)據(jù)應(yīng)用奠定數(shù)據(jù)預(yù)處理基礎(chǔ)。通過創(chuàng)建DataProc類實現(xiàn)該模塊，具體包括：
1）通過內(nèi)聯(lián)函數(shù)checkType（）快速解析由底層網(wǎng)絡(luò)上傳的數(shù)據(jù)幀的協(xié)議類型與數(shù)據(jù)類型；
2）構(gòu)造getInt（）、getRangeString（）等函數(shù)完成數(shù)據(jù)幀的數(shù)據(jù)進制與格式轉(zhuǎn)換；
3）使用ProcessRecvData（）函數(shù)分析數(shù)據(jù)幀，重構(gòu)出信息處理所需數(shù)據(jù)；
4）完成相應(yīng)數(shù)據(jù)處理功能，主要包括數(shù)據(jù)聚類、數(shù)據(jù)計算、數(shù)據(jù)范圍判斷、數(shù)據(jù)異常的處理、反饋數(shù)據(jù)幀的構(gòu)造。
2.3參數(shù)設(shè)置模塊
參數(shù)設(shè)置模塊是物聯(lián)網(wǎng)數(shù)據(jù)分析與處理軟件的系統(tǒng)參數(shù)初始化模塊，該模塊讀取用戶設(shè)置的軟件運行參數(shù)，并對軟件進行相應(yīng)運行參數(shù)初始化。該模塊響應(yīng)用戶參數(shù)設(shè)置操作，讀取參數(shù)并判斷參數(shù)是否有效。若參數(shù)設(shè)置有效，則對軟件相應(yīng)運行參數(shù)進行修改，同時顯示軟件當前連接狀態(tài)，界面實現(xiàn)如圖4所示。
圖4參數(shù)設(shè)置界面
2.4數(shù)據(jù)庫與Web服務(wù)器
本軟件采用MySQL數(shù)據(jù)庫進行原始數(shù)據(jù)的存放，其中已經(jīng)直接保存了經(jīng)由數(shù)據(jù)分析與處理模塊上傳的全部數(shù)據(jù)，主要數(shù)據(jù)表包括：表node_topu_stat，用以存儲網(wǎng)絡(luò)所有原始拓撲信息；表node_info_stat，存儲網(wǎng)絡(luò)節(jié)點上傳的狀態(tài)信息；表control_stat，負責(zé)存儲用戶的查詢和控制指令。由于上層的拓撲展示模塊所需要的是最新的數(shù)據(jù)信息，因而需要Web服務(wù)器模塊將冗余的原始數(shù)據(jù)進行初步處理，為拓撲顯示模塊提供無冗余的信息，以實現(xiàn)基于拓撲圖的物聯(lián)網(wǎng)實時監(jiān)控。首先，通過對數(shù)據(jù)庫中各分類表加入觸發(fā)器實現(xiàn)數(shù)據(jù)的初步提取。其次，在本模塊中，數(shù)據(jù)處理模塊所生成的最新數(shù)據(jù)進一步轉(zhuǎn)換為能夠表示拓撲圖的XML文件，即將節(jié)點所上傳的鄰居表轉(zhuǎn)換為節(jié)點與邊的關(guān)系。本系統(tǒng)中使用了Web服務(wù)器所能支持的JSP技術(shù)實現(xiàn)了實時訪問數(shù)據(jù)庫生成轉(zhuǎn)換數(shù)據(jù)的功能，拓撲控制模塊直接訪問該頁面的地址，即可實現(xiàn)拓撲數(shù)據(jù)的獲取，如圖5所示。
圖5數(shù)據(jù)庫與Web服務(wù)器2.5拓撲顯示模塊
網(wǎng)絡(luò)拓撲顯示模塊是與用戶進行交互的主要模塊，用戶通過點擊“網(wǎng)絡(luò)拓撲”訪問拓撲展示模塊。該模塊通過定時向Web服務(wù)器數(shù)據(jù)處理模塊發(fā)起拓撲數(shù)據(jù)請求實現(xiàn)網(wǎng)絡(luò)拓撲的實時更新。通過向數(shù)據(jù)處理模塊獲取拓撲XML數(shù)據(jù)，圖形界面將其轉(zhuǎn)化為拓撲圖中的“節(jié)點”與“邊”的實際圖形對象，并將其他附加數(shù)據(jù)作為標簽保存在給節(jié)點，方便用戶查看。模塊工作流程及實現(xiàn)界面分別如圖6和圖7所示。
圖6拓撲顯示模塊圖7拓撲顯示界面2.6信息查詢與控制
本模塊中的查詢控制功能是指對物聯(lián)網(wǎng)可控節(jié)點發(fā)送控制指令。查詢控制指令與拓撲數(shù)據(jù)一樣，需要經(jīng)過數(shù)據(jù)庫作為中轉(zhuǎn)，整個中轉(zhuǎn)回傳的代碼構(gòu)成了控制模塊。控制指令需要根據(jù)實現(xiàn)指定的通信協(xié)議發(fā)送。在控制指令的收集窗口中，用戶可以進行相應(yīng)的選擇，控制模塊負責(zé)將用戶在窗體中的選擇輸出至與數(shù)據(jù)庫相連的JSP頁面，并由JSP頁面將其存入數(shù)據(jù)庫中。網(wǎng)關(guān)通過定期與服務(wù)器通信獲得最新的操作指令，將其轉(zhuǎn)換為控制指令最終發(fā)送至物聯(lián)網(wǎng)節(jié)點，實現(xiàn)界面如圖8所示。
3結(jié)束語
本文設(shè)計并實現(xiàn)了一種多功能物聯(lián)網(wǎng)數(shù)據(jù)分析與處理軟件。該軟件通過網(wǎng)絡(luò)監(jiān)聽、數(shù)據(jù)分析處理、網(wǎng)絡(luò)拓撲顯示以及節(jié)點信息查詢與控制等功能模塊實現(xiàn)對物聯(lián)網(wǎng)數(shù)據(jù)的有效處理。通過將該軟件移植于實際物聯(lián)網(wǎng)應(yīng)用環(huán)境，驗證了該軟件能夠快速、高效地處理網(wǎng)絡(luò)數(shù)據(jù)，且易于擴展，為多模異構(gòu)網(wǎng)絡(luò)條件下的物聯(lián)網(wǎng)創(chuàng)新應(yīng)用平臺構(gòu)建提供了新的思路。
圖8信息查詢與控制界面
參考文獻：
[1]孫其博，劉杰，黎.物聯(lián)網(wǎng)：概念、架構(gòu)與關(guān)鍵技術(shù)研究綜述[J].北京郵電大學(xué)學(xué)報，2010，33（3）：19.
[2]International Telecommunication Union. Internet reports 2005： the Internet of Things [R]. Geneva： ITU， 2005.
[3]劉強，崔莉，陳海明.物聯(lián)網(wǎng)關(guān)鍵技術(shù)與應(yīng)用[J].計算機科學(xué)， 2010， 37（6）：110.
[4]劉云浩. 從普適計算、CPS到物聯(lián)網(wǎng)：下一代互聯(lián)網(wǎng)的視界[J]. 中國計算機學(xué)會通訊， 2009， 5（12）：6669.
篇（6）
1 背景
油液檢測技術(shù)是目前風(fēng)電行業(yè)采用的重要監(jiān)測與診斷技術(shù)之一。油液檢測的方法很多，如：光譜油料分析法、紅外光譜分析法、顆粒計數(shù)法、油品理化分析法等。通過分析被監(jiān)測機組所使用的油液的性能變化和攜帶的磨損微粒的情況，可獲得機組的和磨損狀態(tài)的信息，評價機組的工況和故障預(yù)警，并確定故障原因、類型以及需要采用的維修管理策略。
新疆風(fēng)能研究所油品檢測分析實驗室于2008年成立。實驗室以油品檢測分析業(yè)務(wù)為主，并擁有先進的油液分析實驗儀器，如艾默生CSI5200油液分析儀、美國熱電MOAⅡ元素光譜分析儀等，總投資近兩百萬元。2008年至今為新疆風(fēng)能公司檢測3種機型23臺風(fēng)力發(fā)電機的80余組齒輪箱油樣。目前一個油樣完成一次完整的油液分析后，不同設(shè)備獲取的數(shù)據(jù)存儲的種類不一，有文本、圖片、數(shù)據(jù)庫等，這些數(shù)據(jù)目前分散、雜亂，需要進行數(shù)據(jù)自動采集和整合，并集中導(dǎo)入到一個統(tǒng)一的數(shù)據(jù)庫中進行管理和分析，目前一些油液分析設(shè)備自帶的軟件主要是列出檢測結(jié)果數(shù)據(jù)，還不能滿足自動制作專業(yè)檢測報告，作出分析結(jié)論的要求。這就需要研發(fā)一套系統(tǒng)能夠?qū)崟r采集并導(dǎo)入油液檢測數(shù)據(jù)結(jié)果，并科學(xué)管理油液檢測數(shù)據(jù)，并根據(jù)現(xiàn)場的要求，對數(shù)據(jù)進行科學(xué)分析，最終作出專業(yè)、權(quán)威的檢測報告。
目前新疆還沒有這樣一個風(fēng)機油液檢測數(shù)據(jù)分析和管理的平臺系統(tǒng)，因此設(shè)計建立這樣一個系統(tǒng)有利于作為中國風(fēng)電發(fā)祥地的新疆更好的做好風(fēng)電技術(shù)服務(wù)工作，有效的為新疆的各大風(fēng)電場的風(fēng)機做好科學(xué)、快捷、專業(yè)的技術(shù)支撐。
2 系統(tǒng)構(gòu)成及主要功能
該系統(tǒng)軟件主要由數(shù)據(jù)采集導(dǎo)入模塊，數(shù)據(jù)管理模塊，檢測報告設(shè)置模塊，分析模塊，參數(shù)設(shè)置模塊，報告輸出模塊等構(gòu)成，系統(tǒng)硬件主要由數(shù)據(jù)采集器、數(shù)據(jù)庫服務(wù)器、WEB應(yīng)用服務(wù)器、網(wǎng)絡(luò)通訊設(shè)備等構(gòu)成。
數(shù)據(jù)采集導(dǎo)入模塊負責(zé)將各類油液分析設(shè)備檢測得到的數(shù)據(jù)通過數(shù)據(jù)采集器實時采集或通過導(dǎo)入方式輸入系統(tǒng)數(shù)據(jù)庫中，我們可以通過數(shù)據(jù)管理模塊進行檢測數(shù)據(jù)的手工錄入、編輯、刪除、查詢管理，通過報告設(shè)置模塊我們可以設(shè)置檢測報告的模式，分析模塊通過分析原始數(shù)據(jù)最終得出分析報告，其中用于分析和處理的參數(shù)在參數(shù)設(shè)置模塊中進行動態(tài)設(shè)置，油液檢測報告由報告輸出模塊進行文件導(dǎo)出和打印輸出，該報告經(jīng)過油品檢測分析實驗室簽字蓋章后形成權(quán)威的檢測報告，整個系統(tǒng)的數(shù)據(jù)可以通過WEB應(yīng)用服務(wù)器到公用網(wǎng)絡(luò)中去，用戶可隨時在任意一個地點通過網(wǎng)絡(luò)可以訪問該系統(tǒng)，查詢獲取油液檢測信息，并獲得檢測報告結(jié)果。
3 系統(tǒng)實現(xiàn)和部署
本系統(tǒng)硬件主要有：tplink無線路由，Dell應(yīng)用服務(wù)器，檢測計算機，MOXA NP-5230串口服務(wù)器，PKTH300A-ACZ1溫濕度變送器等，變送器和監(jiān)測計算機之間采用MODBUS通訊協(xié)議，并轉(zhuǎn)換成網(wǎng)絡(luò)協(xié)議進行無線通信。監(jiān)測計算機和服務(wù)器之間主要采用TCP/IP協(xié)議進行連接。軟件主要采用自主開發(fā)的平臺應(yīng)用系統(tǒng)，系統(tǒng)本還提供基于SOAP、WSDL、UDDI協(xié)議的Web Service服務(wù)。
本系統(tǒng)建成后，希望實現(xiàn)以下油液檢測基本流程：
⑴在網(wǎng)頁客戶端登記委托單+多個樣品（不同用戶權(quán)限不同）。
⑵樣品入庫（主要信息有：待檢庫，已檢庫，記錄人員、時間，檢測量），出庫（人員，時間，檢測量）。
⑶啟動CSI、MOAII設(shè)備進行樣品檢測。
⑷獲取當前檢測數(shù)據(jù)
⑸查找選擇委托單，填寫樣品編號，保存檢測數(shù)據(jù)
⑹樣品是否檢測完，未完繼續(xù)4，已完繼續(xù)
⑺完成檢測。
⑻剩余樣品入庫（樣品，原始記錄）
⑼出具檢測原始記錄單
⑽出具檢測報告單
本系統(tǒng)可以自動生成檢測報告，所做報告能根據(jù)表1進行報警標識。
4 展望
篇（7）
中圖分類號：TS941 文獻標志碼：A
The Influence of Industry Big Data Analysis on New Models of Design Thinking
Abstract： Based on discussing big data analyzing technology as well as enterprise case studies and tracking surveys， the paper states that such data analyzing technology will facilitate the generation of new models of design thinking， which will more rely on Internet technology， and systematically reorganize complicated resources and information into data that can be further used as an important guidance for new product design. These data will help enterprises realize cooperation of various participants， information sharing and tier management in the process of product design and R&D and improve the efficiency and benefits of their design and R&D system.
Key words： data analysis； design thinking； market positioning； precision marketing
在全球服裝紡織業(yè)格局中，中國還處于起步探索階段，缺少真正有市場競爭力的自主設(shè)計品牌。企業(yè)們普遍缺乏高效務(wù)實的設(shè)計創(chuàng)新能力，成為了我國服裝紡織行業(yè)的發(fā)展短板。面對國際品牌的激烈競爭，企業(yè)們需要建立自己的新型設(shè)計思維模式。更加適應(yīng)市場需求的新設(shè)計思維將是一套有理有據(jù)、高效靈敏的產(chǎn)品設(shè)計與管理系統(tǒng)，這將有助于企業(yè)們更超前的把握市場發(fā)展動態(tài)，更精準的分析產(chǎn)品的優(yōu)劣勢，更合理的籌劃銷售策略，更敏銳的找到未來商業(yè)機會從而打造企業(yè)及品牌的市場競爭實力。
目前在經(jīng)濟發(fā)達國家的服裝產(chǎn)業(yè)中，類似的研究已經(jīng)進行到了比較成熟的階段，如法國的Lectra（力克）公司，通過將其CAD/CAM 、三維技術(shù)與互聯(lián)網(wǎng)技術(shù)的結(jié)合，進行最優(yōu)化的數(shù)據(jù)傳輸，可以滿足企業(yè)在整個生產(chǎn)過程中從服裝系列設(shè)計到視覺化銷售的所有環(huán)節(jié)的需求。力克公司的發(fā)展資料為本文的研究提供了非常有價值的可參考實例。
1 針對服裝紡織產(chǎn)業(yè)大數(shù)據(jù)分析技術(shù)的研究
服裝紡織產(chǎn)業(yè)大數(shù)據(jù)分析技術(shù)是基于互聯(lián)網(wǎng)大數(shù)據(jù)分析的專業(yè)服裝設(shè)計和生產(chǎn)管理輔助工具。該分析技術(shù)采用的是個性化分布式數(shù)據(jù)挖掘技術(shù)，通過對互聯(lián)網(wǎng)海量真實的服裝銷售數(shù)據(jù)的分析，監(jiān)控并分析網(wǎng)站，采用JAVA語言對網(wǎng)站中各種內(nèi)容信息進行智能化的分析和挖掘，多維度、全方位對服裝屬性數(shù)據(jù)進行篩選，可甄別出不同時間段、不同地域、不同年齡層次、不同性別甚至不同消費習(xí)慣的服裝購買者對服裝顏色、款式、面料、尺寸等屬性的偏好，并形成直觀易懂的可視化報表，從而對設(shè)計和生產(chǎn)管理者形成指導(dǎo)，更加方便直接的形成“設(shè)計指導(dǎo)書”或者“生產(chǎn)指導(dǎo)書”。能夠使產(chǎn)品更加符合品牌特征和市場需求，極大地提高設(shè)計生產(chǎn)效率，減少成本與避免試錯風(fēng)險。
在數(shù)據(jù)分析技術(shù)的層面上，它是基于html的個性化分布式數(shù)據(jù)挖掘系統(tǒng)。核心內(nèi)容是監(jiān)控并分析網(wǎng)站，生成Excel表格形式的報表，報表包含關(guān)鍵詞和網(wǎng)站的鏈接地址。這種分析為采用Java語言對網(wǎng)站中的各種內(nèi)容信息進行智能化的分析與挖掘。相當于目標網(wǎng)站名單讀取模塊，采用Excel表格存儲目標網(wǎng)站列表和關(guān)鍵詞，并且用Java語言讀取信息，并利用web界面即時呈現(xiàn)監(jiān)控結(jié)果。
2 服裝紡織產(chǎn)業(yè)大數(shù)據(jù)分析技術(shù)對設(shè)計思維影響的實例研究
參與本次研究項目的北京相與文化發(fā)展有限公司，是一家由中法意等多國設(shè)計師和業(yè)內(nèi)人士組成的專業(yè)服裝紡織品品牌孵化和設(shè)計營銷整合機構(gòu)。
2014年公司開始進行自主開發(fā)和使用基于互聯(lián)網(wǎng)的服裝設(shè)計大數(shù)據(jù)分析系統(tǒng)，如圖 1 所示，針對某款產(chǎn)品的數(shù)據(jù)分析結(jié)果，將對設(shè)計工作產(chǎn)生重要的引導(dǎo)作用。設(shè)計師們會根據(jù)數(shù)據(jù)分析結(jié)果來判斷設(shè)計思路是否合理，改變了傳統(tǒng)設(shè)計流程中過于強調(diào)設(shè)計師主觀感受的不穩(wěn)定性，將基于互聯(lián)網(wǎng)的海量數(shù)據(jù)經(jīng)過精準的篩選和整理，生成直觀可視化的數(shù)據(jù)報表，并且形成多點共享和分級管理的平臺化工具，將設(shè)計研發(fā)流程模塊化，迅速找到針對市場切實有效的產(chǎn)品設(shè)計賣點和營銷方式，可以極大地提高服裝設(shè)計師和生產(chǎn)管理者的工作效率，降低了設(shè)計研發(fā)成本并有效減少了企業(yè)在新品設(shè)計研發(fā)方面的試錯風(fēng)險。
為了調(diào)研資料的充分性和客觀性，本論文還調(diào)研了參與10家生產(chǎn)銷售與男士T恤相關(guān)的服裝企業(yè)。在男士T恤這個產(chǎn)品品類的設(shè)計開發(fā)之前，這些企業(yè)想去了解該產(chǎn)品的設(shè)計研發(fā)方向的需求集中體現(xiàn)在以下幾個方面，如基礎(chǔ)風(fēng)格、花型圖案、面料材質(zhì)、款式細節(jié)和服飾工藝等；并且在這幾個需求里面，關(guān)于花型圖案的調(diào)研量最大，這個環(huán)節(jié)也就成為了企業(yè)們最為關(guān)注的問題所在，另外占比量22%位居其次的款式細節(jié)，也成了男士T恤的另一個設(shè)計重點。以上調(diào)研的數(shù)據(jù)比例圖示（圖2），充分證明了企業(yè)對產(chǎn)品的設(shè)計研發(fā)方向的設(shè)定，是有著比較明晰準確的需要點的，占比29%的企業(yè)都認為要將花型圖案作為男士T恤的設(shè)計重點。如果通過產(chǎn)業(yè)數(shù)據(jù)分析技術(shù)，能比較清楚地告知這些企業(yè)，在服裝設(shè)計研發(fā)的時候，是否要優(yōu)先關(guān)注哪些方面以及如何把握這些方面的設(shè)計工作，這無疑對企業(yè)把控產(chǎn)品與市場需求的貼合度方面是有重要幫助的。
3 產(chǎn)業(yè)大數(shù)據(jù)分析技術(shù)對新型設(shè)計思維模式的影響
“積累、效率、協(xié)作、降本”―― 代表著新型設(shè)計思維模式核心要素的，將給產(chǎn)品的設(shè)計研發(fā)思維帶來全新突破，將有力地幫助中國數(shù)以萬家企業(yè)將設(shè)計真正轉(zhuǎn)化為生產(chǎn)力并最終打造核心競爭能力，完善品牌體系并全面提升品牌價值。
將與產(chǎn)品相關(guān)的市場數(shù)據(jù)進行搜集整理和分析，在互聯(lián)網(wǎng)大數(shù)據(jù)分析技術(shù)的幫助下，找到對企業(yè)的產(chǎn)品設(shè)計研發(fā)最具有參考價值的類比信息，不同于傳統(tǒng)設(shè)計模式的主觀化和分散化，新一代的設(shè)計思維模式需要將資源和信息模塊化，形成支持系統(tǒng)；從而在企業(yè)的整體產(chǎn)品設(shè)計研發(fā)流程中實現(xiàn)多點協(xié)作、信息共享和分級管理，極大地提高了流程的效率，降低了錯誤判斷市場導(dǎo)向帶來的經(jīng)營風(fēng)險，節(jié)省了設(shè)計開發(fā)的時間和成本，同時新型設(shè)計思維模式又會強化對于流程中每個環(huán)節(jié)的工作指標的評估，從而達成有效良性的管理機制。
篇（8）
關(guān)鍵詞： Excel軟件；數(shù)據(jù)處理；數(shù)據(jù)管理；金屬電子逸出功
Key words： Excel software；data processing；data management；metal electric work function
中圖分類號：TP274；O4—39 文獻標識碼：A 文章編號：1006—4311（2012）27—0216—03
0 引言
在物理實驗尤其是近代物理實驗以及科學(xué)研究中，經(jīng)常產(chǎn)生大量測量數(shù)據(jù)，經(jīng)過記錄、整理、計算、繪圖、分析等大量復(fù)雜繁瑣的數(shù)據(jù)處理后，方能給出科學(xué)結(jié)論。傳統(tǒng)方法往往是手工處理大量數(shù)據(jù)，最終僅在坐標紙上描點繪圖。因此效率低，易出錯，誤差大，甚至影響結(jié)論的準確性。
隨著計算機迅速發(fā)展，數(shù)據(jù)分析處理的軟件實現(xiàn)和應(yīng)用也逐漸成為每個科研工作者必須掌握的一門技術(shù)。常見的數(shù)據(jù)處理軟件如Origin、MATLAB、SPSS等功能強大，專業(yè)性強，對使用者有較高要求，而Excel直觀易學(xué)，使用方便，數(shù)據(jù)處理過程簡單，無需精通計算機編程，因此成為處理物理實驗數(shù)據(jù)的首選工具。
Excel集數(shù)據(jù)表格、圖表和數(shù)據(jù)庫三大基本結(jié)構(gòu)功能于一身，還提供了大量函數(shù)，用戶可通過這些函數(shù)進行統(tǒng)計管理、線性分析等工作[1—3]。并能很方便地將數(shù)據(jù)處理過程的基本單元制成電子模板，使用時只要調(diào)出相應(yīng)的模板，輸入原始數(shù)據(jù)，激活相應(yīng)的功能按鈕，就能得到實驗作圖要求的各項參數(shù)。
1 電子逸出功的測量原理簡介
由費米—狄拉克能量分布公式可得到熱電子發(fā)射的里查遜—熱西曼公式[4] I=AST2exp（—■）（1）
式中I是加速電壓為零時熱電子發(fā)射電流，稱零場電流。A與陰極材料有關(guān)，S為陰極有效發(fā)射面積，T為發(fā)射熱電子的陰極絕對溫度（該溫度與加熱電流對應(yīng)關(guān)系可查表）。實際測量中采用理查遜直線法避開A、S測量，將（1）式兩邊除以T2，再取對數(shù)得
1g■=1gAS—■=1gAS—5.04×103？漬■（2）
可見，1g■與■成線性關(guān)系，由斜率即可求出該金屬的逸出電位？漬或逸出功e？漬。
由于肖特基效應(yīng)，零場電流I與陰極發(fā)射電流Ia、加速電壓Ua有
1gIa=1gI+■■■（3）
式中Ia是加速電壓Ua為時陰極發(fā)射電流，r1和r2分別是陰極和陽極半徑。幾何尺寸一定的管子，陰極溫度T一定時，1gIa與■成線性關(guān)系，截距為1gI。
實驗一般在7個不同溫度值采集49組電壓和電流值，根據(jù)公式（3）進行7次直線擬合，采用直線外延法分別找出7個溫度對應(yīng)的零場電流對數(shù)1gI，之后再根據(jù)公式（2）進行1g■～■直線擬合，找出該直線斜率，進而求出該金屬的逸出功e？漬。計算公式繁瑣，圖表較多，數(shù)據(jù)處理困難。
2 設(shè)計思路
本設(shè)計旨在實現(xiàn)數(shù)據(jù)的記錄管理和分析處理。使用者僅需錄入測量數(shù)據(jù)并保存，系統(tǒng)便自動生成處理結(jié)果以及相關(guān)圖表。保存后可獲得原始測量數(shù)據(jù)備份，避免隨意篡改偽造測量數(shù)據(jù)；同時，又可形成一個數(shù)據(jù)信息庫，為使用者查詢測量數(shù)據(jù)提供便利。
基于以上構(gòu)思，數(shù)據(jù)錄入和數(shù)據(jù)處理作為兩個獨立且關(guān)聯(lián)的模塊，分別出現(xiàn)在兩個工作表中。數(shù)據(jù)錄入模塊將個人信息和測量數(shù)據(jù)輸入電腦，除必要輸入欄目，使用者沒有權(quán)限更改其他選項。處理分析模塊的數(shù)據(jù)來自于對管理模塊的鏈接，包括數(shù)據(jù)處理的中間過程和最終處理結(jié)果，為了便于管理還應(yīng)包含使用者的基本信息。流程如圖1。
3 基于Excel實現(xiàn)測量數(shù)據(jù)的錄入和管理
本測量采用西安超凡光電設(shè)備有限公司W(wǎng)H—I型金屬鎢電子逸出功測量儀完成。
打開Excel，創(chuàng)建新工作表，該工作表作為數(shù)據(jù)記錄用表，命名為“原始數(shù)據(jù)”。根據(jù)測量原理和要求，該工作表由基本信息、數(shù)據(jù)記錄、溫度對照表三個部分組成，如圖2。
此工作表A1—H3為使用者基本信息，其中G2單元格輸入的內(nèi)容為“=TODAY（）”，可獲取當前系統(tǒng)日期。A6—H12為數(shù)據(jù)Ia、Ua記錄欄。A14—H17為“加熱電流If與鎢絲真實溫度對照表”，數(shù)據(jù)處理過程中需查此表獲得陰極燈絲溫度。
篇（9）
中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2017）03-0016-03
Design and Implementation of Energy Saving Potential Data Analysis System for Iron and Steel Enterprises Based on Hadoop
WANG Cheng-hui， WANG Jian， DAI Yi-ru
（CIMS Research Center，Tongji University， Shanghai 201804， China）
Abstract： In order to improve the level of energy consumption of iron and steel enterprises， put forward a kind of energy saving potential of big data analysis based on Hadoop system construction method， and application of the system， an example proves that the method analysis in the energy saving potential of the iron and steel enterprise， has the characteristics of convenient operation and easy popularization.
Key words： energy saving potential； big data analysis； Hadoop
我國做為能耗大國，能源消耗量十分巨大，然而，能源利用率卻遠遠低于發(fā)達國家，這個問題嚴重制約了國家可持續(xù)發(fā)展戰(zhàn)略的落實。鋼鐵企業(yè)作為國民經(jīng)濟的支柱產(chǎn)業(yè)，提高鋼鐵企業(yè)的能耗水平，對我國建設(shè)“資源節(jié)約型”國家戰(zhàn)略部署具有重大意義。然而，我國鋼鐵企業(yè)的能耗水平與發(fā)達國家相比，仍然存在著十分巨大的差距。面向我國鋼鐵工業(yè)節(jié)能減排發(fā)展目標，針對其生產(chǎn)過程中的高能耗、高排放的運行特點，不斷挖掘自身的節(jié)能潛力，在保證鋼鐵生產(chǎn)質(zhì)量和產(chǎn)量的前提下減少能源的消耗量，提高企I的能耗水平。加熱爐是鋼鐵企業(yè)重點能耗設(shè)備，是軋鋼生產(chǎn)的主要耗能設(shè)備，其能耗占軋鋼工序能耗的60%―70%，因此，提高加熱爐的能耗水平對鋼鐵企業(yè)節(jié)能起到至關(guān)重要的作用。本文通過分析鋼鐵企業(yè)加熱爐生產(chǎn)過程產(chǎn)生的海量能耗數(shù)據(jù)，利用本體建模技術(shù)構(gòu)建鋼鐵企業(yè)加熱爐本體模型，并將本體模型與加熱爐能耗數(shù)據(jù)進行數(shù)據(jù)映射，利用比較流行的大數(shù)據(jù)分析技術(shù)，構(gòu)建加熱爐生產(chǎn)能耗模型，從中挖掘出加熱爐能耗規(guī)律，進而分析出加熱爐的節(jié)能潛力所在，并給出加熱爐生產(chǎn)過程中的最佳工況參數(shù)去填補這部分的節(jié)能潛力。
1 系統(tǒng)構(gòu)建
系統(tǒng)設(shè)計思路可以概括為：首先進行系統(tǒng)數(shù)據(jù)準備，然后將原始數(shù)據(jù)進行數(shù)據(jù)預(yù)處理，接著對處理后的高品質(zhì)數(shù)據(jù)進行數(shù)據(jù)分析，最后挖掘出數(shù)據(jù)背后隱藏的價值找出節(jié)能潛力所在，并找出最佳工況參數(shù)彌補這部分節(jié)能潛力所在。具體由以下六部分組成。
圖1 系統(tǒng)總體架構(gòu)
1.1 數(shù)據(jù)準備
數(shù)據(jù)采集負責(zé)將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)采集到大數(shù)據(jù)分析系統(tǒng)。數(shù)據(jù)采集工作本身不在Hadoop分析平臺中，但是在整個分析系統(tǒng)中起著重要的作用，起著橋梁作用，連接業(yè)務(wù)系統(tǒng)和分析系統(tǒng)，將業(yè)務(wù)系統(tǒng)與分析系統(tǒng)實現(xiàn)了解耦。企業(yè)由于生產(chǎn)管理的需要對于有些數(shù)據(jù)甚至只有紙質(zhì)記錄，因此第一步需要將這些生產(chǎn)數(shù)據(jù)進行整合，將這些紙質(zhì)數(shù)據(jù)進行電子化。數(shù)據(jù)準備是為分析系統(tǒng)提供數(shù)據(jù)支撐，是整個系統(tǒng)的基礎(chǔ)模塊。
1.2 分布式存儲
分布式文件系統(tǒng)（The Hadoop Distributed File System，HDFS）是一個運行在普通的組件集群上的分布式文件系統(tǒng)，它是HADOOP框架主要的存儲系統(tǒng)。由于HADOOP具有高數(shù)據(jù)吞吐量、高度容錯的特性，因此使得其具有很高的效能。HDFS還為數(shù)據(jù)存儲提供了包括API以及各種操作命令等多種訪問接口。使用HDFS，我們可以為海量的原始數(shù)據(jù)集提供存儲空間，對臨時文件進行存儲，為數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析提供輸入數(shù)據(jù)，同時也可以將分析輸出的數(shù)據(jù)存入到HDFS中。HDFS采用master/slave架構(gòu)。通常情況下，一個名稱節(jié)點NameNodes和若干個數(shù)據(jù)節(jié)點DataNodes便可構(gòu)成一個HDFS數(shù)據(jù)集群。Namenode是一個中心服務(wù)器，負責(zé)管理文件系統(tǒng)的名字空間（namespace）以及客戶端對文件的訪問。在HDFS集群中，每一個文件都會被劃分為一個或幾個數(shù)據(jù)塊（blocks）分別保存在不同的數(shù)據(jù)節(jié)點DataNode中。集群中的Datanode主要負責(zé)管理它所在節(jié)點上的存儲。HDFS將文件系統(tǒng)的名字空間暴露給用戶，用戶可以以文件的形式在上面存儲數(shù)據(jù)。
1.3 數(shù)據(jù)預(yù)處理
大數(shù)據(jù)分析本身就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，分析出隱藏在數(shù)據(jù)背后的規(guī)律和價值。因此，需要對這些有噪聲的、不一致的數(shù)據(jù)源，進行數(shù)據(jù)預(yù)處理操作。數(shù)據(jù)預(yù)處理主要是為分析系統(tǒng)提供高品質(zhì)的數(shù)據(jù)。數(shù)據(jù)抽取主要是從原始數(shù)據(jù)中選出與分析目標有關(guān)聯(lián)的數(shù)據(jù)源。如果不能排除無關(guān)的數(shù)據(jù)屬性，既會增加數(shù)據(jù)分析的復(fù)雜度，也會提高數(shù)據(jù)分析的時間，同時會降低數(shù)據(jù)分析的準確性。數(shù)據(jù)清洗主要是解決數(shù)據(jù)的空缺值、錯誤數(shù)據(jù)、孤立數(shù)據(jù)點、數(shù)據(jù)噪聲問題。其中對數(shù)據(jù)空缺值和錯誤數(shù)據(jù)是進行處理是數(shù)據(jù)清洗的重點，而后兩者因為有可能在其中發(fā)現(xiàn)某些特殊的數(shù)據(jù)規(guī)律，因此可以暫時不需要進行數(shù)據(jù)處理。
1.4 本體模型構(gòu)建
本體是概念化的明確的規(guī)范說明。能夠描述類、實例以及它們的屬性是如何定義、描述和關(guān)聯(lián)的，是對領(lǐng)域中的概念及概念之間聯(lián)系的顯式描述。詳細來說，就是要描述一個領(lǐng)域需要哪些概念，概念由哪些屬性標識，屬性又具有什么約束，概念對應(yīng)于哪些實例。并將本體模型與具體數(shù)據(jù)屬性進行映射，為數(shù)據(jù)分析提供數(shù)據(jù)源。
1.5 分布式計算框架
分布式計算框架是大數(shù)據(jù)分析系統(tǒng)的核心功能，分布式計算可以使用多臺服務(wù)器同時進行數(shù)據(jù)計算，可以很大程度提高數(shù)據(jù)分析的效率。基于Hadoop的大數(shù)據(jù)分析系統(tǒng)主要采用的是MapReduce分布式編程模型。該模型簡單易用，對于程序員來說在沒有了解其底層實現(xiàn)細節(jié)的情況下仍能夠?qū)懗鎏幚砗Ａ繑?shù)據(jù)的程序。MapReduce首先通過Map程序?qū)⒑Ａ繑?shù)據(jù)分割成多個小區(qū)塊，將其分配給大量服務(wù)器進行處理；然后將處理結(jié)果交給Reduce，最后Reduce將處理結(jié)果匯總后輸出到客戶端。
1.6 分析結(jié)果展示
分析結(jié)果可視化，主要是給用戶提供一個友好的、直觀的方式查看分析系統(tǒng)進行大數(shù)據(jù)分析以后得到的分析結(jié)果。
2 系統(tǒng)應(yīng)用
加熱爐是鋼鐵企業(yè)重點能耗設(shè)備，是軋鋼生產(chǎn)的主要耗能設(shè)備，因此提高加熱爐的能耗水平對鋼鐵行業(yè)節(jié)能具有重要意義。現(xiàn)以某大型鋼鐵企業(yè)步進式加熱爐為例進行系統(tǒng)構(gòu)建應(yīng)用。在軋鋼生產(chǎn)中，必須將鋼坯加熱到一定的溫度，才能對鋼坯進行軋制。對鋼坯進行加熱的設(shè)備就是加熱爐。步進式加熱爐是依靠步進梁的順序、往復(fù)運動使得加熱爐鋼坯從爐尾移動到出料口，中間經(jīng)過預(yù)熱段、加熱段、均熱段。最終使得鋼坯達到規(guī)定的溫度后出爐。加熱爐在生產(chǎn)過程中產(chǎn)生海量的數(shù)據(jù)，利用HDFS實現(xiàn)海量的能耗數(shù)據(jù)的分布式存儲，通過本體建模技術(shù)實現(xiàn)加熱爐本體模型構(gòu)建與數(shù)據(jù)屬性映射，為大數(shù)據(jù)分析提供數(shù)據(jù)源；系統(tǒng)的分析主要是通過在MapReduce分布式分析模型上運用線性回歸、遺傳算法等對Hadoop平臺篩選出來的數(shù)據(jù)進行分析，從而挖掘海量數(shù)據(jù)背后隱藏的能耗模型，挖掘加熱爐的節(jié)能潛力，分析加熱爐的最佳工況運行參數(shù)，提高加熱爐的能耗水平，構(gòu)建加熱爐大數(shù)據(jù)節(jié)能潛力分析系統(tǒng)。系統(tǒng)主要模塊如下：
1）大數(shù)據(jù)管理：本體模型、大數(shù)據(jù)管理；
2）工藝參數(shù)模型：工藝參數(shù)模型；
3）工藝參數(shù)模型管理：工藝參數(shù)模型管理；
4）工藝優(yōu)化：工藝模型⑹配置、工藝優(yōu)化。
2.1 大數(shù)據(jù)管理
大數(shù)據(jù)管理主要實現(xiàn)對加熱爐生產(chǎn)能耗數(shù)據(jù)提供統(tǒng)一的接入接口，并對加熱爐實現(xiàn)本體建模與數(shù)據(jù)映射，為數(shù)據(jù)分析提供數(shù)據(jù)源。
2.2 工藝參數(shù)模型
工藝參數(shù)模型主要是運用大數(shù)據(jù)管理模塊提供的一致性的多源數(shù)據(jù)，運用大數(shù)據(jù)處理的智能分析能力，通過運用神經(jīng)網(wǎng)絡(luò)算法對海量的數(shù)據(jù)進行深度挖掘，提取出數(shù)據(jù)背后潛在的工藝能耗模型，為面向節(jié)能減排的工藝分析與參數(shù)優(yōu)化提供能耗模型。
2.3 工藝參數(shù)模型管理
工藝參數(shù)模型管理主要是對已經(jīng)構(gòu)建完成的模型實現(xiàn)直觀的管理與展示工作。用戶可以根據(jù)需要對已經(jīng)存在的模型進行在線編輯，而且模型編輯完成進行保存導(dǎo)數(shù)據(jù)庫以后可以為工藝參數(shù)優(yōu)化提供優(yōu)化模型。
2.4 工藝優(yōu)化
實現(xiàn)對模型參數(shù)進行配置，利用工藝模型參數(shù)配置的參數(shù)范圍與工藝能耗模型模塊構(gòu)建的模型最為輸入，通過使用遺傳算法對加熱爐運行工況參數(shù)進行模型尋優(yōu)，從而找出加熱爐面向節(jié)能減排的最佳工況運行參數(shù)。
3 結(jié)束語
本系統(tǒng)在Hadoop平臺下可以方便地實現(xiàn)數(shù)據(jù)的分布式存儲、管理和查看，為企業(yè)歷史生產(chǎn)能耗數(shù)據(jù)的管理和分析提供方便，利用MapReduce分布式計算模型，運用線性回歸、遺傳算法通過對生產(chǎn)能耗數(shù)據(jù)進行分析、優(yōu)化，從而找出數(shù)據(jù)背后隱藏的價值與節(jié)能潛力所在，輸出最佳工況參數(shù)，彌補這部分節(jié)能潛力。因此，所述方法對于挖掘鋼鐵行業(yè)節(jié)能潛力并實現(xiàn)節(jié)能降耗有著重要的現(xiàn)實意義和應(yīng)用價值，具有方便操作、易于推廣的特點。
參考文獻：
[1] 高洪， 楊慶平， 黃震江. 基于Hadoop平臺的大數(shù)據(jù)分析關(guān)鍵技術(shù)標準化探討[J]. 信息技術(shù)與標準化， 2013（5）： 27-30.
[2] 菅志剛， 金旭. 數(shù)據(jù)挖掘中數(shù)據(jù)預(yù)處理的研究與實現(xiàn)[J]. 計算機應(yīng)用研究， 2004（7）： 117-118，157.
[3] 楊軍， 徐鐵軍. 鋼鐵企業(yè)節(jié)能潛力分析[C]// 中國金屬學(xué)會， 冶金循環(huán)經(jīng)濟發(fā)展論壇論文集. 中國金屬學(xué)會， 2008： 4.
篇（10）
大型供應(yīng)鏈管理服務(wù)商通常具備多條成熟的運輸線路以及遍布全國的貨物倉庫，企業(yè)日益擴大的交易規(guī)模和業(yè)務(wù)范圍，各地倉儲和物流運輸每日可采集豐富的交易、物流、倉儲、供應(yīng)商等數(shù)據(jù)，單一的企業(yè)ERP系統(tǒng)只能完成資源管理，對于海量數(shù)據(jù)的分析和企業(yè)更高要求的數(shù)據(jù)分析能力有限，于是，企業(yè)智慧倉儲大數(shù)據(jù)平臺應(yīng)運而生。
本文提出的智慧倉儲運營支撐平臺，運用了先進的RFID技術(shù)、視頻分析技術(shù)及大數(shù)據(jù)分析技術(shù)，不僅解決了分散在各處的倉庫智慧化管理，還可將倉庫和物流各類運營及管理基礎(chǔ)數(shù)據(jù)同步上傳至大數(shù)據(jù)平臺，實現(xiàn)倉庫運營和管理信息資源的整合與共享，并依托各類基礎(chǔ)信息庫，為企業(yè)管理者提供智能決策支持。
1 智慧倉儲運營支撐平臺
智慧倉儲運營支撐平臺是一個功能完備的基礎(chǔ)平臺，系統(tǒng)架構(gòu)如下圖所示，分五層結(jié)構(gòu)：感知層、傳輸層、數(shù)據(jù)層、服務(wù)層和應(yīng)用層。
1.1 感知層
包括RFID讀寫器、激光雷達、視頻終端、門禁對講、溫濕度傳感器和警報器。
1.2 傳輸層
采用有線局域網(wǎng)或WIFI無線通信方式與支撐平臺連接并傳輸數(shù)據(jù)。
1.3 數(shù)據(jù)層
包括設(shè)備信息庫、業(yè)務(wù)信息庫、監(jiān)控信息庫和人員信息庫。
1.4 服務(wù)層
包括RFID中間件、ESB總線和第三方接口等模塊，為整個系統(tǒng)的運行提供服務(wù)支撐。
1.5 應(yīng)用層
包括倉庫的業(yè)務(wù)管理、安防管理、人員管理、報表分析和系統(tǒng)管理等功能。
通過智慧倉儲運營支撐平臺可實現(xiàn)對貨物入庫、出庫、移庫、盤點等基本業(yè)務(wù)的智能化處理，其中，視頻分析技術(shù)還可實現(xiàn)倉儲的安防管理、人員管理等功能，不僅實現(xiàn)了對倉庫的智能化管理，還能夠收集物流和倉儲的各個生產(chǎn)過程和任務(wù)執(zhí)行中產(chǎn)生的運營數(shù)據(jù)，作為大數(shù)據(jù)分析平臺數(shù)據(jù)源的重要組成部分，為企業(yè)實現(xiàn)智能分析提供了基礎(chǔ)。
2 智慧倉儲大數(shù)據(jù)應(yīng)用
智慧倉儲運營支撐平臺將各地的倉儲運營數(shù)據(jù)統(tǒng)一上傳至企業(yè)大數(shù)據(jù)平臺，進行分類和對分散及重復(fù)數(shù)據(jù)進行篩選、匯總、抽取、挖掘、分析形成物流與倉儲有價值的大數(shù)據(jù)，便可應(yīng)用于企業(yè)管控和管理全過程的協(xié)調(diào)、管理、協(xié)同、決策。大數(shù)據(jù)平臺架構(gòu)如下圖所示，分為數(shù)據(jù)源、大數(shù)據(jù)獲取、大數(shù)據(jù)處理、大數(shù)據(jù)服務(wù)四層。
數(shù)據(jù)源層主要實現(xiàn)采集前端各類感知設(shè)備以及各倉儲運營平臺數(shù)據(jù)。
大數(shù)據(jù)獲取層實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入導(dǎo)出。
大數(shù)據(jù)處理層實現(xiàn)數(shù)據(jù)的分布式存儲和并行計算，并統(tǒng)一提供資源的調(diào)度服務(wù)、訪問服務(wù)、管理監(jiān)控服務(wù)和權(quán)限控制服務(wù)等。
大數(shù)據(jù)應(yīng)用層實現(xiàn)物流運輸調(diào)度、儲位管理、可追溯管理、精準營銷等各類智慧化應(yīng)用。
2.1 運輸調(diào)度
通過大數(shù)據(jù)優(yōu)化任務(wù)發(fā)運計劃，使運輸任務(wù)最大程度地銜接起來，達到整個運輸網(wǎng)絡(luò)任務(wù)協(xié)調(diào)排程，合理組織運輸工作和車輛調(diào)配，提高運輸調(diào)度水平。
2.2 儲位管理
通過對產(chǎn)品的進出貨數(shù)據(jù)進行分析、整理、分類，深度挖掘不同類別之間的相關(guān)關(guān)系，再配合波次作業(yè)手段，優(yōu)化揀貨單，提高倉儲工作效率。
2.3 可追溯管理
借助大數(shù)據(jù)平臺智能分析及智慧倉儲前端采集信息，建立產(chǎn)品檔案，全面直觀地展示品牌形象，借助供應(yīng)鏈系統(tǒng)與電子商務(wù)交易平臺，實時監(jiān)督產(chǎn)品生產(chǎn)、交易和運輸全過程。
2.4 精準營銷
通過收集各個電子商務(wù)平臺上同類產(chǎn)品的銷售價格、數(shù)量、潛力，以及老客戶的個人資料、交易行為、忠誠度等信息，同時深度挖掘潛在客戶，制定一些優(yōu)惠政策，激發(fā)購買的積極性，定向推送產(chǎn)品信息，實現(xiàn)精準營銷。
3 結(jié)束語
基于大數(shù)據(jù)分析的智慧倉儲運營支撐平臺，適用于擁有多個分散倉庫的大型企業(yè)，不僅使倉庫管理者能夠及時掌握倉庫運行情況，更將大數(shù)據(jù)技術(shù)應(yīng)用到物流領(lǐng)域，對于建設(shè)智能倉儲體系，優(yōu)化物流運作流程，提升物流倉儲的自動化、智能化水平有著積極的推進作用。
參考文獻
[1]肖建輝.淺談倉儲管理[J].物流工程與管理，2010，32（06）：130-132.
[2]張仁彬，李玉民.基于物聯(lián)網(wǎng)技術(shù)倉儲管理系統(tǒng)研究[J].物流科技，2011（06）：35-38.
