大數(shù)據(jù)開發(fā)的過程匯總十篇

序論：好文章的創(chuàng)作是一個不斷探索和完善的過程，我們?yōu)槟扑]十篇大數(shù)據(jù)開發(fā)的過程范例，希望它們能助您一臂之力，提升您的閱讀品質(zhì)，帶來更深刻的閱讀感受。

篇（1）

自上個世紀(jì)90年代初，信息高速公路在美國提出以來，歷經(jīng)近30年的發(fā)展演進，信息技術(shù)發(fā)展突飛猛進，信息化領(lǐng)域的新技術(shù)、新詞語層出不窮，諸如IT技術(shù)、互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)、區(qū)塊鏈技術(shù)、人工智能等。并且對人們的生產(chǎn)、生活方式產(chǎn)生了深刻的影響，認(rèn)為現(xiàn)在進入了大數(shù)據(jù)時代、萬物互聯(lián)時代、智能化時代等。筆者認(rèn)為，一直以來，其中除了硬件的發(fā)展，還有兩個關(guān)鍵因素同樣值得關(guān)注，一是數(shù)據(jù)，其是基礎(chǔ)和目的；二是軟件，其是方法和工具。唯如此，才能實現(xiàn)在軟件生命周期即設(shè)計、開發(fā)、運行、優(yōu)化，實現(xiàn)與大數(shù)據(jù)生命周期即獲取、清洗、集成、分析、呈現(xiàn)等的互動。[1]換言之，現(xiàn)在來說，就是大數(shù)據(jù)和軟件工程，二者助推了信息技術(shù)的發(fā)展，同時也是信息化的產(chǎn)物，在大數(shù)據(jù)時代背景下，研究軟件工程技術(shù)的應(yīng)用，對于經(jīng)濟社會的發(fā)展有著十分重要的意義。

1大數(shù)據(jù)和軟件工程簡述

1.1大數(shù)據(jù)簡述

沃爾瑪?shù)摹捌【婆c尿布”是眾所周知的大數(shù)據(jù)經(jīng)典案例，大數(shù)據(jù)已經(jīng)是當(dāng)今信息社會炙手可熱、耳熟能詳?shù)脑~匯，而且已形成共識，即人類已經(jīng)進入大數(shù)據(jù)時代。上個世紀(jì)80年代初，《第三次浪潮》一書風(fēng)行全世界。該書作者美國社會思想家阿爾文托夫勒就在文中將人類社會發(fā)展劃分為三次浪潮，即以“農(nóng)業(yè)文明”為主導(dǎo)的第一次浪潮，以“工業(yè)文明”為主導(dǎo)的第二次浪潮，以“信息化”為主導(dǎo)第三次浪潮。[2]其中首次提出了“大數(shù)據(jù)”（BigData）一詞，并且，以“第三次浪潮的華彩樂章”這樣的用詞對其進行熱情的謳歌。[3]全球著名咨詢公司麥肯錫于2011年5月了《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》報告，公認(rèn)此報告宣告了大數(shù)據(jù)時代的到來。由于大數(shù)據(jù)概念的提出源于不斷的發(fā)展實踐，其本身并沒有嚴(yán)格、權(quán)威的定義。通常認(rèn)為，大數(shù)據(jù)的大即大數(shù)據(jù)集的規(guī)模一般應(yīng)達到10TB左右，現(xiàn)在已經(jīng)達到了PB級的數(shù)據(jù)量。維基百科稱“大數(shù)據(jù)”是這樣一個術(shù)語，即其是用以描述用傳統(tǒng)的數(shù)據(jù)處理應(yīng)用軟件無法完好處理的龐大的或者復(fù)雜的數(shù)據(jù)集。但“大數(shù)據(jù)”這一概念并不僅僅指數(shù)據(jù)規(guī)模的龐大，還包括對這些數(shù)據(jù)對象的處理以及應(yīng)用活動。IBM提出大數(shù)據(jù)通常具有“5V”特征：Volume（數(shù)據(jù)體量大）、Variety（數(shù)據(jù)類別多樣）、Velocity（處理速度快）、Veracity（數(shù)據(jù)真實性高）、Volume（數(shù)據(jù)價值高）。[4]大數(shù)據(jù)技術(shù)分類并分平行關(guān)系，而是呈縱向、層級狀結(jié)構(gòu)，詳見圖1所示。

1.2軟件工程簡述

軟件工程本身并沒有嚴(yán)格、權(quán)威的定義。并且，也是直到20世紀(jì)60年代初才出現(xiàn)了“軟件”一詞，于此之前，更多的是程序的概念，后來人們認(rèn)識到與程序相關(guān)的文檔也有著相當(dāng)重要的作用，才有了“軟件”一詞的出現(xiàn)。軟件發(fā)展至今天，已經(jīng)遠遠不是程序個體或者程序員合作的方式能夠完成的，即使能夠完成，也會是效率低下、程序運行可靠性差，或者說根本就無法完成。于是，在1968年召開的大西洋公約學(xué)術(shù)會議上提出了軟件工程的概念,簡單理解，就是以工程的方法來進行軟件系統(tǒng)設(shè)計、開發(fā)、運行、維護、優(yōu)化等技術(shù)的總和，進一步言之，就是用“計算機科學(xué)、數(shù)學(xué)管理科學(xué)等原理，以工程化方法制作軟件的工程”，屬于一門交叉學(xué)科。[5]通常認(rèn)為其包含有四個要素：（1）軟件工程目標(biāo)；（2）軟件工程范型；（3）軟件工程過程；（4）軟件工程原則。

2大數(shù)據(jù)與軟件工程的結(jié)合方式

宏觀上講，軟件工程是比大數(shù)據(jù)更為寬泛的概念，大數(shù)據(jù)的技術(shù)與應(yīng)用被軟件工程所涵攝。如圖1所示意，雖然大數(shù)據(jù)的各項技術(shù)與應(yīng)用屬于垂直領(lǐng)域，而軟件工程牽涉的是橫向領(lǐng)域，更加關(guān)注軟件產(chǎn)品及軟件系統(tǒng)工程上的實現(xiàn)及其管理。但是，大數(shù)據(jù)無論是其產(chǎn)品還是其系統(tǒng)的完成與落地，都離不開軟件工程方法論的支持。換言之，軟件工程的方法與技術(shù)貫穿于大數(shù)據(jù)的開發(fā)與應(yīng)用，大數(shù)據(jù)也只是在軟件工程發(fā)展過程中出現(xiàn)的概念。軟件工程開發(fā)具有綜合性，其應(yīng)用滲透于各個學(xué)科和領(lǐng)域，大數(shù)據(jù)的技術(shù)與應(yīng)用當(dāng)然是軟件工程所關(guān)注和研究的對象，或者說大數(shù)據(jù)技術(shù)的每一環(huán)節(jié)都離不開軟件工程的支持。大數(shù)據(jù)應(yīng)用的基礎(chǔ)是要依賴數(shù)據(jù)鏈條的完整性，采用相應(yīng)的算法于海量的數(shù)據(jù)中進行規(guī)律分析，算法要依據(jù)相應(yīng)的實際環(huán)境進行相應(yīng)的升級，遵循開發(fā)的基本原理，充分調(diào)整數(shù)據(jù)分布，從而在研究過程中將大數(shù)據(jù)技術(shù)與軟件工程方法結(jié)合起來。并在開放的環(huán)境中通過網(wǎng)絡(luò)與通信技術(shù)實現(xiàn)數(shù)據(jù)的共享，在此過程中，軟件技術(shù)和水平亦能得到進一步的提高。在二者相互作用滲透的過程，軟件效率得到提高，軟件效益得以提升，從而實現(xiàn)客戶需求的最大化。在軟件開發(fā)過程中，還需要有必備的硬件和軟件的支撐，來支持相應(yīng)的數(shù)據(jù)流，隨著數(shù)據(jù)流的增長，對于硬件和軟件就會有更高的要求。工程技術(shù)人員在對數(shù)據(jù)流進行分析研究的同時，專家學(xué)者還會對在線服務(wù)進行研究。但是，數(shù)據(jù)流是重點，包括對數(shù)據(jù)流的使用方法的研究，對支撐數(shù)據(jù)流的軟件和硬件的研究。另外，從軟件工程開發(fā)角度看，無論是在服務(wù)端還是在用戶端，軟件的運行當(dāng)然會產(chǎn)生大量的數(shù)據(jù)流，都將產(chǎn)生大量的數(shù)據(jù)信息，這些數(shù)據(jù)流對于軟硬件的使用壽命有著決定性的影響。因此，在軟件工程的開發(fā)中，對于海量數(shù)據(jù)產(chǎn)生的環(huán)境下，更有必要做好數(shù)據(jù)流的管理，要高度重視數(shù)據(jù)流的分析研究，并且對于原始數(shù)據(jù)進行深入的研究也應(yīng)該引起重視，以期延長軟件的使用周期。[6]

3大數(shù)據(jù)時代的軟件服務(wù)工程

軟件服務(wù)工程即所謂的面向服務(wù)的軟件工程，強調(diào)的是其相對于傳統(tǒng)軟件工程的擴展。近些年來得到了很快的發(fā)展，已經(jīng)成為當(dāng)今時代的主流社會需求之一，服務(wù)功能已經(jīng)是軟件開發(fā)的基本原則。另一方面，也可以將其直觀理解為“軟件（Software）+服務(wù)（Service）+工程（Engineering）”三個方面的交叉融合，或者軟件工程與服務(wù)工程兩者的融合等。其內(nèi)涵可以理解為研究面向服務(wù)的軟件工程原則、軟件工程方法以及軟件工程技術(shù)，同時利用相應(yīng)的軟件服務(wù)設(shè)施和平臺，開發(fā)較高水平的軟件服務(wù)系統(tǒng)。[7]軟件開發(fā)者根據(jù)需求變化，在社會實際實用中，以面向服務(wù)作為主要建設(shè)目標(biāo)。在開發(fā)的初期就要首先搭建好軟件的框架，充分利用編程語言、構(gòu)思好編程思路，確保開發(fā)軟件能夠提供可靠的服務(wù)應(yīng)用，保障軟件運行時的穩(wěn)定與可靠。在實際的服務(wù)過程中，要求開發(fā)者運用分布式應(yīng)用程序，以虛擬操作的方式提供用戶相應(yīng)的服務(wù)。在應(yīng)用中，融合大數(shù)據(jù)技術(shù)，能夠?qū)崿F(xiàn)對數(shù)據(jù)進行編程，達到軟件互操作的效果，并提高對數(shù)據(jù)的主動協(xié)調(diào)。軟件工程開發(fā)工程師可以對數(shù)據(jù)信息共享，實現(xiàn)各種學(xué)習(xí)交流，對軟件進行協(xié)同開發(fā)，并結(jié)合用戶的反饋，對軟件系統(tǒng)進行優(yōu)化處理，提高軟件的性價比。近年來，開源軟件是較為成功的軟件習(xí)作模式，但是，其采用常規(guī)的研究方法，應(yīng)用價值還不是很高。與開源軟件相比，群體軟件工程屬于一種分布式軟件開發(fā)模型，能夠依靠網(wǎng)絡(luò)進行任務(wù)分配，并能實現(xiàn)創(chuàng)造性的查詢，通過眾包形式的開發(fā)，解決開發(fā)過程中的難題。并且，在整個開發(fā)過程中，眾包開發(fā)可以貫穿其全過程。所謂眾包，一如其字面含義，是一種分布式的生產(chǎn)開發(fā)模式和問題解決方案。通過該種方式，開源軟件和商業(yè)軟件均可通過網(wǎng)絡(luò)進行任務(wù)和責(zé)任分配。[8]隨著我國計算機科學(xué)技術(shù)的不斷發(fā)展進步，軟件工程技術(shù)也取得了長足發(fā)展，軟件服務(wù)工程也支持得到拓展和延伸。在大數(shù)據(jù)時代背景下，我們應(yīng)當(dāng)加快大數(shù)據(jù)技術(shù)和軟件工程技術(shù)的融合與創(chuàng)新，提升對海量網(wǎng)絡(luò)數(shù)據(jù)進行編程處理的能力，提高軟件的安全和效能，增強其穩(wěn)定性和可操作性，進一步整合軟件工程系統(tǒng)的集成度。

4數(shù)據(jù)密集型科研第四范式

篇（2）

1大數(shù)據(jù)技術(shù)和軟件工程技術(shù)

大數(shù)據(jù)技術(shù)事實上是將人類日常生活中產(chǎn)生的各種數(shù)字信息，將這些信息收集起來之后分類處理，設(shè)定不同類別的存儲空間，按照類別存儲。大數(shù)據(jù)技術(shù)從功能的角度出發(fā)可以劃分為多個類別，諸如分析技術(shù)、機器學(xué)習(xí)技術(shù)、遺傳算法技術(shù)、自然語音處理技術(shù)等。應(yīng)用大數(shù)據(jù)技術(shù)分析，就是基于當(dāng)前的科學(xué)技術(shù)發(fā)展起來的一種分析技術(shù)。它主要依靠現(xiàn)代科技手段發(fā)揮技術(shù)的作用，特別網(wǎng)絡(luò)技術(shù)發(fā)揮著基礎(chǔ)性的作用。整理基礎(chǔ)數(shù)據(jù)，對數(shù)據(jù)信息進行分類整理，應(yīng)用相應(yīng)的計算機算法，將相似特性的數(shù)據(jù)劃分為一類，最終得到大量的數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)對這些數(shù)據(jù)進行分析。大數(shù)據(jù)分析應(yīng)用于互聯(lián)網(wǎng)行業(yè)中，所發(fā)揮的優(yōu)勢是有目共睹的，而且還不斷地引入新技術(shù)，在軟件工程技術(shù)中應(yīng)用，對該技術(shù)的發(fā)展起到了促進作用[1]。大數(shù)據(jù)時代，社會各個領(lǐng)域都已經(jīng)實現(xiàn)了信息化發(fā)展，人們對軟件工程的概念越來越熟悉。事實上，軟件工程的歷史始于20世紀(jì)的中期，其研究重點是軟件技術(shù)和工程管理。將相關(guān)工程內(nèi)容引入其中，使得工程系統(tǒng)化運行，其中所涵蓋的研究內(nèi)容包括軟件的生命周期、軟件工程設(shè)計、軟件的技術(shù)維護等方面。因此，在軟件設(shè)計的過程中，要控制好技術(shù)開發(fā)成本，保證工程質(zhì)量，使其生命周期不斷延長，不同項目的技術(shù)需求和用戶的各種技術(shù)需求都能夠得到滿足。

2大數(shù)據(jù)背景下的軟件工程基礎(chǔ)

處于大數(shù)據(jù)時代環(huán)境中，軟件工程的發(fā)展中關(guān)乎到不同的領(lǐng)域，需要高度重視。大數(shù)據(jù)技術(shù)具有專業(yè)性的特點，還具有很強的實用性價值。在軟件工程技術(shù)的研究中，要從應(yīng)用需求出發(fā)不斷創(chuàng)新軟件技術(shù)，對于傳統(tǒng)的技術(shù)要不斷摒棄，對軟件工程的發(fā)展創(chuàng)造良好的客觀條件。大數(shù)據(jù)技術(shù)環(huán)境下，軟件工程基礎(chǔ)是基于互聯(lián)網(wǎng)技術(shù)建立起來的，對各種數(shù)據(jù)信息系統(tǒng)化管理，根據(jù)需要進行處理，對工業(yè)的發(fā)展非常有利[2]。在軟件工程技術(shù)中，大數(shù)據(jù)的安全性問題是需要高度重視的，否則，就會對軟件工程技術(shù)造成不良影響，引起嚴(yán)重的后果。

2．1軟件服務(wù)工程

在軟件工程的研究范疇中，軟件服務(wù)工程的數(shù)量不斷增多。軟件工程服務(wù)化方向發(fā)展，就是發(fā)揮服務(wù)的作用，使其成為軟件開發(fā)的基本原則，按照服務(wù)項目內(nèi)容為用戶展開服務(wù)。由于軟件工程發(fā)展的主題有所，服務(wù)內(nèi)容也要做出相應(yīng)的調(diào)整，同城是對軟件工程的進行技術(shù)維護。在具體的服務(wù)工作中，需要軟件開發(fā)人員使用分布式應(yīng)用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務(wù)[3]。軟件工程技術(shù)應(yīng)用中，結(jié)合使用大數(shù)據(jù)技術(shù)，可以對網(wǎng)絡(luò)數(shù)據(jù)進行編程，使得軟件具有互操作性，對于數(shù)據(jù)主動協(xié)調(diào)，使其符合動態(tài)場景的變化節(jié)奏，軟件系統(tǒng)的集成度有所提高。

2．2軟件開源

軟件開源更為注重用戶對軟件技術(shù)的體驗。在對軟件開源進行研究的過程中，采用常規(guī)的方法，雖然獲得一定的成果，但是應(yīng)用價值不是很高。一些研究人員在研究軟件工程技術(shù)的時候，就是將軟件開源作為突破口，將開發(fā)項目劃分為多個模塊，將每個模塊分給指定的研究人員進行開發(fā)。

2．3群體軟件工程

群體軟件工程是通過網(wǎng)絡(luò)的方式進行軟件開發(fā)，具體的實施中采用工程眾包的形式，使得軟件開發(fā)技術(shù)發(fā)揮作用。群體軟件工程是一個分布式軟件開發(fā)模型，這個工程項目的運行中，可以通過網(wǎng)絡(luò)實現(xiàn)，對各項任務(wù)進行分配，也可以進行創(chuàng)造性的查詢，通過眾包解決軟件開發(fā)過程中遇到的一些困難和重要問題。同時，在軟件工程開發(fā)過程中，軟件工程可以在任何階段通過眾包進行開發(fā)[4]。

3大數(shù)據(jù)與軟件工程技術(shù)的未來發(fā)展方向

3．1大數(shù)據(jù)與軟件工程技術(shù)開放式的發(fā)展

大數(shù)據(jù)技術(shù)的主要前提是大量的數(shù)據(jù)流，需要技術(shù)不斷地升級和創(chuàng)新，尋求開發(fā)的研究途徑是非常必要的。計算機網(wǎng)絡(luò)的發(fā)展意味著計算機可以在開放的環(huán)境中相互通信，共享數(shù)據(jù)資源，軟件等信息的有效利用能力也會有所提升。通過網(wǎng)絡(luò)運行可以增加利潤，使得用戶的各種需求得到滿足，提高資源的利用率。

3．2大數(shù)據(jù)與軟件工程技術(shù)融合到其他領(lǐng)域

軟件工程技術(shù)在當(dāng)今許多科學(xué)領(lǐng)域有著廣泛的應(yīng)用。由于軟件工程技術(shù)給予各個領(lǐng)域非常大的幫助，從航空到生活中都發(fā)揮著軟件工程技術(shù)的作用[5]。應(yīng)用程序的運行，可以使用數(shù)據(jù)平臺對信息進行收集并分析。比如，用戶在進行股票交易的過程中應(yīng)用大數(shù)據(jù)技術(shù)，可以使用軟件工程技術(shù)構(gòu)建數(shù)據(jù)模型，通過對數(shù)據(jù)模型的分析，預(yù)測股票的變化趨勢。

4眾包軟件服務(wù)工程中的大數(shù)據(jù)技術(shù)

在軟件開發(fā)過程中，必須有足夠的硬件和軟件基礎(chǔ)來支持?jǐn)?shù)據(jù)流，隨著數(shù)據(jù)流的量逐漸增多，對硬件和軟件就有了新的要求。專家學(xué)者在分析數(shù)據(jù)流的時候，還對在線服務(wù)進行了研究。數(shù)據(jù)流是重點內(nèi)容，主要是對數(shù)據(jù)流的使用方法進行研究，對支撐數(shù)據(jù)流的軟件和硬件進行研究[6]。從軟件工程開發(fā)的角度而言，軟件運行中都會產(chǎn)生大量的數(shù)據(jù)流，包括服務(wù)端、用戶端等，都會有很多的數(shù)據(jù)信息產(chǎn)生，這些數(shù)據(jù)流對軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發(fā)中，要做好數(shù)據(jù)流的管理工作。有必要對原始數(shù)據(jù)進行深入的研究，為提高軟件的使用壽命創(chuàng)造條件，對數(shù)據(jù)流的分析要高度重視[7]。

5密集型數(shù)據(jù)科研第四范式

第四種科學(xué)研究范式是指根據(jù)實際情況建立獨立的科學(xué)研究方法，探索第四種范式的理論基礎(chǔ)，以及大型數(shù)據(jù)存儲設(shè)備在發(fā)展中的重要性。軟件工程中，采用傳統(tǒng)的大數(shù)據(jù)研究方法，大數(shù)據(jù)的有效分析是不可能的，大數(shù)據(jù)的研究還沒有取得突破性的成果。因此，目前大多數(shù)軟件不能在短時間內(nèi)同時實現(xiàn)數(shù)據(jù)信息的存儲、數(shù)據(jù)信息的傳輸和有效識別。在探索第四范式理論和研究方法的過程中，首先需要對集成大數(shù)據(jù)的軟件服務(wù)價值進行估計，拋棄傳統(tǒng)的大數(shù)據(jù)統(tǒng)計方法，建立新的大數(shù)據(jù)信息統(tǒng)計方法和分析方法[8]。此外，有必要從多個方面研究大數(shù)據(jù)的處理，對大數(shù)據(jù)信息進行管理并深入分析，討論大數(shù)據(jù)的價值以及存在的可變性，這對軟件工程的發(fā)展起著重要的作用。在研究軟件工程技術(shù)的時候，必須更新傳統(tǒng)的軟件開發(fā)理念，重視軟件處理和分析大數(shù)據(jù)能力的發(fā)展，使得軟件產(chǎn)業(yè)呈現(xiàn)出新的發(fā)展面貌。

6結(jié)語

篇（3）

二、大數(shù)據(jù)對高等教育的重要性

1.大數(shù)據(jù)便于分析學(xué)習(xí)行為

在教育活動中，教育數(shù)據(jù)是對教育成效、創(chuàng)新思維、創(chuàng)新能力、科研活動、學(xué)習(xí)主動性、學(xué)習(xí)積極性和教學(xué)活動進行分析的重要依據(jù)，它為教育教學(xué)和科研活動提供重要的科學(xué)依據(jù)和可行性論證的材料。教育數(shù)據(jù)可以通過面授的方法即面對面的教育互動獲取，如一問一答、講座交流、分組討論、課題合作、興趣小組等，教育數(shù)據(jù)也可以通過網(wǎng)絡(luò)課程平臺或慕課等多媒體課程獲取，以這種方式獲取的數(shù)據(jù)樣本大、效率高、存儲方便。教育大數(shù)據(jù)可以呈現(xiàn)學(xué)生學(xué)習(xí)的即時效果以及學(xué)生參與課堂教學(xué)和科研活動的情況，這是智慧教育的客觀分析的依據(jù)和比較研究的素材。教育大數(shù)據(jù)以其便利性和可操作性為學(xué)生學(xué)習(xí)行為的研究和分析提供了便利條件。首先，教育大數(shù)據(jù)便于對學(xué)生學(xué)習(xí)行為進行分析。教育大數(shù)據(jù)便于留存，方便調(diào)閱，有助于評價和分析學(xué)生的學(xué)習(xí)行為，進而有針對性地解決問題。其次，教育大數(shù)據(jù)便于教師從全局把控學(xué)生的學(xué)習(xí)情況。利用數(shù)據(jù)的關(guān)聯(lián)性和演繹規(guī)律，可以從中獲取課堂上學(xué)生互動、課堂接受程度和專注度等教學(xué)反饋信息，有利于挖掘個體學(xué)生的學(xué)習(xí)特點，推進個性化教學(xué)，或從整體上評估學(xué)習(xí)行為，對學(xué)生進行科學(xué)指導(dǎo)。最后，便于教育管理者更好地組織教育資源。教育管理者可以從教育大數(shù)據(jù)中挖掘有價值的信息，制定教育改革的方向和措施，并采取和風(fēng)細(xì)雨、滋潤心田的管理方式。

2.大數(shù)據(jù)促進教育科學(xué)化發(fā)展

首先，大數(shù)據(jù)提供智能學(xué)習(xí)平臺。將眾多的高校信息收集起來，資源共享，信息互通，讓世界高校變成地球村，這給教育智能化發(fā)展創(chuàng)造了極好的條件。芝加哥大學(xué)等多所世界名校達成共識，聯(lián)合建設(shè)在線教育公共課程，通過網(wǎng)絡(luò)平臺免費開放課程，供全球幾十萬人同時收聽或觀看同一知名教授的課程，共享學(xué)術(shù)精髓。這是教育資源的高效利用，也是高教發(fā)展的必然。同時，還可以在網(wǎng)絡(luò)平臺上通過MOOC等多種形式進行學(xué)術(shù)討論和交流。智能化學(xué)習(xí)平臺讓學(xué)習(xí)和交流變得更便捷。其次，大數(shù)據(jù)構(gòu)建全新教學(xué)模式。大數(shù)據(jù)的應(yīng)用給高等教育帶來了革命性變革，面對面的課堂講授形式面臨建立在教育大數(shù)據(jù)基礎(chǔ)上的在線、視頻、多維度、全視角的立體化教育模式的挑戰(zhàn)。教育大數(shù)據(jù)時代的教學(xué)模式，其知識傳授途徑已從課堂走向網(wǎng)絡(luò)，從線下走到線上;其知識傳授不受時空限制，可以隨時隨地上網(wǎng)學(xué)習(xí)在線課程，接受世界名師的網(wǎng)絡(luò)課程教育;其教學(xué)方式也更靈活。通過觀察或記錄鼠標(biāo)對某一知識點的點擊量、在一張幻燈片上停留的時間的長短、回答問題后有針對性的關(guān)注的有無等情況，可以判斷不同的人對不同知識點的關(guān)注和接受程度，從而使得視情況而定的詳解或弱講，或個性化、差異化教學(xué)得以實現(xiàn)。教育大數(shù)據(jù)時代的教學(xué)模式還有效地延伸了教學(xué)資源和師資。在線上接受世界名師授課，這是高等教育全方位、全時空的重大突破。最后，大數(shù)據(jù)促進教育科技創(chuàng)新。高等教育大數(shù)據(jù)通過提供科技創(chuàng)新所需要的信息資源、科研知識和科技問題交流的平臺以及科技信息的實時交流，促進了產(chǎn)學(xué)研協(xié)同創(chuàng)新，促進了成果的轉(zhuǎn)化和創(chuàng)新。高等教育大數(shù)據(jù)之所以能夠發(fā)揮這樣的作用，是因為它積聚了科研、教學(xué)、工程信息、管理科學(xué)、音樂藝術(shù)等海量信息，而且這些集音頻、視頻、文字、圖形于一體的立體化信息是可以即時查詢或交流的。高等教育大數(shù)據(jù)的雙向性和交互性，對于提高科研效率、促成科研成果轉(zhuǎn)化有很大幫助，間接地促進了高校的進一步發(fā)展。

三、高等教育大數(shù)據(jù)的建設(shè)途徑

1.搭建數(shù)據(jù)平臺，開發(fā)大數(shù)據(jù)處理技術(shù)

建立高校大數(shù)據(jù)應(yīng)用平臺，在整合原有信息系統(tǒng)的基礎(chǔ)上，升級、建設(shè)數(shù)據(jù)釆集設(shè)備、數(shù)據(jù)傳輸網(wǎng)絡(luò)、數(shù)據(jù)儲存和分析系統(tǒng)，并通過對數(shù)據(jù)和應(yīng)用的高度集成將復(fù)雜的大數(shù)據(jù)處理程序交給專業(yè)人員處理，為一線教師減輕負(fù)擔(dān)。高校大數(shù)據(jù)應(yīng)用平臺擁有強大的數(shù)據(jù)收集和分析能力，可以有效地提高數(shù)據(jù)管理質(zhì)量和效率，促進資源共享，為高校管理決策提供支撐，推動高校資源配置的優(yōu)化。大數(shù)據(jù)應(yīng)用可以在人才培養(yǎng)、科學(xué)研究、社會服務(wù)和文化傳承創(chuàng)新等多個方面全面推動高等教育的發(fā)展。

海量數(shù)據(jù)包含了許多冗余和雜質(zhì)，這樣的數(shù)據(jù)不便使用，甚至不能使用。要發(fā)揮大數(shù)據(jù)的功用，提高其價值密度，就必須開發(fā)大數(shù)據(jù)的相關(guān)技術(shù)。首先，開發(fā)大數(shù)據(jù)集成技術(shù)。對數(shù)據(jù)進行有效的集成和整合，以剔除無關(guān)信息而不使有用的信息流失。完成這種除冗降噪過程的，是大數(shù)據(jù)技術(shù)中的數(shù)據(jù)采集和算法技術(shù)。不同來源的數(shù)據(jù)存在結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化三種結(jié)構(gòu)形式，數(shù)據(jù)之間的差異給數(shù)據(jù)的集成帶來了巨大的困難。這需要開發(fā)比Hadoop分布式處理軟件更先進的系統(tǒng)進行集成。其次，改進大數(shù)據(jù)存儲技術(shù)。存儲設(shè)備容量不可能跟上數(shù)據(jù)規(guī)模的擴張，而大數(shù)據(jù)存儲技術(shù)又與數(shù)據(jù)成本、計算和分析速度直接相關(guān)，這就要求開發(fā)一種既能夠存貯多元異構(gòu)數(shù)據(jù)又滿足數(shù)據(jù)格式統(tǒng)一、標(biāo)準(zhǔn)統(tǒng)一要求的存儲技術(shù)。再次，開發(fā)高效的實時分析技術(shù)。傳統(tǒng)的分析技術(shù)可以對大數(shù)據(jù)中結(jié)構(gòu)化靜態(tài)數(shù)據(jù)進行分析，但數(shù)據(jù)的一致性、可用性和容錯性不可兼得。大數(shù)據(jù)的可擴展性和可用性不能得到滿足，影響它的使用。只有開發(fā)一種橫向擴展能力強、能大規(guī)模處理非結(jié)構(gòu)性數(shù)據(jù)的分析技術(shù)，才能滿足高效地進行動態(tài)分析的要求。最后，開發(fā)可移植處理模型。目前的大數(shù)據(jù)處理框架大多是針對各行業(yè)、各領(lǐng)域的情況開發(fā)的，不具有廣適性和可移植性，限制了大數(shù)據(jù)的應(yīng)用。在高等教育領(lǐng)域，大數(shù)據(jù)專業(yè)人員應(yīng)同各領(lǐng)域?qū)＜液献鳎_發(fā)可移植處理模型。

篇（4）

中圖分類號：TP393 文章編號：1009-2374（2016）34-0093-02 DOI：10.13535/ki.11-4406/n.2016.34.046

1 概述

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)上產(chǎn)生海量大規(guī)模的數(shù)據(jù)，這些海量數(shù)據(jù)在金融、農(nóng)業(yè)、醫(yī)療、商業(yè)等領(lǐng)域都有極其重要的應(yīng)用。因此，通過對大數(shù)據(jù)研究從互聯(lián)網(wǎng)的海量數(shù)據(jù)中挖掘出有價值的信息資源。雖然大數(shù)據(jù)有極其重要的研究價值，但是海量數(shù)據(jù)處理給軟件設(shè)計帶來了巨大挑戰(zhàn)。大數(shù)據(jù)時代的到來，使傳統(tǒng)的軟件工程面臨新的機遇與挑戰(zhàn)。眾所周知，傳統(tǒng)的軟件生產(chǎn)模式一般以正向工程開始，然后進行軟件維護、逆向工程與再工程等，而大數(shù)據(jù)時代的軟件生產(chǎn)模式則以逆向工程開始。由于軟件資源的大量積累以及大規(guī)模軟件重用技術(shù)的發(fā)展與應(yīng)用，軟件數(shù)據(jù)挖掘與軟件集約化生產(chǎn)會變得越來越重要，傳統(tǒng)意義下一切從頭開始的軟件項目會變得越來越少。

互聯(lián)網(wǎng)的數(shù)據(jù)正以指數(shù)級速度增長，2010年，全球產(chǎn)生的數(shù)據(jù)超過1ZB；截至2015年，平均每年產(chǎn)生9ZB的數(shù)據(jù)；數(shù)據(jù)的產(chǎn)生主要來源于傳感器、移動終端和電腦終端；所有這些數(shù)據(jù)在涉及人類基因組學(xué)、醫(yī)療保健、石油和天然氣、搜索、監(jiān)控、金融等諸多領(lǐng)域提供了大量潛在的研究價值。IDC認(rèn)為能夠使用大數(shù)據(jù)解決方案將蓬勃發(fā)展實時業(yè)務(wù)決策，而那些無法接受和利用這種轉(zhuǎn)變的，在市場競爭中處于劣勢，且將越來越多地發(fā)現(xiàn)自己面對潛在的故障組織。大數(shù)據(jù)技術(shù)描述新一代的技術(shù)和架構(gòu)，通過對大數(shù)據(jù)進行科學(xué)組織、分析其中的數(shù)據(jù)價值。

大數(shù)據(jù)是涉及數(shù)據(jù)存儲、可變復(fù)雜的大型數(shù)據(jù)及數(shù)據(jù)的進一步可視化處理過程；大數(shù)據(jù)架構(gòu)需要具備同時處理數(shù)據(jù)存儲要求和分析海量數(shù)據(jù)的大型服務(wù)器的處理能力。其中挖掘潛在模式和隱秘關(guān)系的過程稱之為大數(shù)據(jù)分析。挖掘的潛在信息對公司來說能夠幫助獲得更豐富、更深刻的見解，并能夠幫助公司在競爭中占有絕對的優(yōu)勢。這也是大數(shù)據(jù)的價值所在，更加精確地執(zhí)行和分析數(shù)據(jù)中的潛在價值。本文將討論大數(shù)據(jù)時代軟件生產(chǎn)模式的變化、特征及其發(fā)展趨勢。除新的概念外，還將重點介紹一些軟件管理方法以及工業(yè)實踐經(jīng)驗。我們正處于一個軟件工業(yè)大變革的前夜。隨著軟件資源的大量積累與有效利用，軟件生產(chǎn)的集約化與自動化程度都將迅速提高，軟件生產(chǎn)質(zhì)量與效率的大幅度改進將成為可能。

2 軟件服務(wù)產(chǎn)生的大數(shù)據(jù)

互聯(lián)網(wǎng)應(yīng)用在各行業(yè)的廣泛推廣和使用，使得互聯(lián)網(wǎng)應(yīng)用服務(wù)產(chǎn)生海量的數(shù)據(jù)，主要包括流式密集數(shù)據(jù)和歷史密集數(shù)據(jù)。比如，國內(nèi)最大的電子商務(wù)阿里巴巴數(shù)據(jù)中心目前已經(jīng)積累超過100PB的數(shù)據(jù)；中國移動通信公司目前建立包含辦公自動化、企業(yè)標(biāo)準(zhǔn)化等超過1萬業(yè)務(wù)流程。傳統(tǒng)的軟件工程中程序設(shè)計思想是“程序=數(shù)據(jù)結(jié)構(gòu)+算法”，主要考慮程序的效率和正確性，忽視了程序中產(chǎn)生的數(shù)據(jù)，這將大大縮短程序的生命周期。在軟件理論漫長的發(fā)展過程中，眾多學(xué)者一致認(rèn)為軟件就是健壯的程序和詳細(xì)的文檔，其中核心部分就是完備的文檔，包括需求文檔、工程數(shù)據(jù)、通用規(guī)范等，整個軟件設(shè)計過程更加關(guān)注文檔質(zhì)量和標(biāo)準(zhǔn)化開發(fā)模式。因此，在這一共同協(xié)議下，促使軟件設(shè)計更加規(guī)范和標(biāo)志，進而從整體上提升軟件質(zhì)量。

隨著系統(tǒng)業(yè)務(wù)的擴容和用戶的使用，要求軟件能夠處理大規(guī)模數(shù)據(jù)的能力。許多大型互聯(lián)網(wǎng)企業(yè)越來越重視軟件服務(wù)中流式數(shù)據(jù)和密集型數(shù)據(jù)，數(shù)據(jù)主要來源于用戶體驗。如圖1所示，行業(yè)對數(shù)據(jù)的處理要求越來精細(xì)，技術(shù)很具有挑戰(zhàn)性，其中如何將大數(shù)據(jù)基礎(chǔ)設(shè)施作為服務(wù)、大數(shù)據(jù)平臺作為服務(wù)、數(shù)據(jù)價值作為服務(wù)以及大數(shù)據(jù)分析作為服務(wù)，已經(jīng)是大數(shù)據(jù)環(huán)境軟件工程的研究主要難題。

從軟件發(fā)展創(chuàng)新模式來分析，服務(wù)消費者、服務(wù)提供方及PaaS平臺三方產(chǎn)生海量線上流式數(shù)據(jù)和離線密集型數(shù)據(jù)。比如，TB級的用戶交流數(shù)據(jù)和PB級的用戶行為操作數(shù)據(jù)、TB級的系統(tǒng)日志數(shù)據(jù)等，這些海量數(shù)據(jù)對軟件開發(fā)、維護、管理有著至關(guān)重要的作用，同時這些數(shù)據(jù)對軟件服務(wù)周期也有決定性的作用。本實質(zhì)上來說，這些數(shù)據(jù)只是在規(guī)模和量上來衡量，對其的研究缺乏標(biāo)識，尤其缺少語義化的處理。因此，對如此海量數(shù)據(jù)的處理，需要從不同的研究方式和創(chuàng)新思維對數(shù)據(jù)進行組織和處理，形成面向領(lǐng)域內(nèi)的智能知識主體。以知識為中心，數(shù)據(jù)為驅(qū)動，提供一系列數(shù)據(jù)服務(wù)平臺，從而體現(xiàn)出現(xiàn)代軟件工程是以大數(shù)據(jù)為中心開展的。

3 大數(shù)據(jù)時代軟件工程管理模式

根據(jù)大數(shù)據(jù)時代背景下，軟件工程的發(fā)展從經(jīng)典的CS模式發(fā)展到BS模式以及現(xiàn)在的以面向服務(wù)的軟件工程，簡稱為軟件服務(wù)工程。該設(shè)計模式中以服務(wù)為基礎(chǔ)的單位，能夠快速構(gòu)建應(yīng)用和共享服務(wù)，能夠按需分配，同時也能很好地適應(yīng)分布式程序開發(fā)。這種模式特點是將資源虛擬化、應(yīng)用服務(wù)化，向外提供統(tǒng)一服務(wù)接口，能夠很好地解決大數(shù)據(jù)環(huán)境下動態(tài)、分布變化的情況和異構(gòu)系統(tǒng)數(shù)據(jù)以及系統(tǒng)整合問題。這種面向服務(wù)的軟件設(shè)計模式在大數(shù)據(jù)、移動互聯(lián)網(wǎng)等新興領(lǐng)域得到廣泛的使用。

項目管理是在一定的費用、品質(zhì)及進度約束下，為達到客戶和其他利益相關(guān)者的需求、目的和目標(biāo)所要進行的大量活動的規(guī)劃、監(jiān)督和指導(dǎo)。項目管理有兩個重要的研究領(lǐng)域：系統(tǒng)工程與項目控制。從圖1中看出，兩個領(lǐng)域有重疊部分，系統(tǒng)工程為重疊部分提供技術(shù)層面的輸入，項目控制主要提供規(guī)劃、費用及進度方面的輸入。工程的管理主要是通過文檔來體現(xiàn)的，其中主要包括系統(tǒng)文檔樹和系統(tǒng)工程管理計劃（SEMP）。

系統(tǒng)文檔樹就是以一種樹形結(jié)構(gòu)化形式描述項目所需的，面向系統(tǒng)工程的一系列文檔以及在自定向下的結(jié)構(gòu)化形式中各個系統(tǒng)工程文件之間的相互關(guān)系。系統(tǒng)文檔樹是由系統(tǒng)工程師在提案階段基于工作說明書（SOW）和合同數(shù)據(jù)需求清單（CDRL）準(zhǔn)備，以便后續(xù)的成本和進度確定所需的文本化的任務(wù)。系統(tǒng)文檔樹由項目經(jīng)理批準(zhǔn)并在項目生命周期內(nèi)維護更新。系統(tǒng)工程管理計劃（SEMP）是描述項目在系統(tǒng)工程方面的任務(wù)與進度需求以及這些系統(tǒng)工程任務(wù)如何被管理與實現(xiàn)的文檔。項目管理計劃（SEMP）是由系統(tǒng)工程師基于工作說明書（SOW）和合同數(shù)據(jù)需求清單（CDRL）在提案過程中描述系統(tǒng)工程過程以及系統(tǒng)工程需求如何被計劃、組織、集成、監(jiān)測、控制和測量。SEMP應(yīng)該由項目經(jīng)理批準(zhǔn)并在項目生命周期內(nèi)維護更新。系統(tǒng)工程管理計劃基于SOW及合同數(shù)據(jù)編制，包括三類關(guān)鍵要素：開發(fā)項目規(guī)劃與控制、系統(tǒng)工程過程以及工程專業(yè)集成。

第一，開發(fā)項目規(guī)劃與控制。開發(fā)項目規(guī)劃與控制描述在管理開發(fā)項目中必須實現(xiàn)的系統(tǒng)工程任務(wù)，包括：SOW（工作說明書）；組織；進度計劃；程序、設(shè)計和測試準(zhǔn)備評審；技術(shù)性能測量；風(fēng)險管理。

第二，軟件系統(tǒng)工程過程。系統(tǒng)工程過程描述用于系統(tǒng)開發(fā)的系統(tǒng)工程過程，包括：運行需求；功能分析；系統(tǒng)分析與權(quán)衡策略；系統(tǒng)測試與評估策略。

第三，軟件工程專業(yè)集成：工程專業(yè)集成描述多個專業(yè)工程領(lǐng)域如何被繼承到主系統(tǒng)設(shè)計與開發(fā)中，包括：可靠性工程、可維護性工程、可用性（RMA）工程；可生產(chǎn)性工程；安全性工程；人因工程。

4 結(jié)語

互聯(lián)網(wǎng)的快速發(fā)展使得軟件的更新迭代更加頻繁，大數(shù)據(jù)時代的到來更是對軟件的性能和安全的重要考驗。如何在大數(shù)據(jù)環(huán)境下，構(gòu)建一個高效、安全、健壯的軟件，除了需要技術(shù)的支持，更多地需要一套科學(xué)工程理論、技術(shù)標(biāo)準(zhǔn)、軟件管理方法的融合。由于軟件資源的大量積累以及大規(guī)模軟件重用技術(shù)的發(fā)展與應(yīng)用，軟件數(shù)據(jù)挖掘與軟件集約化生產(chǎn)會變得越來越重要，傳統(tǒng)軟件無法滿足當(dāng)前的需求，大數(shù)據(jù)環(huán)境下提出一般軟件工程的管理模式對時下的軟件工程開發(fā)是非常有幫

助的。

參考文獻

[1] 王符偉.大數(shù)據(jù)時代下軟件工程關(guān)鍵技術(shù)分析[J].電子技術(shù)與軟件工程，2015，（23）.

[2] 朱懷英，展之桂.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J].工業(yè)c，2016，（17）.

[3] 孟雪井，李宏飛，楊亞飛.大數(shù)據(jù)背景下統(tǒng)計軟件在數(shù)據(jù)分析中的應(yīng)用[J].現(xiàn)代經(jīng)濟信息，2016，（8）.

[4] 于興文.基于大數(shù)據(jù)的創(chuàng)新型“歸一”軟件設(shè)計思路[J].科教導(dǎo)刊（旬刊），2015，（11）.

篇（5）

隨著互聯(lián)網(wǎng)運用的逐漸廣泛化，社會中的各個行業(yè)都具有了自己的數(shù)據(jù)種類，這就致使大量的數(shù)據(jù)在互聯(lián)網(wǎng)的服務(wù)中產(chǎn)生。軟件服務(wù)工程會產(chǎn)生密集型數(shù)據(jù)，其中包括流式密集型的數(shù)據(jù)以及歷史密集型的數(shù)據(jù)。如世界最大的電信數(shù)據(jù)倉庫中心目前已經(jīng)建立超過1200TB的數(shù)據(jù)；中國移動通信的業(yè)務(wù)流程超過8190個，實現(xiàn)了辦公自動化和標(biāo)準(zhǔn)化的業(yè)務(wù)流程。“程序=數(shù)據(jù)結(jié)構(gòu)+算法”的程序設(shè)計思想為傳統(tǒng)軟件工程的管理思想模式，集程序的運行過程就是數(shù)據(jù)結(jié)構(gòu)的組織與算法的問題，這種模式將程序運行過程中的數(shù)據(jù)忽視，而將重點放在了程序的正確性和效率性，在很大程度上把程序的生命周期縮短。縱觀軟件理論的漫長發(fā)展史，諸多學(xué)者一致認(rèn)為詳細(xì)的文檔和完整的程序構(gòu)成了軟件，其中完善的文檔信息為軟件的核心部分，包括工程數(shù)據(jù)、文檔以及通用規(guī)范等等，把整個軟件的設(shè)計重點放在了文檔是否質(zhì)量合格以及開發(fā)模式是否具備標(biāo)準(zhǔn)化上面。由此，推動了軟件設(shè)計的標(biāo)準(zhǔn)化，從整體上把軟件的質(zhì)量有效提升[1]。

隨著系統(tǒng)業(yè)務(wù)的擴容和用戶的使用，對軟件進行大規(guī)模的數(shù)據(jù)處理提出了更為嚴(yán)格的要求。越來越多的大型互聯(lián)網(wǎng)企業(yè)更加重視軟件服務(wù)中的歷史密集型數(shù)據(jù)和流式密集型數(shù)據(jù)，將大數(shù)據(jù)分析作為服務(wù)，更加注重從用戶的體驗上進行數(shù)據(jù)的收集。大數(shù)據(jù)背景下，行業(yè)逐漸加大了數(shù)據(jù)的處理難度，使得處理數(shù)據(jù)更具精細(xì)化，對技術(shù)的標(biāo)準(zhǔn)要求也更為嚴(yán)格。當(dāng)前大數(shù)據(jù)時代下軟件工程的研究課題為，如何更好的把大數(shù)據(jù)平臺作為服務(wù)，把大數(shù)據(jù)的分析作為服務(wù)、把數(shù)據(jù)的價值作為服務(wù)[2]。要從軟件發(fā)展創(chuàng)新模式來進行海量數(shù)據(jù)的處理，PaaS服務(wù)平臺、服務(wù)提供方以及服務(wù)消費者三方，會產(chǎn)生海量離線密集型數(shù)據(jù)和線上流式數(shù)據(jù)。各項級別的用戶在進行交流或者進行操作以及各項系統(tǒng)日志數(shù)據(jù)等，其通常對軟件的有效開發(fā)、運行、管理等各方面都有著重要影響，另外，大數(shù)據(jù)還對軟件服務(wù)的具體周期具有決定性作用。

從根本上講，只是在規(guī)模和量上來進行數(shù)據(jù)的衡量，對其的研究沒有標(biāo)識，尤其是比較缺乏語義化的處理。因此，要對研究思維及方法進行不斷創(chuàng)新，以此對相關(guān)數(shù)據(jù)實施組織與處理，并形成具有領(lǐng)域性的智能主體。通過對大數(shù)據(jù)的有效創(chuàng)新，將知識作為載體，可以提供相應(yīng)的數(shù)據(jù)平臺，從而確保以大數(shù)據(jù)為中心來進行現(xiàn)代軟件工程管理的創(chuàng)新[3]。

2、大數(shù)據(jù)時代背景下軟件工程管理模式

軟件工程的發(fā)展經(jīng)歷了三個階段，經(jīng)典的CS模式-BS模式-軟件服務(wù)工程。其中產(chǎn)生于大數(shù)據(jù)背景下的面向服務(wù)的軟件工程，以服務(wù)為基礎(chǔ)，能夠以較快的速度進行應(yīng)用和共享服務(wù)的構(gòu)建，對于分布式程序的開發(fā)具有很好的適應(yīng)性。這種模式的不同之處在于能夠把應(yīng)用服務(wù)化，資源虛擬化，將外界服務(wù)接口統(tǒng)一化，有效解決大數(shù)據(jù)環(huán)境背景下的一系列問題。這種軟件服務(wù)工程設(shè)計模式廣泛應(yīng)用于移動互聯(lián)網(wǎng)、大數(shù)據(jù)等新興領(lǐng)域。項目管理是受到進度、費用以及品質(zhì)的影響，滿足客戶的需求而進行的活動規(guī)劃、指導(dǎo)和監(jiān)督。其中項目控制與系統(tǒng)工程為項目管理兩個至關(guān)重要的研究領(lǐng)域，二者有交叉重疊部分，項目控制主要負(fù)責(zé)輸入進度、規(guī)劃和費用，而系統(tǒng)工程蛀牙負(fù)責(zé)技術(shù)層面的輸入。通過文檔的形式來體現(xiàn)工程的管理，其中包括系統(tǒng)工程管理計劃和系統(tǒng)文檔樹[4]。

系統(tǒng)文檔樹通過樹形結(jié)構(gòu)來描述項目所需要的，以系統(tǒng)工程為對象的各個系統(tǒng)工程文件之間的相互關(guān)系。在提案階段，由系統(tǒng)工程師根據(jù)合同數(shù)據(jù)需求清單和工作說明書來進行系統(tǒng)文檔樹的準(zhǔn)備，從而為根據(jù)后續(xù)的進度和成本來進行文本化任務(wù)的確定提供便利的條件。由項目經(jīng)理進行系統(tǒng)文檔樹的批準(zhǔn)，并更新維護項目管理的全生命周期。而系統(tǒng)工程管理計劃主要用于描述系統(tǒng)工程的進度與任務(wù)的，在提案過程中，由系統(tǒng)工程師根據(jù)合同數(shù)據(jù)需求清單和工作說明書來進行系統(tǒng)工程過程的描述，以及如何有效計劃、組織、集成、測量系統(tǒng)工程需求。項目管理計劃同樣由項目經(jīng)理進行批準(zhǔn)，并更新維護項目管理的全生命周期。系統(tǒng)工程管理計劃主要由軟件系統(tǒng)工程過程、開發(fā)項目規(guī)劃與控制，以及軟件工程專業(yè)集成三類關(guān)鍵要素構(gòu)成，其中開發(fā)項目規(guī)劃與控制為必須要實現(xiàn)的系統(tǒng)工程任務(wù)[5]。

3、總結(jié)

綜上所述，面臨著互聯(lián)網(wǎng)的進一步發(fā)展，其促使軟件的更新速度相應(yīng)加快，大數(shù)據(jù)背景下通常對軟件的自身安全及性能具有更高的要求。因此，要想打造一個健壯、高效且安全的軟件工程，不僅僅要加大技術(shù)的支持力度，還需要不斷創(chuàng)新軟件工程管理辦法，形成一套科學(xué)的配套理論以及技術(shù)標(biāo)準(zhǔn)。當(dāng)前規(guī)模較大的軟件重用技術(shù)不斷發(fā)展，并實現(xiàn)了應(yīng)用，再加上大量積累的軟件資源，未來軟件的集約化生產(chǎn)以及軟件數(shù)據(jù)的挖掘?qū)兊闹陵P(guān)重要。傳統(tǒng)化的軟件工程的管理方式已無法滿足當(dāng)前生活的相關(guān)需要，大數(shù)據(jù)環(huán)境背景下探究新型的軟件工程管理方法具有十分重要的現(xiàn)實意義。

【軟件工程碩士論文參考文獻】

[1]張宇航.大數(shù)據(jù)系統(tǒng)中的軟件工程管理方法探究[J].中國高新技術(shù)企業(yè)，2016，(23):93-94.

[2]楊淼.面向商業(yè)模式的大數(shù)據(jù)信息管理方法研究[D].天津大學(xué)，2014.

[3]梁峰.基于數(shù)據(jù)倉庫技術(shù)的電力公司營銷數(shù)據(jù)分析梳理平臺的設(shè)計與實現(xiàn)[D].電子科技大學(xué)，2015.

篇（6）

全國乃至全球范圍內(nèi)，政府部門將大數(shù)據(jù)運用作為順應(yīng)經(jīng)濟發(fā)展規(guī)律、提升政府治理能力、增強地區(qū)競爭優(yōu)勢的新動力、新機遇、新途徑。加強對數(shù)據(jù)的分析和應(yīng)用，有助于政府部門通過數(shù)據(jù)來合理制定產(chǎn)業(yè)政策、引導(dǎo)企業(yè)投資經(jīng)營、培育新模式和新業(yè)態(tài)，推動實體經(jīng)濟與虛擬經(jīng)濟的融合發(fā)展；有助于政府部門提升經(jīng)濟數(shù)據(jù)分析的能力，推動社會事業(yè)數(shù)據(jù)的共享，創(chuàng)新行業(yè)管理服務(wù)的模式，加快建設(shè)法治服務(wù)型政府；有助于儲備基礎(chǔ)戰(zhàn)略資源，帶動科技創(chuàng)新，釋放經(jīng)濟潛能，創(chuàng)造區(qū)域經(jīng)濟發(fā)展的潛在空間。

大數(shù)據(jù)在政府行業(yè)統(tǒng)計監(jiān)測中應(yīng)用的基本情況

目前，大數(shù)據(jù)在政府行業(yè)統(tǒng)計監(jiān)測中的應(yīng)用主要包括兩個方面，一是成為政府統(tǒng)計數(shù)據(jù)來源的補充渠道，實現(xiàn)原有的統(tǒng)計直報方式和大數(shù)據(jù)方式相結(jié)合，尤其是網(wǎng)絡(luò)交易數(shù)據(jù)的重要獲取來源，如利用信息技術(shù)手段整理第三方電子商務(wù)平臺交易數(shù)據(jù)以測算地區(qū)網(wǎng)絡(luò)零售額；二是成為政府統(tǒng)計數(shù)據(jù)質(zhì)量的評估依據(jù)，將獲取的大數(shù)據(jù)作為傳統(tǒng)統(tǒng)計方式獲得數(shù)據(jù)的質(zhì)量評估參考，如國家統(tǒng)計局利用中國銀聯(lián)跨行銀行卡消費數(shù)據(jù)評估社會消費品零售總額數(shù)據(jù)質(zhì)量等。

大數(shù)據(jù)對政府行業(yè)統(tǒng)計監(jiān)測帶來的機遇和挑戰(zhàn)

大數(shù)據(jù)在政府行業(yè)統(tǒng)計監(jiān)測中機遇與挑戰(zhàn)并存，機遇大于挑戰(zhàn)。其中，機遇主要表現(xiàn)在數(shù)據(jù)獲取方式更加便利，先進技術(shù)逐步取代人工勞動使得統(tǒng)計效率更高、成本更低；數(shù)據(jù)獲取頻率更加密集，可以實現(xiàn)全天候?qū)崟r監(jiān)測，逐日更新更替數(shù)據(jù)信息；獲取數(shù)據(jù)數(shù)量更加豐富，可以實現(xiàn)多維度、多區(qū)域的數(shù)據(jù)開發(fā)和整理；獲取數(shù)據(jù)質(zhì)量更加精準(zhǔn)，尤其針對小而散的網(wǎng)絡(luò)零售企業(yè)，信息技術(shù)獲取的數(shù)據(jù)更加全面和準(zhǔn)確；挑戰(zhàn)主要表現(xiàn)在對政府統(tǒng)計能力和統(tǒng)計理論帶來的挑戰(zhàn)，一方面政府統(tǒng)計對大數(shù)據(jù)運用的需要一個漫長的周期，原有統(tǒng)計制度和現(xiàn)行統(tǒng)計方法雙軌運行的模式需要磨合，另一方面政府統(tǒng)計人員對大數(shù)據(jù)的理解和認(rèn)識需要一個較長的周期，缺少具備大數(shù)據(jù)理論和技能的專業(yè)統(tǒng)計人才。

大數(shù)據(jù)環(huán)境下政府行業(yè)統(tǒng)計監(jiān)測的發(fā)展原則、內(nèi)容和方向

電子商務(wù)行業(yè)統(tǒng)計監(jiān)測是新形勢下政府行業(yè)管理的一項基礎(chǔ)性、開創(chuàng)性的工作，應(yīng)在摸索中不斷創(chuàng)新突破，使得電子商務(wù)行業(yè)統(tǒng)計監(jiān)測能夠滿足政府行業(yè)管理的需要。

（一）主要原則

電子商務(wù)領(lǐng)域應(yīng)用大數(shù)據(jù)開展統(tǒng)計監(jiān)測具有涉及面廣、技術(shù)要求高、公益性明顯、變化性大、安全性要求高等特點，因此在應(yīng)用過程中應(yīng)堅持以下原則：一是合法性原則，應(yīng)用大數(shù)據(jù)技術(shù)進行數(shù)據(jù)采集和整理過程中，要遵守現(xiàn)行的法律法規(guī)，在合法的范圍內(nèi)安全使用；二是科學(xué)性原則，對數(shù)據(jù)進行過濾和加工時，數(shù)據(jù)模式和方法要科學(xué)合理，確保數(shù)據(jù)的權(quán)威性；三是開放性原則，數(shù)據(jù)不僅作為政府決策依據(jù)，還應(yīng)將大部分作為公共資源向全社會共享；四是穩(wěn)定性原則，數(shù)據(jù)來源實現(xiàn)多渠道，技術(shù)手段、數(shù)據(jù)模型等要及時更新，以保證數(shù)據(jù)根據(jù)實際需要實時；五是標(biāo)準(zhǔn)化原則，加快數(shù)據(jù)采集、指標(biāo)口徑、分類目錄、數(shù)據(jù)交易、安全保密等關(guān)鍵共性標(biāo)準(zhǔn)的制定和實施，充分發(fā)揮標(biāo)準(zhǔn)在數(shù)據(jù)開發(fā)應(yīng)用中的保障和支撐作用；六是市場性原則，數(shù)據(jù)開發(fā)要與市場需求結(jié)合，以保證數(shù)據(jù)開發(fā)應(yīng)用的具有持久生命力。

（二）建設(shè)內(nèi)容

作為一項系統(tǒng)性的工作，電子商務(wù)領(lǐng)域應(yīng)用大數(shù)據(jù)開展統(tǒng)計監(jiān)測工作過程中要著力構(gòu)建三大系統(tǒng)：一是技術(shù)系統(tǒng)。要把先進技術(shù)放在基礎(chǔ)性的地位，包括信息技術(shù)、數(shù)據(jù)模型、智能設(shè)備等，采用的技術(shù)要與行業(yè)最新發(fā)展的趨勢相匹配，同時還要著力打造具有自主知識產(chǎn)權(quán)的技術(shù)和平臺。二是應(yīng)用系統(tǒng)，針對不同市場主體和需求，開發(fā)標(biāo)準(zhǔn)化和個性化的產(chǎn)品和服務(wù)，并打造方便用的可視化界面和系統(tǒng)，實現(xiàn)需求方和服務(wù)方的有效溝通，推動技術(shù)研發(fā)與市場應(yīng)用的融合互補。三是制度系統(tǒng)，建立一套從數(shù)據(jù)采集、存儲、整理、分析、、保密等管理制度，建立相應(yīng)的數(shù)據(jù)管理組織構(gòu)架和績效評價機制，以保障電子商務(wù)大數(shù)據(jù)開發(fā)應(yīng)用工作的有序進行。

（三）發(fā)展方向

未來政府在電子商務(wù)領(lǐng)域開展大數(shù)據(jù)應(yīng)用與開發(fā)，個人認(rèn)為既要遵循電子商務(wù)發(fā)展的規(guī)律，也要立足現(xiàn)行的政策條件、技術(shù)條件，并根據(jù)各地實際情況和需求，按照“統(tǒng)計規(guī)劃與行業(yè)管理相結(jié)合、統(tǒng)計成果與產(chǎn)業(yè)應(yīng)用相結(jié)合、統(tǒng)計手段與先進技術(shù)相結(jié)合、統(tǒng)計水平與國際水準(zhǔn)相結(jié)合”等“四個相結(jié)合”的方向，建立健全應(yīng)用大數(shù)據(jù)開展電子商務(wù)統(tǒng)計監(jiān)測工作的體系，為經(jīng)濟社會發(fā)展提供有力的大數(shù)據(jù)支撐。

統(tǒng)計規(guī)劃與行業(yè)管理相結(jié)合。電子商務(wù)大數(shù)據(jù)的開發(fā)應(yīng)用首先要以服務(wù)政府行業(yè)管理工作為出發(fā)點和落腳點，確保大數(shù)據(jù)的開發(fā)應(yīng)用與行業(yè)管理的熱點、難點、重點領(lǐng)域相吻合，做好以電子商務(wù)交易額、網(wǎng)絡(luò)零售額、居民網(wǎng)絡(luò)消費等為代表的政府考核數(shù)據(jù)的開發(fā)，同時不局限于電子商務(wù)領(lǐng)域，逐步向旅游、票務(wù)、交通、餐飲、住宿、中介、醫(yī)療、文化等經(jīng)濟領(lǐng)域延伸，確保統(tǒng)計工作服務(wù)于各領(lǐng)域行業(yè)管理部門的需要。

統(tǒng)計成果與產(chǎn)業(yè)應(yīng)用相結(jié)合。數(shù)據(jù)是基礎(chǔ)，應(yīng)用是關(guān)鍵。電子商務(wù)大數(shù)據(jù)統(tǒng)計的成果要與政府部門在電子商務(wù)領(lǐng)域具體的工程、項目相吻合，使得統(tǒng)計的成果能夠直接應(yīng)用和服務(wù)于電子商務(wù)促消費、穩(wěn)增長、調(diào)結(jié)構(gòu)、惠民生等方面的具體工程，為電子商務(wù)領(lǐng)域各項重點工程和項目的設(shè)計、監(jiān)測和評估提供數(shù)據(jù)參考，同時也為企業(yè)經(jīng)營決策、個人創(chuàng)業(yè)創(chuàng)新提供數(shù)據(jù)參考，提高數(shù)據(jù)成果落地的實施速度和社會經(jīng)濟效益。

統(tǒng)計手段與發(fā)展前沿相結(jié)合。在電子商務(wù)大數(shù)據(jù)開發(fā)過程中，一方面，創(chuàng)新統(tǒng)計方法， 逐步擴寬通過技術(shù)手段獲取數(shù)據(jù)的范圍，探索建立符合電子商務(wù)發(fā)展特點的測算和分析方法，同時與原有的統(tǒng)計方法做好銜接，實現(xiàn)兩條腿走路；另一方面，提升統(tǒng)計技術(shù)，充分利用先進智能設(shè)備和前沿獲取技術(shù)，使得統(tǒng)計技術(shù)能夠適應(yīng)電子商務(wù)快速發(fā)展和變化莫測的特點，及時、全面的獲取行業(yè)最新業(yè)態(tài)和模式的相關(guān)數(shù)據(jù)。

統(tǒng)計水平與國際水準(zhǔn)相結(jié)合。政府部門在電子商務(wù)大數(shù)據(jù)開發(fā)的過程中，一是要加強與阿里巴巴、京東、亞馬遜等第三方電子商務(wù)平臺企業(yè)的數(shù)據(jù)共享和交換，二是要加強與高等院校和科研機構(gòu)的理論探討，提升數(shù)據(jù)分析和研究的水平，推動電子商務(wù)理論的發(fā)展，三是加強艾瑞咨詢、尼爾森等國內(nèi)國際知名第三方大數(shù)據(jù)公司的合作交流，確保數(shù)據(jù)來源、獲取方法、分析水平等全面科學(xué)、引領(lǐng)行業(yè)、接軌國際，提升政府電子商務(wù)行業(yè)統(tǒng)計分析的國際水準(zhǔn)。

篇（7）

大數(shù)據(jù)環(huán)境下政府審計存在的問題

缺乏完善的大數(shù)據(jù)信息平臺

隨著科學(xué)技術(shù)的發(fā)展，社會已經(jīng)進入大數(shù)據(jù)時代，在這種環(huán)境下，組織開展政府審計工作，需要依賴大數(shù)據(jù)，全國各地都在積極建設(shè)大數(shù)據(jù)信息平臺，但是受自身財力、技術(shù)等因素的影響，在大數(shù)據(jù)信息平臺建設(shè)方面存在不平衡問題。個別地區(qū)甚至還未建立大數(shù)據(jù)信息系統(tǒng)，進而在一定程度上使得審計數(shù)據(jù)依然分布在部門、個人手中。

缺乏大數(shù)據(jù)應(yīng)用人才。對于政府審計人員來說，在信息化時代，一方面需要精通審計知識。另一方面需要熟悉計算機領(lǐng)域的一些知識。但是，從實際情況來看，在審計隊伍中，具備儲存、分析大數(shù)據(jù)能力的人才非常少。在業(yè)務(wù)人才培養(yǎng)方面，盡管政府審計機關(guān)做出了巨大的努力，但是由于利用信息化組織開展政府審計工作處于起步階段，并且培養(yǎng)具有中級職稱的計算機審計人才需要一個過程。

審計模式與大數(shù)據(jù)審計不適應(yīng)。受計劃經(jīng)濟體制的影響和制約，審計機關(guān)在組織開展審計工作時，一般由相關(guān)科室根據(jù)審計類別開展相應(yīng)的審計工作，在小數(shù)據(jù)環(huán)境下，這種審計方式有著自身的合理性。但是，進入大數(shù)據(jù)時代，在面對大型復(fù)雜的審計項目時，對于政府審計機關(guān)來說，由于數(shù)據(jù)規(guī)模大，程序復(fù)雜，在這種情況下，各科室之間需要互相配合，通過優(yōu)化配置資源，進一步提高審計效率。

數(shù)據(jù)規(guī)模小。在我國，受計劃經(jīng)濟體制的影響，政府審計數(shù)據(jù)信息一直沒有得到到很好的整合，在這種情況下，進一步影響了數(shù)據(jù)規(guī)模，導(dǎo)致數(shù)據(jù)規(guī)模普遍偏小，主要表現(xiàn)為，一方面政府審計缺乏規(guī)范的運行機制，各部門之間各自為政，各自存儲本部門的數(shù)據(jù)信息，同時數(shù)據(jù)傳輸局限于部門內(nèi)部，數(shù)據(jù)信息很難在部門之間進行交流，進而在一定程度上導(dǎo)致政府審計機關(guān)很難對各部門的數(shù)據(jù)進行整合，制約了審計業(yè)務(wù)的正常進行。另一方面在數(shù)據(jù)存儲軟件方面，由于各審計機構(gòu)之間存在差異性，并且各存儲軟件之間不能兼容，導(dǎo)致數(shù)據(jù)信息無法進行有效的采集，使得數(shù)據(jù)信息只能儲存在相應(yīng)的單位，進而難以形成大規(guī)模的數(shù)據(jù)庫。

大數(shù)據(jù)視角下政府開展審計的具體措施

隨著經(jīng)濟的不斷發(fā)展，大數(shù)據(jù)成為時代的熱點，對于政府審計機關(guān)來說，需要利用大數(shù)據(jù)開展審計工作。

搭建政府審計大數(shù)據(jù)信息平臺。隨著信息技術(shù)不斷發(fā)展，云技術(shù)趨于成熟，基于此，可以依托云技術(shù)搭建政府審計大數(shù)據(jù)信息平臺，按照統(tǒng)一的標(biāo)準(zhǔn)，連接審計機關(guān)、被審計對象的數(shù)據(jù)庫，對數(shù)據(jù)信息進行實時采集，進一步儲存、共享數(shù)據(jù)信息。積極開發(fā)大數(shù)據(jù)技術(shù)，對現(xiàn)有的數(shù)據(jù)信息分析軟件進行充分利用，對于審計人員來說，通過建立公用數(shù)據(jù)分析系統(tǒng)，對數(shù)據(jù)信息進行共享和共用，在一定程度上打破審計系統(tǒng)審計數(shù)據(jù)不能共享的局限性，進而推動審計工作的順利進行。在組織開展政府審計工作的過程中，審計機關(guān)需要與財稅、金融等部門加強合作，對有關(guān)數(shù)據(jù)信息進行共享。因此，建立一種政府引導(dǎo)，審計機關(guān)等各部門相互配合的審計模式，搭建政府審計云平臺，各部門之間真正共享審計數(shù)據(jù)信息。

培養(yǎng)基于大數(shù)據(jù)的政府審計人員。在大數(shù)據(jù)環(huán)境下，為了做好政府審計工作，需要培養(yǎng)基于大數(shù)據(jù)的政府審計人員，首先，對政府審計人員加大教育培訓(xùn)力度，幫助政府審計人員掌握計算機領(lǐng)域的知識，尤其是涉及審計與大數(shù)據(jù)交叉的知識；其次，在審計數(shù)據(jù)采集、整理、分析等方面，幫助政府審計人員提升綜合能力，特別結(jié)合審計情況，建立數(shù)學(xué)模型對審計數(shù)據(jù)進行分析；最后，對被審計對象信息系統(tǒng)內(nèi)控情況進行客觀公正的評價，結(jié)合存在的具體問題，為被審計單位管理層提出切實可行的方案。

篇（8）

中圖分類號：G642.0；TP393 文獻標(biāo)識碼：A 文章編號：2095-1302（2016）12-0-02

0 引 言

隨著云計算、物聯(lián)網(wǎng)以及“互聯(lián)網(wǎng)+”技術(shù)的興起，數(shù)據(jù)正以前所未有的速度在不斷增長和累積，互聯(lián)網(wǎng)大數(shù)據(jù)正在實時影響人們的工作、生活乃至社會發(fā)展。2012年 3月，美國奧巴馬政府公布“大數(shù)據(jù)研發(fā)計劃”，旨在提高和改進人們從海量、復(fù)雜的數(shù)據(jù)中獲取知識的能力，發(fā)展收集、儲存、保留、管理、分析和共享海量數(shù)據(jù)所需要的核心技術(shù)。2014年大數(shù)據(jù)高速發(fā)展，中國互聯(lián)網(wǎng)三巨頭BAT（百度、阿里、騰訊）紛紛建立大數(shù)據(jù)研究院、大數(shù)據(jù)實驗室等，提供大數(shù)據(jù)專業(yè)服務(wù)，一批大數(shù)據(jù)專業(yè)分析公司應(yīng)運而生。我國的開放、共享和智能的大數(shù)據(jù)時代已經(jīng)來臨，同時對專業(yè)人才的需求也日益增長。

大數(shù)據(jù)的發(fā)展與計算機網(wǎng)絡(luò)密切相關(guān)，因此適時調(diào)整高職計算機網(wǎng)絡(luò)專業(yè)方向的培養(yǎng)目標(biāo)，可以更好的適應(yīng)大數(shù)據(jù)發(fā)展要求。大數(shù)據(jù)背景下計算機網(wǎng)絡(luò)專業(yè)學(xué)生的目標(biāo)是培養(yǎng)具有計算機網(wǎng)絡(luò)、大數(shù)據(jù)及云計算的專業(yè)知識，實踐能力強、職業(yè)道德素養(yǎng)高，具備云平臺的管理能力和網(wǎng)絡(luò)軟件開發(fā)能力，能夠從事網(wǎng)絡(luò)工程設(shè)計實施、網(wǎng)絡(luò)高級管理維護、網(wǎng)絡(luò)開發(fā)、云平臺組建及管理以及大數(shù)據(jù)存儲、計算及分析等崗位的高級技能型人才[1]。

1 大數(shù)據(jù)與云計算

根據(jù)維基百科的定義，大數(shù)據(jù)[2，3]是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)主要具有4V特征[2]，即數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)種類繁多（Variety）、流動速度快（Velocity）、價值密度低（Value）。

從技術(shù)角度上看，大數(shù)據(jù)必然無法用單臺計算機處理，必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。目前應(yīng)用最為廣泛的大數(shù)據(jù)分布式處理平臺就是Hadoop，Hadoop是由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，能夠?qū)Υ罅繑?shù)據(jù)進行分布式存儲、分析和處理的云計算平臺，已經(jīng)在網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域得到了廣泛運用。例如Yahoo使用4 000個節(jié)點的Hadoop集群來支持廣告系統(tǒng)和Web搜索的研究；Facebook使用1 000個節(jié)點的集群運行Hadoop，存儲日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機器學(xué)習(xí)；百度用Hadoop處理每周200 TB的數(shù)據(jù)，進行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作；淘寶的Hadoop系統(tǒng)用于存儲并處理電子商務(wù)交易的相關(guān)數(shù)據(jù)。

2 課程體系改革研究

2.1 課程體系現(xiàn)狀

目前，高職院校計算機網(wǎng)絡(luò)專業(yè)類課程大多圍繞計算機網(wǎng)絡(luò)工程和計算機網(wǎng)絡(luò)開發(fā)兩條主線，主要課程包括網(wǎng)絡(luò)基礎(chǔ)、路由器及交換機配置與管理、Windows網(wǎng)絡(luò)服務(wù)器配置與管理以及動態(tài)網(wǎng)站開發(fā)相關(guān)技術(shù)等。這些課程內(nèi)容傳統(tǒng)，課程內(nèi)容嚴(yán)重同質(zhì)化，教學(xué)內(nèi)容已不能滿足大數(shù)據(jù)時代人才培養(yǎng)的要求，這些將直接影響學(xué)生的理論實踐能力和就業(yè)機會。

大數(shù)據(jù)、互聯(lián)網(wǎng)+、物聯(lián)網(wǎng)及云計算技術(shù)的發(fā)展和應(yīng)用給高職計算機網(wǎng)絡(luò)專業(yè)人才培養(yǎng)帶來了新的要求與挑戰(zhàn)，與市場需求存在脫節(jié)現(xiàn)象。計算機網(wǎng)絡(luò)專業(yè)應(yīng)緊跟大數(shù)據(jù)、云計算等先進技術(shù)的步伐，不斷進行專業(yè)課程的創(chuàng)新性研究，重視實踐類課程和教材的研發(fā)，適時調(diào)整人才培養(yǎng)目標(biāo)和專業(yè)教學(xué)計劃，以期滿足工作崗位的實際要求。

2.2 研究思路

計算機網(wǎng)絡(luò)專業(yè)經(jīng)過多年的發(fā)展，其課程體系比較成熟，形成了各自的特色教學(xué)。因此，本文的研究內(nèi)容是對原有課程體系的補充和完善。

2.2.1 有針對性的進一步優(yōu)化傳統(tǒng)的專業(yè)職業(yè)技能課程

傳統(tǒng)的專業(yè)職業(yè)技能課程已經(jīng)比較成熟，經(jīng)過了實踐的考驗，也已得到了學(xué)生的認(rèn)可。盡管如此，還要有針對性的進一步優(yōu)化，使得課程體系的理實比達到更優(yōu)，提升課程教學(xué)實施的效果。

2.2.2 采用增加模式，補充完善課程體系

基于大數(shù)據(jù)和云計算技術(shù)研發(fā)新的職業(yè)技能課程，充實現(xiàn)有的課程體系。大數(shù)據(jù)和云計算緊密相聯(lián)，因此要增加云計算和大數(shù)據(jù)的理論和實踐課程。在研發(fā)課程的過程中，以崗位需求為導(dǎo)向，以培養(yǎng)技能型人才為目標(biāo)，合理安排理論教學(xué)內(nèi)容和課時，著重開發(fā)實踐教學(xué)案例和內(nèi)容，明顯區(qū)別于本科課程教學(xué)設(shè)置。

2.2.3 課程體系相互作用，相互促進

網(wǎng)絡(luò)技術(shù)是大數(shù)據(jù)、云計算技術(shù)的基礎(chǔ)。因此計算機網(wǎng)絡(luò)傳統(tǒng)課程也是新研發(fā)課程的基礎(chǔ)。新研發(fā)課程既是傳統(tǒng)課程的有效實踐，又是對傳統(tǒng)課程的有效擴展和提升。

2.3 具體內(nèi)容

由于大數(shù)據(jù)、云計算技術(shù)是基于網(wǎng)絡(luò)的技術(shù)，因此，計算機網(wǎng)絡(luò)專業(yè)人才培養(yǎng)具有先決條件。根據(jù)以上研究思路，具體方案主要包括強化現(xiàn)有課程體系，增加基礎(chǔ)理論課程、完善知識體系，增加實踐課程、鍛煉崗位能力三個部分。

2.3.1 強化現(xiàn)有課程體系

針對現(xiàn)階段存在的問題，學(xué)校應(yīng)強化現(xiàn)有課程體系，使學(xué)生具有扎實的網(wǎng)絡(luò)管理能力和一定的網(wǎng)絡(luò)開發(fā)能力。現(xiàn)有的課程體系使學(xué)生具備了相關(guān)能力。熟悉ISO/OSI互聯(lián)網(wǎng)模型，并掌握常見的互聯(lián)網(wǎng)協(xié)議如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能夠配置管理Windows和Linux服務(wù)器，熟悉使用常見的網(wǎng)絡(luò)命令，具備遠程網(wǎng)絡(luò)控制學(xué)習(xí)能力。掌握程序設(shè)計語言Java，具備Windows和Linux下的程序開發(fā)能力，包括編寫shell程序。能夠配置交換機和路由器，具備組建局域網(wǎng)的能力。熟悉信息安全、系統(tǒng)安全及網(wǎng)絡(luò)安全攻防技術(shù)。

2.3.2 增加基礎(chǔ)理論課程，完善知識體系

針對人才需求，增加大數(shù)據(jù)、云計算等基礎(chǔ)理論課程，完善知識體系。雖然大數(shù)據(jù)、云計算等課程教學(xué)的最終目的是培養(yǎng)實踐技能，但基礎(chǔ)理論仍非常重要，主要包括熟悉大數(shù)據(jù)的基礎(chǔ)概念和常見技術(shù)架構(gòu)；熟悉云計算原理和架構(gòu)，并了解虛擬化技術(shù)如KVM；熟悉分布式系統(tǒng)和分布式計算原理；了解大數(shù)據(jù)、云計算的最新應(yīng)用。

2.3.3 增加實踐課程，鍛煉崗位能力

在課程體系設(shè)置中，實踐課程比例應(yīng)超過理論課程。增加大數(shù)據(jù)、云計算等實踐課程，鍛煉學(xué)生的崗位能力。主要包括主流云平臺管理軟件的使用，如華為FusionSphere、VMWARE等；分布式系統(tǒng)管理、分布式并行計算以及Map/Reduce編程；Hadoop集群、HBase分布式數(shù)據(jù)庫的構(gòu)建與管理；Hadoop、HBase等案例實踐與應(yīng)用。

通過以上方法，使得計算機網(wǎng)絡(luò)專業(yè)學(xué)生在原有專業(yè)基礎(chǔ)上，掌握大數(shù)據(jù)和云計算的原理，具備云平臺的管理能力，并能基于Hadoop等云計算平臺實現(xiàn)大數(shù)據(jù)程序，對大數(shù)據(jù)進行計算分析。

2.4 Hadoop課程實施

通過以上分析可知，增加的課程內(nèi)容主要是大數(shù)據(jù)、云計算相關(guān)課程，最終采用Hadoop云計算平臺相關(guān)技術(shù)實現(xiàn)大數(shù)據(jù)的存儲、計算與分析。通過理論教學(xué)，使得學(xué)生深入了解掌握大數(shù)據(jù)技術(shù)、云計算原理及Hadoop架構(gòu)。通過實踐教學(xué)，使得學(xué)生能夠掌握Hadoop集群的配置與管理，并且能夠基于Hadoop實現(xiàn)大數(shù)據(jù)程序設(shè)計，使得學(xué)生具備基本的大數(shù)據(jù)處理能力。因此Hadoop課程是核心課程。

2.4.1 Hadoop原理

Hadoop是把大數(shù)據(jù)集分發(fā)到計算集群中各個節(jié)點上共同處理以實現(xiàn)大數(shù)據(jù)的快速處理。用戶無需了解分布式底層細(xì)節(jié)就可開發(fā)分布式程序，充分利用集群的威力進行高速運算和存儲。Hadoop最核心的設(shè)計是HDFS文件系統(tǒng)和MapReduce編程模型。HDFS為海量數(shù)據(jù)提供存儲，而MapReduce則為海量數(shù)據(jù)提供了計算。如圖1所示，Hadoop運行的基本過程如下[4，5]：

（1）客戶端可以將文件上傳至HDFS文件系統(tǒng)，NameNode則會根據(jù)文件大小和Block大小配置將文件的物理屬性分成若干個Block文件塊，并分布式存儲至DataNode數(shù)據(jù)節(jié)點，同時將塊存儲信息保存至NameNode節(jié)點，以方便文件進行資源管理。

（2）文件上傳完成后，客戶端提交具體Job任務(wù)至Hadoop集群，各DataNode節(jié)點根據(jù)任務(wù)要求可以讀取相應(yīng)的文件Split，并完成Map和Reduce計算任務(wù)，將結(jié)果作為輸出文件傳輸至HDFS文件系統(tǒng)。

（3）在任務(wù)執(zhí)行過程中，可以通過JobTracker、TaskTracker及ResourceManager監(jiān)控任務(wù)的執(zhí)行情況和資源消耗信息等。

2.4.2 Hadoop教學(xué)平臺配置與部署

Hadoop教學(xué)平臺需配置、部署一些部件。基于現(xiàn)有實驗室的計算機和網(wǎng)絡(luò)環(huán)境，網(wǎng)絡(luò)服務(wù)器系統(tǒng)采用Linux Ubuntu，構(gòu)建Hadoop集群網(wǎng)絡(luò)。基于Cloudera Hadoop開源框架實現(xiàn)Hadoop教學(xué)平臺。

2.4.3 Hadoop分布式文件存儲及大數(shù)據(jù)處理實現(xiàn)

Hadoop分布式文件存儲及大數(shù)據(jù)處理實現(xiàn)包括：HDFS文件系統(tǒng)的使用；HBase的使用；MapReducer程序?qū)崿F(xiàn)；大數(shù)據(jù)案例分析與實現(xiàn)。

3 結(jié) 語

本文分析了大數(shù)據(jù)背景下高職計算機網(wǎng)絡(luò)專業(yè)的培養(yǎng)目標(biāo)和課程體系的改革思路，在優(yōu)化計算機網(wǎng)絡(luò)專業(yè)傳統(tǒng)課程的基礎(chǔ)上，增加大數(shù)據(jù)、云計算等相關(guān)課程，并以Hadoop課程的具體教學(xué)實施來培養(yǎng)學(xué)生的實踐能力，使得學(xué)生能夠緊跟大數(shù)據(jù)、云計算的技術(shù)步伐，滿足工作崗位的要求。

參考文獻

[1]趙偉艇，夏棟梁.基于崗位能力培養(yǎng)的云計算課程群知識體系構(gòu)建研究[J].電腦知識與技術(shù)，2016，12（2）：167-169.

[2]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報，2013（S1）：142-146.

[3]孟小峰，慈祥.大數(shù)據(jù)管理概念技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展，2013，50（1）：146-169.

[4]王錚.基于Hadoop的分布式系統(tǒng)研究與應(yīng)用[D].長春：吉林大學(xué)，2014.

[5]陳吉榮，樂嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計算機工程與科學(xué)，2013，35（10）：25-35.

[6]曾文英，吳積軍，曾文權(quán)，等.基于云計算的IT課程體系改革[J].計算機教育，2014（17）：40-44.

篇（9）

二、大數(shù)據(jù)管理工程檔案與工程管理模型

大數(shù)據(jù)管理工程檔案也是一個信息的整理的過程，本文在整合管理工程檔案現(xiàn)有模型研究的基礎(chǔ)上，結(jié)合大數(shù)據(jù)時代的來臨給管理工程檔案的實施帶來的挑戰(zhàn)和機遇，通過大數(shù)據(jù)管理工程檔案來促進工程的發(fā)展，分析了的大數(shù)據(jù)時代來臨下針對管理工程檔案的雙向決策模型，分別從工程評估與預(yù)測及工程監(jiān)測與預(yù)警兩個維度構(gòu)建了針對大數(shù)據(jù)管理工程檔案的方案[6]。因此，在本文中，針對大數(shù)據(jù)管理工程檔案構(gòu)建了兩種工程檔案管理的模型，第一個模型是數(shù)據(jù)驅(qū)動下的的工程監(jiān)測和預(yù)警的模型，采用的技術(shù)是跟蹤以及聚類；第二個模型是目標(biāo)驅(qū)動的工程評估與預(yù)警模型采用的技術(shù)是推送以及表征，如下圖1所示。1.工程內(nèi)部集成檔案數(shù)據(jù)目標(biāo)驅(qū)動管理的工程評估與預(yù)測模型。工程評估與預(yù)測模型的是目標(biāo)驅(qū)動的一個模型，也即在工程內(nèi)部的目標(biāo)驅(qū)動下的模型，也就是說在這一模型中，工程的決策者需求清楚的界定自己目標(biāo)需求，根據(jù)自己的目標(biāo)尋求實現(xiàn)目標(biāo)的路徑。可以使用普通的數(shù)據(jù)挖掘和收集的方法，利用工程信息系統(tǒng)中關(guān)于工程檔案數(shù)據(jù)收集、整理以及分析計算等方法來達到，通過收集的數(shù)據(jù)表征、檢索、可視化以及推送等技術(shù)實現(xiàn)工程檔案大數(shù)據(jù)開展有針對性目標(biāo)的挖掘，從而把這些收集整理的數(shù)據(jù)轉(zhuǎn)化為可以為工程決策目標(biāo)所利用的信息及建議。此外，工程評估與預(yù)測模型是于傳統(tǒng)的數(shù)據(jù)挖掘和收集的方法上發(fā)展的，結(jié)合計量學(xué)學(xué)科中的相關(guān)技術(shù)方法應(yīng)用于工程檔案管理工作中，在目標(biāo)驅(qū)動下對大數(shù)據(jù)時代來臨時工程的策劃、工程的實施以及工程的評估等工程檔案數(shù)據(jù)中的海量信息進行有效整理和探析，以達致管理工程檔案的效用，從而有效評估工程的發(fā)展情況，有效及時的對工程發(fā)展的最終目的進行預(yù)測。2.工程外部網(wǎng)絡(luò)信息建檔數(shù)據(jù)驅(qū)動管理的工程監(jiān)測與預(yù)警模型。大數(shù)據(jù)時代來臨時工程外部網(wǎng)絡(luò)中有著海量的有用信息，這些信息對于工程建設(shè)中的新思維、新想法能起著啟發(fā)或促進作用，大數(shù)據(jù)管理工程檔案可以通過實時建檔對這些有效核心數(shù)據(jù)加以收集和利用，在工程實施過程中，可以通過大數(shù)據(jù)收集對工程發(fā)展有積極作用的新信息和新技術(shù)，同時對于工程的不利影響因素和工程競爭對手的一些相關(guān)技術(shù)進行監(jiān)測，在監(jiān)測后針對所有會發(fā)生的情況進行分析，最終建立起工程的預(yù)警和監(jiān)測檔案數(shù)據(jù)庫，從另一個角度說，這也是建立工程監(jiān)測與預(yù)警模型的最終目標(biāo)。與工程評估與預(yù)測模型的目標(biāo)驅(qū)動不同的是，工程評估與預(yù)測模型通過預(yù)先定下的目標(biāo)，來根據(jù)目標(biāo)收集和整理相關(guān)數(shù)據(jù)，而工程監(jiān)測與預(yù)警模型則不同，其更為重視通過數(shù)據(jù)系統(tǒng)自主分析來對網(wǎng)絡(luò)輿情進行研究，大數(shù)據(jù)時代來臨時的輿情分析系統(tǒng)有聚類、熱點主題檢測等相關(guān)的計算機文本信息的內(nèi)容識別技術(shù)。3.工程管理檔案大數(shù)據(jù)安全戰(zhàn)略體系構(gòu)建。以檔案大數(shù)據(jù)的方式來對工程的實施進行管理有著安全的風(fēng)險，這也是大數(shù)據(jù)管理工程檔案的存儲存在的新安全問題，一般來說，工程檔案數(shù)據(jù)的數(shù)量以及質(zhì)量會對安全存儲系統(tǒng)的運行狀況帶來影響，大數(shù)據(jù)管理工程檔案中的安全存儲技術(shù)的升級速度較之?dāng)?shù)據(jù)增長的速度慢，因此，相應(yīng)的面臨的大數(shù)據(jù)安全防護預(yù)警風(fēng)險也大。

篇（10）

中圖分類號：TE969 文獻標(biāo)識碼：A

在現(xiàn)在科技信息不斷發(fā)展的過程中，對大多數(shù)事物處理的方式都依靠科技信息化，這是因為在進行各項事物的過程中結(jié)合相應(yīng)的科技手段不僅僅能夠使得操作人員的工作更加便利，而且對于事項的準(zhǔn)確進行也起到非常重要的作用。這一點對我國目前進行油氣資源提煉上也能夠得到表達。在我國對油氣資源的提煉主要采用催化裂化的裝置，但是這種裝置在運行的過程中還存在著一些問題，這就需要采用大數(shù)據(jù)技術(shù)手段對其中可能出現(xiàn)的問題進行有效地控制，這一技術(shù)手段在國外大多數(shù)國家都得到廣泛地應(yīng)用。但是由于我國自身的科技發(fā)展水平還有很大的缺失，導(dǎo)致大數(shù)據(jù)技術(shù)手段在我國石化行業(yè)還沒有得到良好的使用。

一、在催化裂化裝置上應(yīng)用大數(shù)據(jù)技術(shù)的思路

由于催化裂化裝置在進行石化工作的時候經(jīng)常會出現(xiàn)一些問題，這些問題的出現(xiàn)就會導(dǎo)致整個裝置不能得到合理的使用。需要對這些問題進行有效地分析和控制，從根本的角度上保證催化裂化裝置在進行石化工作時候發(fā)生問題的概率有一定的降低。而在社會上得到廣泛應(yīng)用的大數(shù)據(jù)技術(shù)對催化裂化裝置使用過程中能夠進行遠程監(jiān)控和診斷，這就大大地減少了裝置在使用過程中發(fā)生問題的可能性。

總的來說要想保證催化裂化裝置能夠得到良好的開展，就需要對裝置上的大數(shù)據(jù)平臺進行全面地建設(shè)。在對這項技術(shù)手段研究中發(fā)現(xiàn)對大數(shù)據(jù)平臺的建立可以采用分布式技術(shù)架構(gòu)進行，這樣對催化裂化裝置的監(jiān)督和控制能夠更加順利地進行。對平臺的建設(shè)在社會時間研究中主要可以分成3個部分。以下筆者就對這3個部分進行詳細(xì)地研究。

二、具體的研究內(nèi)容

1.數(shù)據(jù)整定及樣本數(shù)據(jù)模式開發(fā)

在催化裂化裝置運行過程中發(fā)生的各項問題主要是通過數(shù)據(jù)整定進行分析的，其根本原理在于通過大數(shù)據(jù)技術(shù)對政治進行有效地觀察，將運行過程中的相應(yīng)數(shù)據(jù)進行合理地整定。一般來說問題的最后表現(xiàn)形式應(yīng)該是以樣本的形式存在。而對樣本收集形成的一個集合體中還存在著基礎(chǔ)樣品庫和專題樣品庫，這兩個層面對催化裂化裝置進行分析都起到非常重要的作用。而且在對催化裂化裝置進行控制和監(jiān)督的過程對其中發(fā)生的問題也會進行詳細(xì)地分類，這樣做能夠減少對問題解決的時間，對提升催化裂化裝置的運行效率起到不可忽視的作用。

2.大數(shù)據(jù)分析算法庫開發(fā)

在社會實踐研究中清楚地發(fā)現(xiàn)，大數(shù)據(jù)對催化裂化裝置進行監(jiān)督和控制的根本原理在于通過分析算法庫進行的。這也從根本的角度上說明分析算法庫在大數(shù)據(jù)分析中的作用。這項技術(shù)手段對整個裝置引擎能夠進行有效地計算，而且分析算法庫內(nèi)部包含的種類也非常廣泛，每一種算法針對不同的裝置問題，這就說明了開發(fā)大數(shù)據(jù)分析算法庫對解決裝置中出現(xiàn)的問題起到非常重要的作用。

3.分析模式應(yīng)用

大數(shù)據(jù)內(nèi)部的分析模式對整個催化裂化裝置中出現(xiàn)的問題在進行有效地監(jiān)督之后，還可以實現(xiàn)問題的可視。這樣對施工操作人員在對問題進行處理和解決的過程中發(fā)揮非常重要的作用。而且在裝置發(fā)生問題的時候通過可視性操作可以有針對性地對問題進行解決，對大數(shù)據(jù)技術(shù)在催化裂化裝置中的合理應(yīng)用奠定堅實基礎(chǔ)。

三、應(yīng)用模型開發(fā)

（一）報警分析模型

利用工廠生產(chǎn)的歷史數(shù)據(jù)進行數(shù)據(jù)挖掘，生成各個位點之間的相關(guān)性與因果鏈路，并以因果鏈路圖為指導(dǎo)完成工廠生產(chǎn)異常工況的預(yù)警。此外，對中國石化各套催化裂化裝置的報警數(shù)據(jù)進行篩選，利用報警管理算法降低報警數(shù)量。生成各個位點間的相關(guān)性與因果鏈路主要通過傳遞熵算法，需要選取歷史數(shù)據(jù)中各個位點平穩(wěn)的一段數(shù)據(jù)作為算法輸入，計算后得到位點兩兩之間的相關(guān)性大小（以傳遞熵值大小表示）。根據(jù)對相關(guān)性的顯著性水平檢驗判斷篩選出各位點之間的因果關(guān)系，并以此為依據(jù)做出因果鏈路。

（二）結(jié)焦診斷模型

模型收集催化裝置結(jié)焦前后歷史數(shù)據(jù)，利用非線性主成分分析方法，結(jié)合實驗室的結(jié)焦機理研究，確定結(jié)焦關(guān)鍵性參數(shù)，綜合利用神經(jīng)網(wǎng)絡(luò)算法等預(yù)測方法對結(jié)焦趨勢進行長周期預(yù)測及優(yōu)化，并通過聚類算法及互相關(guān)函數(shù)等時滯分析算法建立關(guān)鍵性參數(shù)與大量操作數(shù)據(jù)、原料性質(zhì)數(shù)據(jù)、裝置數(shù)據(jù)等工業(yè)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系網(wǎng)，并提出具體可執(zhí)行的減緩結(jié)焦的方案。

四、信息可視化

信息可視化旨在進行大規(guī)模信息資源的視覺呈現(xiàn)，利用圖形圖像方面的技術(shù)與方法，幫助操作人員理解和分析數(shù)據(jù)，囊括了數(shù)據(jù)可視化、信息圖形、知識可視化、科學(xué)可視化以及視覺設(shè)計等方面。可視化提供了深入洞察大數(shù)據(jù)的手段，將擬采用Processing語言，引入電子藝術(shù)的概念，輔助進行系統(tǒng)開發(fā)的可視化設(shè)計。

結(jié)語

綜上所述可以清楚地看出在石化工程中最常用的裝置就是催化裂化裝置，但是這項裝置在使用過程中經(jīng)常會出現(xiàn)一些問題，這就需要應(yīng)用大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)在工業(yè)化生產(chǎn)中進行全面研究，在大數(shù)據(jù)工業(yè)化應(yīng)用中可以發(fā)現(xiàn)這項技術(shù)對社會經(jīng)濟的提高起到非常重要的作用，也說明大數(shù)據(jù)技術(shù)在石化行業(yè)中的使用值得推廣。

參考文獻