大數(shù)據(jù)工程技術(shù)人員是人社部發(fā)布的13個新職業(yè)之一。據(jù)計算機專業(yè)論壇統(tǒng)計，目前全國大數(shù)據(jù)人才僅為46萬，未來3-5年內(nèi)，大數(shù)據(jù)人才缺口150萬。各企業(yè)紛紛以高薪聘請大數(shù)據(jù)人才，國內(nèi)大數(shù)據(jù)工程技術(shù)人員平均年薪30-50萬元。
雖然是新職業(yè)，但人們的生活早已與大數(shù)據(jù)工程息息相關(guān)：用手機軟件查詢水電燃氣用量、網(wǎng)購、一站式政務(wù)服務(wù)……我們享受到的便捷生活背后總少不了大數(shù)據(jù)工程技術(shù)人員。
建立大數(shù)據(jù)
“讓數(shù)據(jù)多跑路，讓你我少跑腿”
今年48歲的劉巖算是IT行業(yè)里年齡比較大的，當年從廣州暨南大學(xué)計算機專業(yè)畢業(yè)，20多年來一直在互聯(lián)網(wǎng)行業(yè)摸爬滾打。從最開始的軟件開發(fā)到現(xiàn)在的大數(shù)據(jù)采集、分析，劉巖說，如果將IT行業(yè)比喻成大海，大數(shù)據(jù)就是大海中最前端的潮頭，大數(shù)據(jù)工程技術(shù)人員就是大海中最前沿的弄潮兒。
“最早期的大數(shù)據(jù)需求是從上世紀90年代開始的。”劉巖說，當時國家推行政務(wù)信息化，要求政府將各類信息登記和存儲。比如，民政部門要把本地的婚姻情況錄入婚姻登記系統(tǒng)，公安部門把本地市民信息錄入公民信息系統(tǒng)。最開始這些系統(tǒng)都是孤立的，只針對內(nèi)部人員使用。隨著信息化不斷發(fā)展，各系統(tǒng)之間信息交互需求增加，各個獨立數(shù)據(jù)系統(tǒng)進入海量大數(shù)據(jù)融合階段，政府間的信息互容互通，一直發(fā)展到如今“一個窗口辦齊所有業(yè)務(wù)”的高度融合，真正實現(xiàn)“讓數(shù)據(jù)多跑路，讓百姓少跑腿”的設(shè)計初衷。
現(xiàn)在，劉巖作為哈爾濱國裕數(shù)據(jù)技術(shù)服務(wù)有限公司大數(shù)據(jù)平臺規(guī)劃管理高級工程師，負責(zé)建設(shè)智慧城市大數(shù)據(jù)資源管理中心項目。“一個智慧城市建設(shè)，包括許多子系統(tǒng)，我們的工作就是將這些子系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)化采集。舉個例子，一個城市包含許多委辦局，有的委辦局信息化做得比較好，那么我們就在大數(shù)據(jù)信息系統(tǒng)中采集、清洗、分析并加以利用、管理和維護。”劉巖說，所謂“清洗”，就是說并不是所有信息都是規(guī)范的、數(shù)字化的，有時候有的信息只記載某段時間的數(shù)據(jù)，有的信息前后記錄標準不一，這時就需要大數(shù)據(jù)工程技術(shù)人員將這些非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)處理成結(jié)構(gòu)化數(shù)據(jù)，統(tǒng)一錄入系統(tǒng)，對于那些殘缺不全的數(shù)據(jù)還要想辦法彌補上。
還有的時候，一些單位從沒有進行過信息化數(shù)據(jù)處理，許多數(shù)據(jù)都是手工記錄的，甚至根本就沒有，這就需要相關(guān)工作人員查找資料，盡量找回資料。“這個過程其實是最耗費時間的，許多時候我們要一個單位一個單位去溝通，將那些常年放置在文件柜里落滿塵埃的數(shù)據(jù)翻出來，讓這些數(shù)據(jù)發(fā)揮價值。”劉巖說。
如何發(fā)揮數(shù)據(jù)的價值呢？“我們將一個城市的相關(guān)數(shù)據(jù)整理后錄入大數(shù)據(jù)系統(tǒng)，根據(jù)我們設(shè)定的程序，系統(tǒng)會對海量數(shù)據(jù)進行再次挖掘和分析，從而得出橫向和縱向的分析數(shù)據(jù)，進而對未來進行預(yù)測。”比如，某一個城市路口的視頻監(jiān)控，既可以抓拍車輛、行人違章情況，也可以對車流量、信號燈等情況進行監(jiān)控，通過一段時間的數(shù)據(jù)比較和分析，優(yōu)化出最合理的車流導(dǎo)向和信號燈分配，此外還能運用視頻監(jiān)控抓獲違法犯罪人員。
目前，應(yīng)用大數(shù)據(jù)對城市進行智慧管理幾乎已遍布全國各大中城市，并正在向中小城鎮(zhèn)滲透中。讓更多人辦事更便捷、輕松，就是大數(shù)據(jù)應(yīng)用的最大成果。2015年，劉巖在大慶建設(shè)智慧城市并建設(shè)了一個專門服務(wù)百姓的“百湖匯”App軟件，大慶市民用這個軟件查詢水電氣等，實現(xiàn)一站式繳費。
“不久的將來，隨著大數(shù)據(jù)進一步發(fā)展，城市的大數(shù)據(jù)系統(tǒng)將更加開放，更加以人為本。”劉巖說，也許到那時，老百姓可以到家門口的派出所辦工商執(zhí)照，甚至不用出門，在家里通過網(wǎng)絡(luò)就可辦理戶口遷移手續(xù)。
管理大數(shù)據(jù)
各種數(shù)據(jù)被托管到數(shù)據(jù)中心
老家在廣州的邵天富來哈爾濱工作剛剛?cè)齻€月，盡管常常思念遠在萬里之遙的新婚妻子，但當邵天富全神貫注于大數(shù)據(jù)運營的時候，似乎把整個世界都拋在了腦后。今年33歲的邵天富正好趕上了中國互聯(lián)網(wǎng)跨越式發(fā)展的黃金期，當年他從廣東工業(yè)大學(xué)機電一體化專業(yè)畢業(yè)，就一頭扎入大數(shù)據(jù)管理“藍海”，如今已成為一個技術(shù)全面、經(jīng)驗豐富的大數(shù)據(jù)工程技術(shù)人員。用他們自己的話說，只要地球不爆炸，大數(shù)據(jù)永遠不停歇。
每天早上8點半，邵天富準時出現(xiàn)在位于平房哈南十五路的哈爾濱云谷名氣通數(shù)據(jù)服務(wù)有限公司數(shù)據(jù)中心操控平臺中心，同時聽取夜班技術(shù)人員對各種技術(shù)參數(shù)的監(jiān)控情況匯報。“昨天晚上各項數(shù)據(jù)都在正常范圍內(nèi)，8號機電池近期需要更換。”主管機房動力的李旭說完，隨手把數(shù)據(jù)監(jiān)控報告遞給邵天富。
如今，小到APP，大到騰訊、阿里這樣的互聯(lián)網(wǎng)企業(yè)，都在尋求第三方專業(yè)的數(shù)據(jù)服務(wù)。“其實大部分人看到的只是手機或電腦上小小的APP，但它后臺所用到的服務(wù)器多達上萬臺，這背后有無數(shù)數(shù)據(jù)工作人員在默默工作著。”帶著濃重廣東腔的邵天富說，他們其實就像是給客戶提供一個網(wǎng)絡(luò)大房子，讓這些客戶在房子里進行各種政務(wù)、商業(yè)活動，而他們就是房子的管家，對房子提供保潔、維護、維修等專業(yè)性工作。“可以這么說，凡是涉及到網(wǎng)站、電腦等互聯(lián)網(wǎng)服務(wù)的政府機關(guān)、企事業(yè)單位、商業(yè)用戶，都需要穩(wěn)定持續(xù)的互聯(lián)網(wǎng)大數(shù)據(jù)托管服務(wù)。”
作為中立的第三方數(shù)據(jù)中心，它要保證為客戶提供7×24×365的全天候網(wǎng)絡(luò)數(shù)據(jù)服務(wù)。“我們的數(shù)據(jù)中心每一秒都必須有人值守。”邵天富說，從設(shè)備維護、參數(shù)記錄及分析、數(shù)據(jù)監(jiān)控預(yù)警，到看視頻監(jiān)控，是否有可疑人員進入，分析是否有異常情況。根據(jù)數(shù)據(jù)監(jiān)控，在還沒有發(fā)生事故之前，核查有可能出現(xiàn)問題的點并作設(shè)備保養(yǎng)，即設(shè)備換電池、加潤滑油等。
實際上，許多從事大數(shù)據(jù)管理的技術(shù)人員都是從相關(guān)專業(yè)轉(zhuǎn)型而來，他們既要懂計算機、互聯(lián)網(wǎng)，也要懂電氣、暖通甚至消防等方面知識。每個班組要有兩名相關(guān)專業(yè)工作人員值班，因此一個班至少有6-8人在崗工作，每天三班至少有18-24人在崗。
邵天富說，哈爾濱某高校曾經(jīng)想做一個數(shù)據(jù)管理，計劃使用50個機柜，如果自己做，要獲得用電、網(wǎng)絡(luò)、消防等方面的使用許可，一個數(shù)據(jù)中心需要20個專業(yè)人員7×24的服務(wù)。如果采用專業(yè)托管服務(wù)至少節(jié)省1/3的費用。
專業(yè)化大數(shù)據(jù)托管服務(wù)最早是從2008年至2009年開始的，在這之前，各個公司都是自己組建機房。隨著各大公司與互聯(lián)網(wǎng)結(jié)合得越來越緊密，自有機房已經(jīng)滿足不了發(fā)展的需要。到2010年，許多原來做別的領(lǐng)域的公司都開始做大數(shù)據(jù)服務(wù)了。這時邵天富意識到，大數(shù)據(jù)的春天來了。盡管大量的數(shù)據(jù)公司涌入，仍然無法滿足高速增長的市場需求。
大爆發(fā)時代
哈爾濱是大數(shù)據(jù)最理想的家
廣州人邵天富如今十分適應(yīng)哈爾濱的環(huán)境和生活。“在哈爾濱冬天雖然很冷，但在屋里卻很暖和，比在廣州待得舒服。”邵天富說，最愛吃這里的東北菜，三個月就胖了好幾斤。而且最重要的是，兩地幾乎一樣的工資水平，在哈爾濱的生活質(zhì)量明顯高于廣州。盡管半年才回一次家，但邵天富說他打算一直在哈爾濱工作下去。
適應(yīng)哈爾濱環(huán)境的不僅僅是IT業(yè)工作人員。邵天富說，哈爾濱緯度與美國硅谷相近，是IT行業(yè)最理想的總部所在地，更是大數(shù)據(jù)的天堂。因為在理想狀態(tài)下，機房的溫度最好保持在22-26℃之間，由于機器運行時發(fā)熱，因此室內(nèi)溫度在20℃左右最為理想。如果室內(nèi)溫度高于這個溫度，就要啟動空調(diào)把機房溫度降到合適溫度。如此看來，哈爾濱成了最理想的大數(shù)據(jù)機房之家。“哈爾濱非地震帶，天氣涼爽，寒冷期長達半年，這些都是大數(shù)據(jù)管理的地理優(yōu)勢。”邵天富說。
站在全球視角下，中國大數(shù)據(jù)中心的擁有量還不到美國的1/3，這與中國互聯(lián)網(wǎng)的高速發(fā)展遠遠不匹配，因此中國大數(shù)據(jù)行業(yè)必然迎來大爆發(fā)時代。5G和無人駕駛時代來臨，更是大數(shù)據(jù)行業(yè)的重大利好，屆時網(wǎng)絡(luò)會更快，使用人群會更多，這就要求服務(wù)器和機房更大、更專業(yè)，滿足更多需求。“以視頻網(wǎng)站為例，看視頻的人越來越多，過去公司托管50、100個機柜，現(xiàn)在已滿足不了網(wǎng)絡(luò)需求，很可能再租幾千個機柜都不夠用。”邵天富說，到那時，會有更多跟大數(shù)據(jù)相關(guān)的從業(yè)人員向這個行業(yè)靠攏、甚至轉(zhuǎn)行過來。
“哈爾濱人才儲備也是優(yōu)勢之一。”從廣州暨南大學(xué)畢業(yè)的劉巖說，早期在南方工作的計算機人才許多都是從哈爾濱高校畢業(yè)的，這一優(yōu)勢一直延續(xù)到今天。
從全國范圍看，大數(shù)據(jù)業(yè)務(wù)量將越來越多，但目前大數(shù)據(jù)服務(wù)中心多集中在北京、上海等大城市。“因為大城市數(shù)據(jù)服務(wù)需求量大，而且從技術(shù)層面看，遠距離數(shù)據(jù)傳輸還存在一定困難。”邵天富說，從未來發(fā)展看，遠距離傳輸難題會在不久的將來被攻破。到那時，哈爾濱在大數(shù)據(jù)管理方面的優(yōu)勢會更加突出，會有越來越多的數(shù)據(jù)中心搬到哈爾濱來。
