十年前，預(yù)言家提出信息超載的概念。如今，數(shù)據(jù)正超出預(yù)料地呈指數(shù)型增長。在今天的廣電大數(shù)據(jù)系統(tǒng)建設(shè)領(lǐng)域，采集所有用戶的屬性、收視、工單、訂購、賬單、支付、設(shè)備運(yùn)行等數(shù)據(jù)可以說是一個浩瀚的工程。
廣電數(shù)據(jù)由數(shù)據(jù)源經(jīng)過統(tǒng)一的數(shù)據(jù)抽取和轉(zhuǎn)換平臺進(jìn)行抽取、格式轉(zhuǎn)換、脫敏等操作，由于匯聚了多個源的數(shù)據(jù)，通常數(shù)據(jù)量非常大。
面對龐大的數(shù)據(jù)體量，以及數(shù)據(jù)挖掘與分析的個性化需求，一套完整的數(shù)據(jù)治理機(jī)制以及具有良好可擴(kuò)展性的大數(shù)據(jù)平臺成為廣電大數(shù)據(jù)系統(tǒng)建設(shè)、構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的智慧廣電新模式的核心。
曙光廣電大數(shù)據(jù)應(yīng)用
最近，曙光中標(biāo)廣州珠江數(shù)碼集團(tuán)廣電大數(shù)據(jù)運(yùn)用項(xiàng)目并且實(shí)施。依托多年的大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)，在智慧廣電應(yīng)用上，助力珠江數(shù)碼實(shí)現(xiàn)全方位數(shù)據(jù)挖掘與分析需求。
珠江數(shù)碼為華南地區(qū)最大規(guī)模的廣播電視網(wǎng)絡(luò)運(yùn)營商之一，用戶規(guī)模約400萬戶。面對移動互聯(lián)網(wǎng)對傳統(tǒng)業(yè)務(wù)帶來的挑戰(zhàn)和機(jī)遇，珠江數(shù)碼先后完成了4K智能電視業(yè)務(wù)平臺、綜合云平臺和廣電大數(shù)據(jù)系統(tǒng)的建設(shè)。
在此次項(xiàng)目中，曙光以一站式大數(shù)據(jù)平臺、全程可追溯的數(shù)據(jù)采控模式、靈活的大屏展示、以及與業(yè)務(wù)貼合的智能算法，實(shí)現(xiàn)珠江數(shù)碼廣電數(shù)據(jù)面向業(yè)務(wù)應(yīng)用的全方位分析和挖掘。
廣州珠江數(shù)碼集團(tuán)股份有限公司在給曙光的感謝信中特別提到：“曙光研發(fā)的XData大數(shù)據(jù)智能引擎發(fā)揮其在數(shù)據(jù)采集、治理、融合、分析、可視化等方面的能力，實(shí)現(xiàn)公司數(shù)據(jù)整個生命周期的全程可追溯，實(shí)現(xiàn)收視數(shù)據(jù)指標(biāo)的大屏展示，全面提升數(shù)據(jù)質(zhì)量，提升數(shù)據(jù)的可用性，提供科學(xué)決策依據(jù)，得到了領(lǐng)導(dǎo)高度認(rèn)可與贊揚(yáng)?！?
曙光XData大數(shù)據(jù)智能引擎，目前已入選國家《大數(shù)據(jù)優(yōu)秀產(chǎn)品和應(yīng)用解決方案案例集（2019）》。已實(shí)現(xiàn)對數(shù)據(jù)源進(jìn)行統(tǒng)一存儲和檢索，為前端應(yīng)用系統(tǒng)提供豐富的ETL類服務(wù)，并支持跨系統(tǒng)數(shù)據(jù)的分析應(yīng)用。另一方面，除了支持支持傳統(tǒng)關(guān)系庫、文件、FTP等數(shù)據(jù)源的可視接入，還可實(shí)現(xiàn)數(shù)據(jù)采集插件的可拓展。
本次建設(shè)智慧廣電，曙光大數(shù)據(jù)服務(wù)工程團(tuán)隊(duì)還有兩個方案技術(shù)架構(gòu)值得一提。
第一個是數(shù)據(jù)共享平臺
曙光XData大數(shù)據(jù)智能引擎是基于微服務(wù)架構(gòu)的多線程、集群化的數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算的平臺工具。
為了實(shí)現(xiàn)多種存儲系統(tǒng)的統(tǒng)一管理，曙光融合分布式文件系統(tǒng)HDFS、數(shù)據(jù)倉庫Hive、分布式數(shù)據(jù)庫Hbase、并行數(shù)據(jù)庫MppDB等，打造了統(tǒng)一接入、統(tǒng)一管理、統(tǒng)一權(quán)限的融合存儲層；針對不同的計(jì)算內(nèi)容和計(jì)算方式，提供內(nèi)存計(jì)算、流式計(jì)算、離線計(jì)算、圖計(jì)算等常規(guī)大數(shù)據(jù)計(jì)算方式，支持基于Hadoop生態(tài)的主流組件，包括MapReduce/Storm/Spark/Spark Streaming/SparkSQL，搜索支持Solr和ElasticSearch、數(shù)據(jù)可視化平臺等，并且可以在此基礎(chǔ)上進(jìn)行擴(kuò)展升級。
第二個是數(shù)據(jù)智能應(yīng)用
數(shù)據(jù)智能應(yīng)用包括收視行為分析、精準(zhǔn)營銷推薦、數(shù)據(jù)可視化展示等。
收視行為分析和互聯(lián)網(wǎng)行業(yè)用戶畫像的結(jié)合，依據(jù)當(dāng)前用戶的收視習(xí)慣和用戶評論、用戶屬性、廣告點(diǎn)擊等信息，完成基于排行榜與用戶瀏覽歷史的節(jié)目、廣告推薦。
精準(zhǔn)營銷主要是建立用戶檔案，為業(yè)務(wù)部門提供精準(zhǔn)化營銷、用戶挽留、產(chǎn)品推介等市場服務(wù)。開發(fā)針對每個用戶的數(shù)據(jù)化視圖，建立用戶的各項(xiàng)數(shù)據(jù)檔案，將其標(biāo)簽化、積分化。
數(shù)據(jù)可視化展示主要包括大屏交互展示、數(shù)據(jù)采集過程追蹤、報(bào)表展示及數(shù)據(jù)目錄。準(zhǔn)確的定位數(shù)據(jù)問題，使數(shù)據(jù)發(fā)揮更大的價值。
依托多年大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)
以關(guān)鍵技術(shù)打通創(chuàng)新節(jié)點(diǎn)
曙光大數(shù)據(jù)工程服務(wù)團(tuán)隊(duì)依靠多年的大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)積累、雄厚的技術(shù)實(shí)力，在數(shù)據(jù)采集、綜合治理、智能分析、可視化服務(wù)等領(lǐng)域已經(jīng)積累了一整套成體系的項(xiàng)目流程規(guī)范和技術(shù)服務(wù)體系。
依托強(qiáng)勁算力，結(jié)合與業(yè)務(wù)貼合的智能算法，依托多年大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)，曙光在實(shí)現(xiàn)廣電數(shù)據(jù)面向業(yè)務(wù)應(yīng)用的全方位分析和挖掘的道路上繼續(xù)探索，通過軟硬一體化發(fā)展路徑，用關(guān)鍵技術(shù)打通創(chuàng)新節(jié)點(diǎn)，為企業(yè)決策提供依據(jù)，加速企業(yè)戰(zhàn)略轉(zhuǎn)型，促進(jìn)數(shù)字經(jīng)濟(jì)的飛速發(fā)展。
