世界級大數(shù)據(jù)處理集群,騰訊內(nèi)部大數(shù)據(jù)平臺全面開放
隨著"大數(shù)據(jù)"的普及,數(shù)據(jù)的資產(chǎn)價值已經(jīng)得到大家的重視。但面對數(shù)據(jù)海量增長、數(shù)據(jù)高實(shí)時性要求、高價值數(shù)據(jù)挖掘、大數(shù)據(jù)技術(shù)與團(tuán)隊儲備等難題,大多企業(yè)依然會束手無策。
而騰訊,每天都在面對著龐大的數(shù)據(jù)處理需求:5萬億條數(shù)據(jù)接入,100億次數(shù)據(jù)分發(fā),超過200PB數(shù)據(jù)存儲,超過2萬臺集群調(diào)度,多達(dá)500萬次任務(wù)調(diào)度。依賴于世界級的大數(shù)據(jù)處理集群,以騰訊為例,只需要少量的數(shù)據(jù)工程師和數(shù)據(jù)分析師就可以滿足龐大產(chǎn)品線下的所有數(shù)據(jù)挖掘與運(yùn)營要求,人員效率得到極大提升。
騰訊云,致力于將騰訊最重要的IT資源和技術(shù)能力對外開放。在騰訊"云+未來"峰會上,騰訊云正式將騰訊內(nèi)部使用多年的大數(shù)據(jù)服務(wù)平臺對外開放,并命名為"數(shù)智方略"。
覆蓋更全面,數(shù)智方略產(chǎn)品線包含3層46個產(chǎn)品組件
騰訊云數(shù)智方略,是一站式、全流程的大數(shù)據(jù)服務(wù)平臺,包含3層46個產(chǎn)品組件,產(chǎn)品組件數(shù)量還在持續(xù)豐富當(dāng)中。
一站式數(shù)據(jù)分析與挖掘平臺--數(shù)智,是在騰訊多年海量數(shù)據(jù)處理經(jīng)驗之上,結(jié)合開源Hadoop生態(tài)和自研組件服務(wù),對外提供的可靠、安全、易用的大數(shù)據(jù)處理平臺。為客戶提供了從采集、存儲、計算、挖掘到可視化的一站式數(shù)據(jù)處理服務(wù),其中更囊括了騰訊自研的機(jī)器學(xué)習(xí)引擎。用戶可以按需部署大數(shù)據(jù)處理服務(wù)以實(shí)現(xiàn)企業(yè)的業(yè)務(wù)需求,例如:數(shù)據(jù)提取、處理分析、報表展示、客戶畫像、機(jī)器學(xué)習(xí)等大數(shù)據(jù)應(yīng)用,以提高企業(yè)在大數(shù)據(jù)背景下的核心競爭力。
方略,則提供開放通用的數(shù)據(jù)應(yīng)用及分析服務(wù),是基于騰訊海量的數(shù)據(jù)資產(chǎn),多年的技術(shù)積累及自身業(yè)務(wù)運(yùn)用所開發(fā)的一系列應(yīng)用服務(wù)。包含了用戶洞察分析、區(qū)域人流分析、云搜、文智自然語言處理、機(jī)智機(jī)器學(xué)習(xí)、開放通用推薦等,基于這些強(qiáng)大易用的服務(wù),用戶可以依托騰訊自身海量數(shù)據(jù)的處理經(jīng)驗,促進(jìn)產(chǎn)業(yè)效能的極大提升。
在行業(yè)產(chǎn)品方面,針對游戲和移動行業(yè),騰訊也提供了針對性更強(qiáng)的idata游戲大數(shù)據(jù)平臺、移動分析、移動運(yùn)營、移動PUSH等針對移動行業(yè)的大數(shù)據(jù)服務(wù),幫助用戶更快速地享受到騰訊的數(shù)據(jù)能力優(yōu)勢。
速度更快,效果更好,大數(shù)據(jù)處理速度提升780倍,下載轉(zhuǎn)化率提升49%
在大數(shù)據(jù)處理上,數(shù)智方略擁有出色的速度優(yōu)勢,能迅速為業(yè)務(wù)帶來有效的洞察與優(yōu)化。在10億用戶畫像數(shù)據(jù)分析,量級約為10TB的count、sum和group計算中,數(shù)智平臺能夠?qū)鹘y(tǒng)Hadoop長達(dá)20分鐘的計算時長縮短到秒級,大數(shù)據(jù)處理速度提升高達(dá)780倍。數(shù)智在對微信每天160億級別的多維分析場景中,能夠做到6秒返回結(jié)果;而應(yīng)用寶在利用數(shù)智方略開放推薦服務(wù)之后,廣告的下載轉(zhuǎn)化率提升超過49%,游戲的下載轉(zhuǎn)化率提升超過38%。
應(yīng)用在其他行業(yè),數(shù)智方略同樣展現(xiàn)出巨大潛力。據(jù)了解,廣東省旅游部門通過應(yīng)用數(shù)智方略,結(jié)合騰訊覆蓋全國10億的人群畫像能力,及日調(diào)用量超過400億區(qū)域人流分析,成功地對景區(qū)進(jìn)行實(shí)時客流量監(jiān)控及預(yù)測,為旅游資源的合理利用和部署,和旅游產(chǎn)品服務(wù)的精準(zhǔn)營銷,提供輔助決策。
部署更靈活,開放API接入,完美兼容社區(qū)
數(shù)智基礎(chǔ)平臺提供了超過30個深度優(yōu)化組件,組件完全兼容社區(qū),能通過全開放API與需求方現(xiàn)有的系統(tǒng)進(jìn)行融合,為企業(yè)節(jié)省投入費(fèi)用和人力成本。統(tǒng)一的安全管控能力也給客戶提供了完備的數(shù)據(jù)安全與審計能力,讓數(shù)智平臺一舉成為全國首批通過大數(shù)據(jù)基礎(chǔ)能力認(rèn)證的產(chǎn)品。同時,受益于數(shù)智平臺靈活的部署方式,企業(yè)可以選擇公有云、私有云或混合云模式來實(shí)現(xiàn)大數(shù)據(jù)基礎(chǔ)平臺架構(gòu)。
建立大數(shù)據(jù)合作 共同實(shí)現(xiàn)業(yè)務(wù)增長
在7月6日的大數(shù)據(jù)分論壇中,騰訊云副總裁蔣杰更在會上表示,為發(fā)展健康的大數(shù)據(jù)生態(tài),將邀請具有實(shí)力的合作伙伴加入,為用戶提供直接的落地解決方案,同時還將邀請能提供咨詢、運(yùn)維、設(shè)計等具體服務(wù)的合作伙伴加入整個生態(tài)圈的建設(shè)。
在大數(shù)據(jù)細(xì)分領(lǐng)域,騰訊不僅提供產(chǎn)業(yè)鏈的鏈接,更要做生態(tài)圈價值的放大器,蔣杰介紹,本次峰會發(fā)布的騰訊云數(shù)智方略大數(shù)據(jù)解決方案將聯(lián)合大數(shù)據(jù)解決方案供應(yīng)商、數(shù)據(jù)資源提供商以及數(shù)據(jù)服務(wù)提供商服務(wù)全行業(yè),為客戶帶來更多的業(yè)務(wù)效應(yīng),打造健康的大數(shù)據(jù)生態(tài)。
會上,蔣杰更發(fā)布了騰訊云在大數(shù)據(jù)領(lǐng)域的"榕樹計劃",針對旅游、公共安全、城市規(guī)劃、生命科學(xué)、金融五大重點(diǎn)行業(yè),優(yōu)先選擇50家大數(shù)據(jù)行業(yè)合作伙伴,聯(lián)合發(fā)布行業(yè)解決方案,并提供市場、銷售、培訓(xùn)、產(chǎn)品技術(shù)的相應(yīng)支持。同時將重點(diǎn)扶植100家大數(shù)據(jù)行業(yè)客戶,提供一對一專屬大數(shù)據(jù)架構(gòu)師支持服務(wù)及30分鐘快速響應(yīng)的技術(shù)支持綠色通道。
在會場中,騰訊云的產(chǎn)品專家還現(xiàn)場演示了如何使用騰訊云大數(shù)據(jù)數(shù)智產(chǎn)品套件搭建歐洲杯比賽的機(jī)器學(xué)習(xí)預(yù)測系統(tǒng)。機(jī)器學(xué)習(xí)是大數(shù)據(jù)的重要應(yīng)用領(lǐng)域之一。在傳統(tǒng)的解決方案中,用戶往往需要耗費(fèi)大量的時間,整合不同的信息數(shù)據(jù)源,搭建由不同組件構(gòu)成的復(fù)雜機(jī)器學(xué)習(xí)系統(tǒng)。通過現(xiàn)場15分鐘的簡短演示,騰訊云為我們呈現(xiàn)了一個完整的基于數(shù)智方略的大數(shù)據(jù)應(yīng)用構(gòu)建過程。用戶可以輕松通過圖形化界面,拖拽組件完成工作流設(shè)置,將不同的信息源(例如球隊歷史表現(xiàn)、隊員實(shí)力)等數(shù)據(jù)整合到一起,通過自定義算法,并進(jìn)行分布式大數(shù)據(jù)分析,最終通過智能的圖形化報表展示預(yù)測結(jié)果。借助數(shù)智方略大數(shù)據(jù)產(chǎn)品,企業(yè)可以快速搭建可靠、可運(yùn)維的大數(shù)據(jù)應(yīng)用,將精力集中在業(yè)務(wù)邏輯上。
大數(shù)據(jù)時代,數(shù)據(jù)已成為未來公司的核心競爭力。騰訊云作為騰訊的戰(zhàn)略級業(yè)務(wù),將為企業(yè)打造一站式數(shù)據(jù)分析與挖掘平臺,提供開放通用的數(shù)據(jù)應(yīng)用及分析服務(wù),構(gòu)建云上大數(shù)據(jù)生態(tài)。