10倍速大數(shù)據(jù)解決方案
恒揚(yáng)數(shù)據(jù)10倍速大數(shù)據(jù)解決方案集中打造從芯片處理設(shè)計(jì)、硬件系統(tǒng)、軟件大數(shù)據(jù)分析平臺(tái)、算法處理、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)、數(shù)據(jù)應(yīng)用的整體系統(tǒng)架構(gòu),該系統(tǒng)和解決方案具備芯片級(jí)、設(shè)備級(jí)、機(jī)器學(xué)習(xí)算法級(jí)、系統(tǒng)級(jí)、數(shù)據(jù)分析應(yīng)用等整合能力,突破摩爾定律極限,通過異構(gòu)計(jì)算處理實(shí)現(xiàn)10倍以上加速。
方案特點(diǎn)
1.芯片級(jí)加速,10倍增速
2.SPARK架構(gòu),海量處理能力
3.上層提供豐富的應(yīng)用模塊
目前,國(guó)內(nèi)的數(shù)據(jù)帶寬已經(jīng)達(dá)到2000T,并且每年以40%的速度迅猛增長(zhǎng),即時(shí)通訊、網(wǎng)上支付、視頻點(diǎn)播等各種應(yīng)用也是層出不窮,不斷地融入和改變著人們的生活和工作方式。面對(duì)這種幾何級(jí)爆炸式的增長(zhǎng),現(xiàn)有大數(shù)據(jù)解決方案通常是基于Hadoop平臺(tái)結(jié)合大量服務(wù)器堆疊的方式實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和應(yīng)用,但是通過一段時(shí)間的應(yīng)用,越來越多的客戶發(fā)現(xiàn)雖然數(shù)據(jù)中心越建越多,存儲(chǔ)數(shù)據(jù)量越來越大,但想要利用這些數(shù)據(jù)卻困難重重,響應(yīng)速度極為緩慢,通常是幾十分鐘級(jí)別甚至是小時(shí)級(jí)別。舉個(gè)簡(jiǎn)單例子,某企業(yè)用戶保存的數(shù)據(jù)量達(dá)到了60天4000T的規(guī)模,在進(jìn)行大數(shù)據(jù)分析、應(yīng)用之前,首先需要對(duì)這些數(shù)據(jù)進(jìn)行解壓、轉(zhuǎn)換、解密等預(yù)處理,但這些預(yù)處理動(dòng)作往往要花上幾個(gè)小時(shí)的時(shí)間,為分析用戶的應(yīng)用軌跡、路徑或者分析位置范圍,也需要1個(gè)多小時(shí)才能得出結(jié)果,這樣的響應(yīng)速度已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足在公共安全、智慧城市等領(lǐng)域大數(shù)據(jù)實(shí)時(shí)響應(yīng)需求。
恒揚(yáng)數(shù)據(jù)結(jié)合業(yè)界發(fā)展以及多年在大數(shù)據(jù)領(lǐng)域的深厚積累,逐步將硬件平臺(tái)與數(shù)據(jù)采集分析、應(yīng)用加速、大數(shù)據(jù)平臺(tái)進(jìn)行整合,構(gòu)建了恒揚(yáng)10倍速大數(shù)據(jù)解決方案:
該解決方案從下到上分為三個(gè)層次,分別是數(shù)據(jù)采集層、數(shù)據(jù)分析層、數(shù)據(jù)應(yīng)用層:
1、 數(shù)據(jù)采集層:也叫基礎(chǔ)架構(gòu)服務(wù)層,進(jìn)行數(shù)據(jù)采集分析,接入方式豐富,支持移動(dòng)、固網(wǎng)、專網(wǎng)等各類接口數(shù)據(jù)。
2、 數(shù)據(jù)分析層:也叫平臺(tái)服務(wù)層,包含對(duì)用戶位置、行為、偏好、畫像等進(jìn)行基礎(chǔ)特征分析的模塊,通過與機(jī)器學(xué)習(xí)、圖像處理、加解密等高效算法相結(jié)合的方式,形成恒揚(yáng)獨(dú)有的高速大數(shù)據(jù)分析能力。
3、 數(shù)據(jù)應(yīng)用層:也叫軟件/數(shù)據(jù)服務(wù)層,提供豐富的位置業(yè)務(wù)、精準(zhǔn)營(yíng)銷、定位追蹤等眾多應(yīng)用模塊。
為什么可以10倍速?
摩爾定律的失效為異構(gòu)計(jì)算的發(fā)展帶來了前所未有的發(fā)展機(jī)遇,2015年Intel以167億美元收購(gòu)FPGA生產(chǎn)商Altera,目的是整合CPU技術(shù)與FPGA技術(shù),通過異構(gòu)計(jì)算來提升處理能力,由此宣告了異構(gòu)計(jì)算時(shí)代的到來。
恒揚(yáng)捕捉到了這個(gè)趨勢(shì)和機(jī)會(huì),發(fā)揮自身長(zhǎng)處,把異構(gòu)加速應(yīng)用到大數(shù)據(jù)處理中,針對(duì)數(shù)據(jù)處理領(lǐng)域最消耗CPU資源的算法進(jìn)行芯片化處理,并且封裝為平臺(tái),與大數(shù)據(jù)分析應(yīng)用平臺(tái)有效整合,極大提升了大數(shù)據(jù)分析的性能。