大數(shù)據(jù)區(qū)塊鏈?zhǔn)鞘裁矗筷P(guān)系如何？
2個回答
吳曉丹Phi5星評價
2020-09-11 10:13:14
區(qū)塊鏈和大數(shù)據(jù)兩者屬于不同的時代，區(qū)塊鏈?zhǔn)抢^大數(shù)據(jù)之后的又一次技術(shù)革命。大數(shù)據(jù)通常用來描述數(shù)據(jù)集足夠大，足夠復(fù)雜，以致很難用傳統(tǒng)的方式來處理。而區(qū)塊鏈能承載的信息數(shù)據(jù)是有限的，離大數(shù)據(jù)”標(biāo)準(zhǔn)還差得很遠(yuǎn)。
大數(shù)據(jù)，需要應(yīng)對海量化和快增長的存儲，這要求底層硬件架構(gòu)和文件系統(tǒng)在性價比上要大大高于傳統(tǒng)技術(shù)，能夠彈性擴張存儲容量。谷歌的GFS和Hadoop的HDFS奠定了大數(shù)據(jù)存儲技術(shù)的基礎(chǔ)。另外，大數(shù)據(jù)對存儲技術(shù)提出的另一個挑戰(zhàn)是多種數(shù)據(jù)格式的適應(yīng)能力，因此現(xiàn)在大數(shù)據(jù)底層的存儲層不只是HDFS，還有HBase和Kudu等存儲架構(gòu)。
區(qū)塊鏈，是比特幣的底層技術(shù)架構(gòu)，它在本質(zhì)上是一種去中心化的分布式賬本。區(qū)塊鏈技術(shù)作為一種持續(xù)增長的、按序整理成區(qū)塊的鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)，通過網(wǎng)絡(luò)中多個節(jié)點共同參與數(shù)據(jù)的計算和記錄，并且互相驗證其信息的有效性。從這一點來說，區(qū)塊鏈技術(shù)也是一種特定的數(shù)據(jù)持久化技術(shù)。
區(qū)塊鏈?zhǔn)且环N不可篡改的、全歷史的分布式數(shù)據(jù)庫存儲技術(shù)，巨大的區(qū)塊鏈數(shù)據(jù)集合包含著每一筆交易的全部歷史，隨著區(qū)塊鏈技術(shù)的應(yīng)用迅速發(fā)展，數(shù)據(jù)規(guī)模會越來越大，不同業(yè)務(wù)場景區(qū)塊鏈的數(shù)據(jù)融合會進一步擴大數(shù)據(jù)規(guī)模和豐富性。
熊貓不喝酒8星評價
2020-09-07 10:14:39
區(qū)塊鏈和大數(shù)據(jù)是兩個在過去幾年中都得到飛速發(fā)展的技術(shù)。2016年第46屆世界經(jīng)濟論壇達沃斯年會論壇的主題為“掌控第四次工業(yè)革命”，包括人工智能、無人駕駛、區(qū)塊鏈、量子計算等在內(nèi)的科技前沿領(lǐng)域在會議中被反復(fù)提及。
區(qū)塊鏈的大數(shù)據(jù)化
在今天，區(qū)塊鏈能夠承載的信息數(shù)量是有限的，離我們要用“大數(shù)據(jù)”的標(biāo)準(zhǔn)來衡量的地步還差得很遠(yuǎn)，不過，干里之行，始于足下，我們要一步步地來。如果要讓區(qū)塊鏈承載大數(shù)據(jù)，那么目前我們所看到的這些區(qū)塊鏈系統(tǒng)都還不具備這個能力。
下面是區(qū)塊鏈系統(tǒng)的三個和大數(shù)據(jù)有矛盾，需要改進的特點：分布式的、有隱私的、安全的。
區(qū)塊鏈系統(tǒng)是分布式的，而大數(shù)據(jù)講究的是可規(guī)?；⒖闪炕臄?shù)據(jù);區(qū)塊鏈系統(tǒng)是匿名的、有隱私的，而大數(shù)據(jù)在意的是個性化;區(qū)塊鏈系統(tǒng)是安全的，信息是相對獨立的，而大數(shù)據(jù)在意的是信息的整合分析。
區(qū)塊鏈系統(tǒng)本身就是一個數(shù)據(jù)庫，而我們所說的大數(shù)據(jù)指的是對數(shù)據(jù)的深度分析和挖掘，也就是說，數(shù)據(jù)分析和數(shù)據(jù)挖掘需要構(gòu)建在區(qū)塊鏈系統(tǒng)之上，把數(shù)據(jù)的價值發(fā)揮出來。如果要做到以數(shù)據(jù)為基礎(chǔ)來做決策，那么大數(shù)據(jù)的應(yīng)用是區(qū)塊鏈系統(tǒng)必須要完成的個步驟。
大數(shù)據(jù)領(lǐng)域的同學(xué)們早就關(guān)注了區(qū)塊鏈系統(tǒng)的發(fā)展。R語言是大數(shù)據(jù)領(lǐng)域中一種重要的編程語言。早在2014年9月， Jan gorecki就編寫了一個可以用來分析比特幣區(qū)塊鏈的程序庫, Bitcoin。在htts:/cran.r- project. org/web/ packages/Bitcoin中可以查看這個庫的細(xì)節(jié)，研究大數(shù)據(jù)的同學(xué)可以引用這個庫來對比特幣區(qū)塊鏈中的交易數(shù)據(jù)歷史記錄進行分析。
從區(qū)塊鏈技術(shù)生態(tài)圈示意圖中我們可以看到，如果我們想要把區(qū)塊鏈上的大數(shù)據(jù)做好，則需要的不只是對區(qū)塊鏈平臺技術(shù)的改進，還需要在平臺之上的大數(shù)據(jù)公司為區(qū)塊鏈系統(tǒng)做數(shù)據(jù)分析和數(shù)據(jù)挖掘，以及提供最好的商業(yè)智能解決方案。
大數(shù)據(jù)的區(qū)塊鏈化
大數(shù)據(jù)是一個通用的詞，我們通常用它來描述數(shù)據(jù)集足夠大，足夠復(fù)雜，以致我們大數(shù)據(jù)的區(qū)塊鏈化Oracle甲骨文的副總裁 Neil Mendelson曾經(jīng)對于大數(shù)據(jù)的安全性表示過深切的關(guān)很難用傳統(tǒng)的方式來做處理。他認(rèn)為大家都在拼命提高數(shù)據(jù)存儲的量和數(shù)據(jù)處理的能力，卻鮮有人關(guān)注大數(shù)據(jù)本身的安全性。
區(qū)塊鏈?zhǔn)且粋€誕生不久的分布式數(shù)據(jù)存儲系統(tǒng)。它不同于以往數(shù)據(jù)存儲系統(tǒng)的一個有趣特點在于，你無法對系統(tǒng)上的數(shù)據(jù)做隨意的修改，而這個特點是之前其他數(shù)據(jù)系統(tǒng)所不具有的當(dāng)區(qū)塊鏈技術(shù)出現(xiàn)之后，筆者就在想這個問題：能否在大數(shù)據(jù)的系統(tǒng)上添加“區(qū)塊鏈”的原理，從而使得原有大數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)不能被隨意添加、修改和刪除呢?
如果我們考慮的是數(shù)據(jù)的全部內(nèi)容，那么把所有的數(shù)據(jù)都放到區(qū)塊鏈系統(tǒng)上是不現(xiàn)實的，也是不可能做到的。筆者認(rèn)為這里可能有兩種做法：
對于存放進來的歷史數(shù)據(jù)源，因為它們是不能被修改的，我們可以對大塊的數(shù)據(jù)做Hash處理，并加上時間戳，存進區(qū)塊鏈中。在未來某一時刻，當(dāng)我們需要驗證原始數(shù)據(jù)的真實性時，可以對對應(yīng)的數(shù)據(jù)做同樣的Hash處理，如果得出的答案是相同的，則說明數(shù)據(jù)是沒有被篡改過的。
只對匯總數(shù)據(jù)和結(jié)果做處理。這樣，我們就只需要處理增量數(shù)據(jù)，那么應(yīng)對的數(shù)據(jù)量級和吞吐量級可能是今天的區(qū)塊鏈或者改善過的系統(tǒng)可以處理的。