大數(shù)據(jù)正在如何改變數(shù)據(jù)庫格局？

來源：塔塔 更新時間：2015-11-29

更多

提及“數(shù)據(jù)庫”，大多數(shù)人會想到擁有30多年風(fēng)光歷史的RDBMS。然而，這可能很快就會發(fā)生改變。

一大批新的競爭者都在爭奪這一塊重要市場，他們的方法是多種多樣的，卻都有一個共同點(diǎn)：極其專注于大數(shù)據(jù)。

推動新的數(shù)據(jù)迭代衍生品大部分都是基于底層大數(shù)據(jù)的3V特征：數(shù)量，速度和種類。

本質(zhì)上來講，今天的數(shù)據(jù)比以往任何時候都要傳輸更快，體積更大， 同時更加多樣化。這是一個新的數(shù)據(jù)世界，換言之，傳統(tǒng)的關(guān)系數(shù)據(jù)庫管理系統(tǒng)并沒有真正為此而設(shè)計。

“基本上，他們不能擴(kuò)展到大量，或快速，或不同種類的數(shù)據(jù)?！币晃粩?shù)據(jù)分析、數(shù)據(jù)科學(xué)咨詢機(jī)構(gòu)的總裁格雷戈里認(rèn)為。

這就是哈特漢克斯最近發(fā)現(xiàn)。截至到2013年左右，營銷服務(wù)機(jī)構(gòu)使用不同的數(shù)據(jù)庫，包括Microsoft SQL Server和Oracle真正應(yīng)用集群（RAC）的組合。

“我們注意到，數(shù)據(jù)隨著時間的增長，我們的系統(tǒng)不能足夠快速的處理信息”一位科技發(fā)展公司的負(fù)責(zé)人肖恩說到。“如果你不斷地購買服務(wù)器，你只能繼續(xù)走到這幺遠(yuǎn)，我們希望確保自己有向外擴(kuò)展的平臺?！?

最小化中斷是一個重要的目標(biāo)，Iannuzzi說到，因此“我們不能只是切換到Hadoop?！?

相反，卻選擇了拼接機(jī)器，基本上把完整的SQL數(shù)據(jù)庫放到目前流行的Hadoop大數(shù)據(jù)平臺之上，并允許現(xiàn)有的應(yīng)用程序能夠與它連接，他認(rèn)為。

哈特漢克斯現(xiàn)在是在執(zhí)行的初期階段，但它已經(jīng)看到了好處，Iannuzzi說，包括提高容錯性，高可用性，冗余性，穩(wěn)定性和“性能全面提升”。

一種完美風(fēng)暴推動了新的數(shù)據(jù)庫技術(shù)的出現(xiàn)，IDC公司研究副總裁Carl Olofson說到。

首先，“我們正在使用的設(shè)備與過去對比，處理大數(shù)據(jù)集更加快速，靈活性更強(qiáng)”O(jiān)lofson說。

在過去，這樣的集合“幾乎必須放在旋轉(zhuǎn)磁盤上”，而且數(shù)據(jù)必須以特定的方式來結(jié)構(gòu)化，他解釋說。

現(xiàn)在有64位尋址，使得能夠設(shè)置更大的存儲空間以及更快的網(wǎng)絡(luò)，并能夠串聯(lián)多臺計算器充當(dāng)單個大型數(shù)據(jù)庫。

“這些東西在不可用之前開辟了可能性”O(jiān)lofson說。

與此同時，工作負(fù)載也發(fā)生了變化。10年前的網(wǎng)站主要是靜態(tài)的，例如，今天我們享受到的網(wǎng)絡(luò)服務(wù)環(huán)境和互動式購物體驗。反過來，需要新的可擴(kuò)展性，他說。

公司正在利用新的方式來使用數(shù)據(jù)。雖然傳統(tǒng)上我們大部分的精力都放在了對事務(wù)處理 – 銷售總額的記錄，比如，數(shù)據(jù)存儲在可以用來分析的地方 – 現(xiàn)在我們做的更多。

應(yīng)用狀態(tài)管理就是一個例子

假設(shè)你正在玩一個網(wǎng)絡(luò)游戲。該技術(shù)會記錄你與系統(tǒng)的每個會話并連接在一起，以呈現(xiàn)出連續(xù)的體驗，即使你切換設(shè)備或各種移動，不同的服務(wù)器都會進(jìn)行處理，Olofson解釋說。

數(shù)據(jù)必須保持連續(xù)性，這樣企業(yè)才可以分析問題，例如“為什么從來沒有人穿過水晶廳”。在網(wǎng)絡(luò)購物方面，為什么對方點(diǎn)擊選擇顏色后大多數(shù)人不會購買某個特殊品牌的鞋子。

“以前，我們并沒試圖解決這些問題，或者我們試圖扔進(jìn)盒子也不太合適”O(jiān)lofson說。

Hadoop是當(dāng)今新的競爭者中一個重量級的產(chǎn)品。雖然他本身不是一個數(shù)據(jù)庫，它的成長為企業(yè)解決大數(shù)據(jù)扮演關(guān)鍵角色。從本質(zhì)上講，Hadoop是一個運(yùn)行高度并行應(yīng)用程序的數(shù)據(jù)中心平臺，它有很強(qiáng)的可擴(kuò)展性。

通過允許企業(yè)擴(kuò)展“走出去”的分布方式，而不是通過額外昂貴的服務(wù)器“向上”擴(kuò)展，“它使得我們可以低成本地把一個大的數(shù)據(jù)集匯總，然后進(jìn)行分析研究成果”O(jiān)lofson說。

其他新的RDBMS的替代品如NoSQL家族產(chǎn)品，其中包括MongoDB -目前第四大流行數(shù)據(jù)庫管理系統(tǒng)，比照DB引擎和MarkLogic非結(jié)構(gòu)化數(shù)據(jù)存儲服務(wù)。

“關(guān)系型數(shù)據(jù)庫一直是一項偉大的技術(shù)持續(xù)了30年，但它是建立在不同的時代有不同的技術(shù)限制和不同的市場需求，”MarkLogic的執(zhí)行副總裁喬·產(chǎn)品帕卡說。

大數(shù)據(jù)是不均勻的，他說。許多傳統(tǒng)的技術(shù)，這仍然是一個基本要求。

“想象一下，你的筆記本電腦上唯一的程序是Excel”帕卡說?！霸O(shè)想一下，你要和你的朋友利用網(wǎng)絡(luò)保持聯(lián)系 – 或者你正在寫一個合約卻不適合放進(jìn)行和列中?！?

拼接數(shù)據(jù)集是特別棘手的

“關(guān)系型，你把所有這些數(shù)據(jù)集中在一起前，必須先決定如何去組織所有的列，”他補(bǔ)充說?！拔覀兛梢圆扇∪魏涡问交蚪Y(jié)構(gòu)，并立即開始使用它?！?

NoSQL數(shù)據(jù)庫沒有使用關(guān)系數(shù)據(jù)模型，并且它們通常不具有SQL接口。盡管許多的NoSQL存儲折中支持速度等其他因素，MarkLogic為企業(yè)定身量做，提供更為周全的選擇。

NoSQL儲存市場有相當(dāng)大的增長，據(jù)市場研究媒體，不是每個人都認(rèn)為這是正確的做法-至少，不是在所有情況下。

NoSQL系統(tǒng)“解決了許多問題，他們橫向擴(kuò)展架構(gòu)，但他們卻拋出了SQL，”一位CEO-Monte Zweben說。這反過來，又為現(xiàn)有的代碼構(gòu)成問題。

Splice Machine是一家基于Hadoop的實時大數(shù)據(jù)技術(shù)公司，支持SQL事務(wù)處理，并針對OLAP 和OLAP應(yīng)用進(jìn)行實時優(yōu)化處理。它被稱為替代NewSQL的一個例子，另一類預(yù)期會在未來幾年強(qiáng)勁增長。

“我們的理念是保持SQL，但橫向擴(kuò)展架構(gòu)”Zweben說。“這是新事物，但我們正在努力試圖使它讓人們不必重寫自己的東西?！?

深度信息科學(xué)選擇并堅持使用SQL，但需要另一種方法。

公司的DeepSQL數(shù)據(jù)庫使用相同的應(yīng)用程序編程接口（API）和關(guān)系模型如MySQL，意味著沒有應(yīng)用變化的需求而使用它。但它以不同的方式處理數(shù)據(jù)，使用機(jī)器學(xué)習(xí)。

DeepSQL可以自動適應(yīng)使用任何工作負(fù)載組合的物理，虛擬或云主機(jī)，該公司表示，從而省去了手動優(yōu)化數(shù)據(jù)庫的需要。

該公司的首席戰(zhàn)略官Chad Jones表示，在業(yè)績大幅增加的同時，也有能力將“規(guī)?；睘樯锨|的行。

一種來自Algebraix數(shù)據(jù)完全不同的方式，表示已經(jīng)開發(fā)了數(shù)據(jù)的第一個真正的數(shù)學(xué)化基礎(chǔ)。

而計算器硬件需在數(shù)學(xué)建模前建成，這不是在軟件的情況下，Algebraix首席執(zhí)行官查爾斯銀說。

“軟件，尤其是數(shù)據(jù)，從未建立在數(shù)學(xué)的基礎(chǔ)上”他說，“軟件在很大程度上是語言學(xué)的問題?！?

經(jīng)過五年的研發(fā)，Algebraix創(chuàng)造了所謂的“數(shù)據(jù)的代數(shù)”集合論，“數(shù)據(jù)的通用語言”Silver說。

“大數(shù)據(jù)骯臟的小秘密是數(shù)據(jù)仍然放在不與其他數(shù)據(jù)小倉融合的地方”Silver解釋說。“我們已經(jīng)證明，它都可以用數(shù)學(xué)方法來表示所有的集成?！?

配備一個基礎(chǔ)的平臺，Algebraix現(xiàn)在為企業(yè)提供業(yè)務(wù)分析作為一種服務(wù)。改進(jìn)的性能，容量和速度都符合預(yù)期的承諾。

時間會告訴我們哪些新的競爭者取得成功，哪些沒有，但在此期間，長期的領(lǐng)導(dǎo)者如Oracle不會完全停滯不前。

“軟件是一個非常時尚行業(yè)”安德魯·門德爾松，甲骨文執(zhí)行副總裁數(shù)據(jù)庫服務(wù)器技術(shù)說?！笆虑榻?jīng)常去從流行到不受歡迎，回再次到流行。”

今天的許多創(chuàng)業(yè)公司“帶回炒冷飯少許拋光或旋轉(zhuǎn)就可以了”他說。“這是一個新一代孩子走出學(xué)校和重塑的東西?！?

SQL是“唯一的語言，可以讓業(yè)務(wù)分析師提出問題并得到答案，他們沒有程序員，”門德爾松說?！按笫袌鰧⑹冀K是關(guān)系型?！?

至于新的數(shù)據(jù)類型，關(guān)系型數(shù)據(jù)庫產(chǎn)品早在上世紀(jì)90年代發(fā)展為支持非結(jié)構(gòu)化數(shù)據(jù)，他說。在2013年，甲骨文的同名數(shù)據(jù)庫版本12C增加了支持JSON（JavaScript對象符號）。

與其說需要一個不同類型的數(shù)據(jù)庫，它更是一種商業(yè)模式的轉(zhuǎn)變，門德爾松說。

“云，若是每個人都去，這將破壞這些小家伙”他說?！按蠹叶荚谠粕狭耍栽谶@里有沒有地方來放這些小家伙？

“他們會去亞馬遜的云與亞馬遜競爭？” 他補(bǔ)充說?！斑@將是困難的?！?

甲骨文有“最廣泛的云服務(wù)”門德爾松說?！霸诂F(xiàn)在的位置，我們感覺良好。”

Gartner公司的研究主任里克·格林沃爾德，傾向于采取了類似的觀點(diǎn)。

“對比傳統(tǒng)強(qiáng)大的RDBMS，新的替代品并非功能齊全”格林沃爾德說?！耙恍┦褂冒咐梢耘c新的競爭者來解決，但不是全部，并非一種技術(shù)”。

展望未來，格林沃爾德預(yù)計，傳統(tǒng)的RDBMS供貨商感到價格壓力越來越大，并為他們的產(chǎn)品增加新的功能?！坝行┤藭杂傻貛硇碌母偁幷哌M(jìn)入管理自己的整個數(shù)據(jù)生態(tài)系統(tǒng)”他說。

至于新的產(chǎn)品，有幾個會生存下來，他預(yù)測“許多人將被收購或資金耗盡”。

今天的新技術(shù)并不代表傳統(tǒng)的RDBMS的結(jié)束，“正在迅速發(fā)展自己”IDC的Olofson。贊成這種說法，“RDBMS是需要明確定義的數(shù)據(jù) – 總是會有這樣一個角色?！?

但也會有一些新的競爭者的角色，他說，特別是物聯(lián)網(wǎng)技術(shù)和新興技術(shù)如非易失性內(nèi)存芯片模塊（NVDIMM）占據(jù)上風(fēng)。

會有許多問題需要大量解決方案，Olofson說。“也會伴隨有很多有趣的東西”