【溫馨提醒】本文部分內(nèi)容源于網(wǎng)絡(luò)收集整理，僅供參考！如需了解“為什么要使用分布式存儲(chǔ)服務(wù)器存儲(chǔ)及計(jì)算其有哪些優(yōu)點(diǎn)”等有關(guān)服務(wù)器、云主機(jī)租用、托管、配置、價(jià)格問(wèn)題，請(qǐng)?jiān)诰€咨詢YINGSOO客服，獲取最新優(yōu)惠！

　　【國(guó)外主機(jī)】臺(tái)灣400M服務(wù)器 | 美國(guó)高防服務(wù)器 | 美國(guó)CN2服務(wù)器

　　【推薦文章】美國(guó)VPS服務(wù)器好用嗎?與云主機(jī)相比該如何選擇

　　在這個(gè)數(shù)據(jù)爆炸的時(shí)代，產(chǎn)生的數(shù)據(jù)量不斷增加。從GB、TB、PB和ZB中挖掘數(shù)據(jù)的價(jià)值也是企業(yè)追求的最終目標(biāo)。但是，如果你想挖掘海量數(shù)據(jù)，首先要考慮的是海量數(shù)據(jù)的存儲(chǔ)及計(jì)算，那么很多企業(yè)都是選擇用分布式存儲(chǔ)服務(wù)器來(lái)進(jìn)行的。

　　說(shuō)到數(shù)據(jù)存儲(chǔ)，磁盤(pán)上讀寫(xiě)數(shù)據(jù)的速度是個(gè)問(wèn)題，早在20世紀(jì)90年代初，硬盤(pán)的平均存儲(chǔ)容量約為1克，讀取速度約為4.4 MB/s。

　　讀取一個(gè)硬盤(pán)大約需要5分鐘，但現(xiàn)在磁盤(pán)的容量約為1 TB，這比這個(gè)還要多，差不多大一千倍。

　　分布式存儲(chǔ)服務(wù)器

　　但是硬盤(pán)的讀取速度是每秒100兆字節(jié)，讀硬盤(pán)需要2.5小時(shí)。因此，如果它基于太字節(jié)的數(shù)據(jù)分析，從磁盤(pán)讀取數(shù)據(jù)需要幾天時(shí)間，更不用說(shuō)計(jì)算和分析了。

　　那么如何處理大數(shù)據(jù)的存儲(chǔ)、計(jì)算和分析呢？減少數(shù)據(jù)讀寫(xiě)時(shí)間的一個(gè)非常簡(jiǎn)單的方法是同時(shí)從多個(gè)硬盤(pán)上讀寫(xiě)數(shù)據(jù)。

　　例如，如果我們有100個(gè)硬盤(pán)，每個(gè)硬盤(pán)都能容納1%的數(shù)據(jù)并并行讀取，我們可以在不到2分鐘的時(shí)間內(nèi)完成2.5小時(shí)的數(shù)據(jù)讀寫(xiě)，這是大數(shù)據(jù)的分布式存儲(chǔ)模型。

　　當(dāng)然，分布式存儲(chǔ)服務(wù)器的實(shí)現(xiàn)還有很多問(wèn)題需要解決，比如硬件故障。當(dāng)多個(gè)主機(jī)用于分布式存儲(chǔ)時(shí)，如果主機(jī)發(fā)生故障，則會(huì)發(fā)生數(shù)據(jù)丟失。

　　分布式存儲(chǔ)服務(wù)器

　　因此，有一種復(fù)制機(jī)制：數(shù)據(jù)的副本存儲(chǔ)在系統(tǒng)中。在系統(tǒng)發(fā)生故障時(shí)，可以用另一個(gè)副本替換它（著名的團(tuán)隊(duì)冗余磁盤(pán)陣列就是基于此原理）。

　　其次，如何分割文件是未來(lái)需要考慮的一個(gè)大問(wèn)題。例如，我們?cè)贖adoop中使用HDFS時(shí)遇到了這個(gè)問(wèn)題，但是框架為我們提供了解決這些問(wèn)題的方法。

　　開(kāi)發(fā)人員在開(kāi)發(fā)過(guò)程中不需要考慮這些問(wèn)題。類(lèi)似地，如果我們有一個(gè)10tb的文件，我們需要計(jì)算一個(gè)關(guān)鍵字的出現(xiàn)次數(shù)。

　　遍歷整個(gè)文件并計(jì)算關(guān)鍵字出現(xiàn)次數(shù)的傳統(tǒng)方法效率特別低。將來(lái)，我們將能夠在不同的地圖服務(wù)器上使用分布式存儲(chǔ)。

　　換句話說(shuō)，如果數(shù)據(jù)分布在100臺(tái)服務(wù)器上，關(guān)鍵字統(tǒng)計(jì)的效率可以提高幾十倍，這時(shí)選擇分布式存儲(chǔ)服務(wù)器就再好不過(guò)了

　　熱門(mén)產(chǎn)品：美國(guó)服務(wù)器租用去首頁(yè)參與活動(dòng)！YINGSOO最新推出Bzz蜂群挖礦服務(wù)器、Bzz蜂群母雞服務(wù)器、Swarm Bzz挖礦教程【圖文教程】、Swarm Bzz挖礦教程【視頻教程】,《swarm bzz挖礦資料大全》,Bzz節(jié)點(diǎn)租用請(qǐng)咨詢YINGSOO客服！

版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。