hadoop與云計算大數(shù)據(jù)

正是由于大數(shù)據(jù)對系統(tǒng)提出了很多極限的要求，不論是存儲、傳輸還是計算，現(xiàn)有計算技術(shù)難以滿足大數(shù)據(jù)的需求，因此整個IT架構(gòu)的革命性重構(gòu)勢在必行，存儲能力的增長遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)的增長，設(shè)計最合理的分層存儲架構(gòu)已成為信息系統(tǒng)的關(guān)鍵。分布式存儲架構(gòu)不僅需要scale up式的可擴(kuò)展性，也需要scale out式的可擴(kuò)展性，因此大數(shù)據(jù)處理離不開云計算技術(shù)，云計算可為大數(shù)據(jù)提供彈性可擴(kuò)展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務(wù)的高效模式，大數(shù)據(jù)則為云計算提供了新的商業(yè)價值，大數(shù)據(jù)技術(shù)與云計算技術(shù)必將有更完美的結(jié)合。

我們知道云計算的關(guān)鍵技術(shù)包括分布式并行計算、分布式存儲以及分布式數(shù)據(jù)管理技術(shù)，而Hadoop就是一個實現(xiàn)了Google云計算系統(tǒng)的開源平臺，包括并行計算模型MapReduce、分布式文件系統(tǒng)HDFS，以及分布式數(shù)據(jù)庫Hbase，同時Hadoop的相關(guān)項目也很豐富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，這些項目都使得Hadoop成為一個很大很完備的生態(tài)鏈系統(tǒng)。目前使用Hadoop技術(shù)實現(xiàn)的云計算平臺包括IBM的藍(lán)云，雅虎、英特爾的“云計劃”，百度的云計算基礎(chǔ)架構(gòu)，阿里巴巴云計算平臺，以及中國移動的BigCloud大云平臺。

總而言之，用一句話概括就是云計算因大數(shù)據(jù)問題而生，大數(shù)據(jù)驅(qū)動了云計算的發(fā)展，而Hadoop在大數(shù)據(jù)和云計算之間建起了一座堅實可靠的橋梁。