google云計算的三大核心技術

loostudy 發(fā)布于2019-04-25 16:50 / 718人閱讀

摘要：定位于由廉價服務器構成的超大集群，假定單個服務器存儲是不可靠地，易失的，因此強調(diào)冗余和備份。并行計算的核心技術框架。一個典型案例編寫一個應用對圖書館過去年的文獻，統(tǒng)計較大詞頻。相同屬性的列組成列族。

- GFS: 分布式文件系統(tǒng)。適用于TB級超大文件存儲。master節(jié)點是文件管理的大腦，負責存儲和管理文件與物理塊的映射，維護metafile，處理臨時文件，調(diào)度chunk server等。chunk server是真正存儲物理文件塊。GFS定位于由廉價服務器構成的超大集群，假定單個服務器存儲是不可靠地，易失的，因此GFS強調(diào)冗余和備份。每份文件塊會同時存儲于多個不同的chunk server。上層客戶請求文件時，首先與master節(jié)點交互，獲取相關信息，隨后client將直接與相應的某個chunk server通信并獲取文件。在開源產(chǎn)品中類似實現(xiàn)有HDFS。

- MapReduce：并行計算的核心技術框架。使得上層應用軟件可以專注于業(yè)務邏輯實現(xiàn)，同時利用到分布式并行計算的好處。Map接受和輸出屬性-值對，使得各節(jié)點工作進程可以并行計算它們的屬性-值，并輸出中間結(jié)果；Reduce化簡，輸入Map處理的中間結(jié)果，進行合并運算，最終輸出結(jié)果文件，返回給上層應用。一個典型案例：編寫一個應用對圖書館過去50年的文獻，統(tǒng)計較大詞頻。MapReduce可以做的是，自動分割輸入文件集合（任務分解），自動在多節(jié)點上克隆運算進程（map進程組和reduce進程組），并分別指派任務，最終映射和化簡都完畢后，將處理結(jié)果文件返回給原始客戶應用 --- 對上層應用很好的屏蔽了并行計算。在開源實現(xiàn)中，對應有Hadoop。

- BigTable：分布式的、稀疏的、多維的、易于擴展的、適用于海量數(shù)據(jù)的數(shù)據(jù)庫。他是非關系型數(shù)據(jù)庫，盡管也沿用如表、行等傳統(tǒng)概念。他的實質(zhì)是key-value記錄的集合。多維是說key有多個：行、列以及時間。稀疏是因為不同行的列可以完全不同。表、行可以自動分裂從而擴展。相同屬性的列組成列族。相比而言，BigTable適合海量存儲和非結(jié)構化數(shù)據(jù)（比如網(wǎng)絡流量、多媒體、網(wǎng)頁、日志等），操作大多數(shù)為讀取和查詢。而傳統(tǒng)關系型數(shù)據(jù)庫則易于實現(xiàn)復雜的結(jié)構化DML操作。典型案例是網(wǎng)頁的存儲：以反向URL為key，網(wǎng)頁內(nèi)容以及引用為列，同時網(wǎng)頁更新的時間標記作為另一個鍵。開源實現(xiàn)類似的有HBase，HyperTable等。

云服務器 GPU云服務器云計算的核心技術云計算核心技術剖析 google云計算技術混合云的核心技術

文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://hztianpu.com/yun/3632.html

云計算三大主流陣營的競爭與合作

摘要：目前，云計算產(chǎn)業(yè)初步形成了三大主流競爭陣營，即互聯(lián)網(wǎng)陣營陣營和電信運營商陣營。由于云計算的市場大部分被互聯(lián)網(wǎng)陣營中的亞馬遜占據(jù)著，為了從其手中搶奪份額，作為服務商的攜手谷歌開展云計算方面的技術研究與業(yè)務合作。目前，云計算產(chǎn)業(yè)初步形成了三大主流競爭陣營，即互聯(lián)網(wǎng)陣營、IT陣營和電信運營商陣營。在這三大陣營中，互聯(lián)網(wǎng)陣營主要面向公有云市場，為中小企業(yè)和獨立開發(fā)者提供公有云服務。IT陣營主要面向...

趙連江 2019-04-25 17:38 評論0 收藏0
中外對比：國內(nèi)云計算平臺的三大特點

摘要：對于國內(nèi)云計算平臺的發(fā)展，除非政策改變，否則國外云平臺在國內(nèi)完全沒有競爭力。對比國內(nèi)和國外的云計算平臺服務的差異，百體國際健康機構李博認為目前云計算是用戶需求不斷的發(fā)展自然產(chǎn)生的服務模式，同時也是綠色IT的有利支撐。云計算的發(fā)展和數(shù)據(jù)的大爆炸有著必然的聯(lián)系，大數(shù)據(jù)時代的到來使得企業(yè)對于IT設施的需求量加大，于此同時對于企業(yè)IT設施的采購成本以及生態(tài)環(huán)境提出了更高的要求。　　云計算廣義上...

Dean 2019-04-25 17:28 評論0 收藏0
AWS領跑云市場開源數(shù)據(jù)庫各顯神通

摘要：領跑云市場開源數(shù)據(jù)庫各顯神通對于來說的第二件喜事則是，發(fā)布的的關于公有云方面的調(diào)查顯示，獲得了的受調(diào)查者使用率，遠遠甩開了的和的同時在大型企業(yè)員工超過人中，也達到了的使用率，與微軟之和仍不敵。幾乎與此同時，也公布其曼哈頓實時數(shù)據(jù)庫的細節(jié)。亞馬遜領跑云市場微軟大打親和牌這周對于亞馬遜來說，應該是悲喜交加的一周。首先，AWS在中國的首次市場培訓活動在北京拉開帷幕，來自全國各地的近400參會...

MRZYD 2019-04-25 17:36 評論0 收藏0
曙光“云圖”盡顯云端“三大本色”

摘要：據(jù)了解，云圖不但可以讓處理器工作在硬件虛擬化層上，靈活的調(diào)度資源分配，更充分發(fā)揮了云計算集中安全便捷的三大優(yōu)勢，讓用戶暢享云端，激發(fā)設計靈感。　　云計算引發(fā)的技術變革和創(chuàng)新工作模式在各個領域不斷深化，但從事圖形計算和產(chǎn)品設計的用戶卻因為技術問題無法享用饕餮盛宴。近日，曙光公司與NVIDIA公司和思杰共同合作推出了基于GRID和Citrix XenDesktop技術的圖形云計算產(chǎn)品——云圖(...

abson 2019-04-25 17:35 評論0 收藏0
云計算“十三五”規(guī)劃正式啟動

摘要：微軟雅黑近日，工信部正式啟動針對云計算的十三五規(guī)劃，將重點培育龍頭企業(yè)，發(fā)揮其對產(chǎn)業(yè)發(fā)展的輻射作用，打造云計算產(chǎn)業(yè)鏈。云計算十三五規(guī)劃正式啟動據(jù)工信部軟件服務業(yè)司司長陳偉近日透露，工信部針對云計算的十三五規(guī)劃已經(jīng)啟動。近日，工信部正式啟動針對云計算的十三五規(guī)劃，將重點培育龍頭企業(yè)，發(fā)揮其對產(chǎn)業(yè)發(fā)展的輻射作用，打造云計算產(chǎn)業(yè)鏈。在政府機構大力主導信息設備國產(chǎn)化的背景下，實現(xiàn)國產(chǎn)化設備進口替代...

MasonEast 2019-04-25 17:38 評論0 收藏0