當(dāng)前位置：南京鼎軒電子科技有限公司>>云計(jì)算方案>>云計(jì)算方案

云計(jì)算方案

返回列表頁

參考價(jià)

面議

具體成交價(jià)以合同協(xié)議為準(zhǔn)

產(chǎn)品型號

品牌

廠商性質(zhì)其他

所在地

在線詢價(jià) 收藏產(chǎn)品查看聯(lián)系電話

聯(lián)系方式：查看聯(lián)系方式

更新時(shí)間：2021-05-27 10:38:27瀏覽次數(shù)：384次

聯(lián)系我時(shí)，請告知來自智能制造網(wǎng)

產(chǎn)品分類 品牌分類

暫無信息

南京鼎軒電子科技有限公司

經(jīng)營模式：其他

商鋪產(chǎn)品：14條

所在地區(qū)：

詢價(jià) 給他留言

產(chǎn)品簡介

一、建設(shè)一個(gè)Hadoop實(shí)驗(yàn)平臺：一套開源的Hadoop一體機(jī)和開發(fā)環(huán)境，詳細(xì)的指導(dǎo)書籍和實(shí)驗(yàn)設(shè)計(jì)二、培養(yǎng)一支云計(jì)算師資隊(duì)伍：來自云計(jì)算高手的系列培訓(xùn)三、整合高校已有信息系統(tǒng)：包括教學(xué)系統(tǒng)、學(xué)生系統(tǒng)、圖書館匯文系統(tǒng)、校園一卡通、視頻監(jiān)控等，搭建實(shí)現(xiàn)云計(jì)算平臺四、營造一個(gè)大數(shù)據(jù)科研環(huán)境：為教學(xué)科研提供技術(shù)支持，與大數(shù)據(jù)應(yīng)用相結(jié)合，讓教學(xué)科研邁上新臺階

詳細(xì)介紹

一、高度可靠
Hadoop系統(tǒng)采用云架構(gòu)，底層數(shù)據(jù)被分塊存儲在不同的存儲節(jié)點(diǎn)上，數(shù)據(jù)采用*的1:1容錯(cuò)機(jī)制進(jìn)行容錯(cuò)，可在任意損壞一個(gè)存儲服務(wù)器節(jié)點(diǎn)的情況下實(shí)現(xiàn)數(shù)據(jù)完整可靠，系統(tǒng)對外存儲訪問服務(wù)不間斷
二、性能優(yōu)異
Hadoop系統(tǒng)采用分布式并行計(jì)算技術(shù)，將海量數(shù)據(jù)的計(jì)算處理轉(zhuǎn)化為各個(gè)存儲節(jié)點(diǎn)上并行讀寫和計(jì)算，這樣減少了網(wǎng)絡(luò)的帶寬使用，提高了數(shù)據(jù)的處理速度。同時(shí)隨著處理節(jié)點(diǎn)數(shù)目的增多，整個(gè)系統(tǒng)的計(jì)算性能將呈線性增長
三、海量存貯
Hadoop平臺所依賴的數(shù)據(jù)存儲層云數(shù)據(jù)庫容量僅受限于卷管理服務(wù)器內(nèi)存，可支撐的容量接近無限
四、通用易用
Hadoop系統(tǒng)提供專用的API接口，供開發(fā)人員調(diào)用
五、快速高效
Hadoop平臺算法庫采用了分布式并行算法能夠在較短的時(shí)間內(nèi)完整各種算法，同時(shí)隨著機(jī)器的增加系統(tǒng)性能線性增長

Hadoop架構(gòu)：

Hadoop 由許多元素構(gòu)成。其部是 Hadoop Distributed File System（HDFS），它存儲 Hadoop 集群中所有存儲節(jié)點(diǎn)上的文件。HDFS（對于本文）的上一層是MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。通過對Hadoop分布式計(jì)算平臺最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過程，以及數(shù)據(jù)倉庫工具Hive和分布式數(shù)據(jù)庫HBase的介紹，基本涵蓋了Hadoop分布式平臺的所有技術(shù)核心
HDFS

對外部客戶機(jī)而言，HDFS就像一個(gè)傳統(tǒng)的分級文件系統(tǒng)。可以創(chuàng)建、刪除、移動或重命名文件，等等。但是 HDFS 的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的（參見圖 1），這是由它自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括NameNode（僅一個(gè)），它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為 HDFS 提供存儲塊。由于僅存在一個(gè)NameNode，因此這是 HDFS 的一個(gè)缺點(diǎn)（單點(diǎn)失敗）。

存儲在 HDFS 中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中（DataNode）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大?。ㄍǔ?/SPAN> 64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定。NameNode可以控制所有文件操作。HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP 協(xié)議。

MapReduce

主要功能：

數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度：

系統(tǒng)自動將一個(gè)作業(yè)（Job）待處理的大數(shù)據(jù)劃分為很多個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊對應(yīng)于一個(gè)計(jì)算任務(wù)（Task），并自動調(diào)度計(jì)算節(jié)點(diǎn)來處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能主要負(fù)責(zé)分配和調(diào)度計(jì)算節(jié)點(diǎn)（Map節(jié)點(diǎn)或Reduce節(jié)點(diǎn)），同時(shí)負(fù)責(zé)監(jiān)控這些節(jié)點(diǎn)的執(zhí)行狀態(tài)，并負(fù)責(zé)Map節(jié)點(diǎn)執(zhí)行的同步控制。

數(shù)據(jù)/代碼互定位：

為了減少數(shù)據(jù)通信，一個(gè)基本原則是本地化數(shù)據(jù)處理，即一個(gè)計(jì)算節(jié)點(diǎn)盡可能處理其本地磁盤上所分布存儲的數(shù)據(jù)，這實(shí)現(xiàn)了代碼向數(shù)據(jù)的遷移；當(dāng)無法進(jìn)行這種本地化數(shù)據(jù)處理時(shí)，再尋找其他可用節(jié)點(diǎn)并將數(shù)據(jù)從網(wǎng)絡(luò)上傳送給該節(jié)點(diǎn)（數(shù)據(jù)向代碼遷移），但將盡可能從數(shù)據(jù)所在的本地機(jī)架上尋找可用節(jié)點(diǎn)以減少通信延遲。

系統(tǒng)優(yōu)化：

為了減少數(shù)據(jù)通信開銷，中間結(jié)果數(shù)據(jù)進(jìn)入Reduce節(jié)點(diǎn)前會進(jìn)行一定的合并處理；一個(gè)Reduce節(jié)點(diǎn)所處理的數(shù)據(jù)可能會來自多個(gè) Map節(jié)點(diǎn)，為了避免Reduce計(jì)算階段發(fā)生數(shù)據(jù)相關(guān)性，Map節(jié)點(diǎn)輸出的中間結(jié)果需使用一定的策略進(jìn)行適當(dāng)?shù)膭澐痔幚?，保證相關(guān)性數(shù)據(jù)發(fā)送到同一個(gè) Reduce節(jié)點(diǎn)；此外，系統(tǒng)還進(jìn)行一些計(jì)算性能優(yōu)化處理，如對最慢的計(jì)算任務(wù)采用多備份執(zhí)行、選完成者作為結(jié)果。

出錯(cuò)檢測和恢復(fù)：

以低端商用服務(wù)器構(gòu)成的大規(guī)模MapReduce計(jì)算集群中，節(jié)點(diǎn)硬件（主機(jī)、磁盤、內(nèi)存等）出錯(cuò)和軟件出錯(cuò)是常態(tài)，因此MapReduce需要能檢測并隔離出錯(cuò)節(jié)點(diǎn)，并調(diào)度分配新的節(jié)點(diǎn)接管出錯(cuò)節(jié)點(diǎn)的計(jì)算任務(wù)。同時(shí)，系統(tǒng)還將維護(hù)數(shù)據(jù)存儲的可靠性，用多備份冗余存儲機(jī)制提高數(shù)據(jù)存儲的可靠性，并能及時(shí)檢測和恢復(fù)出錯(cuò)的數(shù)據(jù)。

HBase
即Hadoop Database，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

Hadoop EcoSystem中的各層系統(tǒng)。其中,HBase位于結(jié)構(gòu)化存儲層，Hadoop HDFS為HBase提供了高可靠性的底層存儲支持，Hadoop MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制。

此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的非常簡單。Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便。

序號	實(shí)驗(yàn)科目	實(shí)驗(yàn)內(nèi)容
實(shí)驗(yàn)一	Hadoop實(shí)驗(yàn)	Hadoop 生態(tài)系統(tǒng)平臺的安裝部署，包括 HDFS、 MapReduce、Yarn 與 MR2.0 HDFS 集群狀態(tài)查看 MapReduce 示例程序運(yùn)行、狀態(tài)查看
實(shí)驗(yàn)二	HDFS上機(jī)實(shí)驗(yàn)	HDFS 分布式文件系統(tǒng)的常用命令操作與存儲程序開發(fā) 用戶管理、權(quán)限管理等
實(shí)驗(yàn)三	MapReduce實(shí)驗(yàn)	MapReduce 統(tǒng)計(jì)程序開發(fā)并運(yùn)行 MapReduce API編程應(yīng)用開發(fā)
實(shí)驗(yàn)四	HBase實(shí)驗(yàn)	部署 HBase 分布式半結(jié)構(gòu)數(shù)據(jù)管理平臺 HBase 數(shù)據(jù)庫運(yùn)維 HBase 數(shù)據(jù)表操作以及HBase API調(diào)用應(yīng)用開發(fā)
實(shí)驗(yàn)五	Hive實(shí)驗(yàn)	部署 Hive 分布式數(shù)據(jù)倉庫利用 Hadoop、HBase、Hive 平臺協(xié)同存儲、管理與分析處理平臺部署

国产强伦姧在线观看无码,中文字幕99久久亚洲精品,国产精品乱码在线观看,色桃花亚洲天堂视频久久,日韩精品无码观看视频免费

云計(jì)算方案

南京鼎軒電子科技有限公司

會員登錄

收藏該商鋪

提示

收藏該商鋪

国产强伦姧在线观看无码,中文字幕99久久亚洲精品,国产精品乱码在线观看,色桃花亚洲天堂视频久久,日韩精品无码观看视频免费

云計(jì)算方案

南京鼎軒電子科技有限公司

會員登錄

收藏該商鋪

提示

收藏該商鋪

客戶評價(jià)列表