當(dāng)前位置：　南京鼎軒電子科技有限公司>>云計(jì)算方案>>云計(jì)算方案

云計(jì)算方案

返回列表頁(yè)

參考價(jià)

面議

具體成交價(jià)以合同協(xié)議為準(zhǔn)

產(chǎn)品型號(hào)

品牌

廠商性質(zhì)其他

所在地

在線(xiàn)詢(xún)價(jià) 收藏產(chǎn)品查看聯(lián)系電話(huà)

聯(lián)系方式：查看聯(lián)系方式

更新時(shí)間：2023-03-12 18:06:21瀏覽次數(shù)：268次

聯(lián)系我時(shí)，請(qǐng)告知來(lái)自智能制造網(wǎng)

產(chǎn)品分類(lèi) 品牌分類(lèi)

暫無(wú)信息

　南京鼎軒電子科技有限公司

經(jīng)營(yíng)模式：其他

商鋪產(chǎn)品：21條

所在地區(qū)：

詢(xún)價(jià) 給他留言

產(chǎn)品簡(jiǎn)介

一、建設(shè)一個(gè)Hadoop實(shí)驗(yàn)平臺(tái)：一套開(kāi)源的Hadoop一體機(jī)和開(kāi)發(fā)環(huán)境，詳細(xì)的指導(dǎo)書(shū)籍和實(shí)驗(yàn)設(shè)計(jì)二、培養(yǎng)一支云計(jì)算師資隊(duì)伍：來(lái)自云計(jì)算高手的系列培訓(xùn)三、整合高校已有信息系統(tǒng)：包括教學(xué)系統(tǒng)、學(xué)生系統(tǒng)、圖書(shū)館匯文系統(tǒng)、校園一卡通、視頻監(jiān)控等，搭建實(shí)現(xiàn)云計(jì)算平臺(tái)四、營(yíng)造一個(gè)大數(shù)據(jù)科研環(huán)境：為教學(xué)科研提供技術(shù)支持，與大數(shù)據(jù)應(yīng)用相結(jié)合，讓教學(xué)科研邁上新臺(tái)階

詳細(xì)介紹

一、高度可靠
Hadoop系統(tǒng)采用云架構(gòu)，底層數(shù)據(jù)被分塊存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上，數(shù)據(jù)采用*的1:1容錯(cuò)機(jī)制進(jìn)行容錯(cuò)，可在任意損壞一個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)的情況下實(shí)現(xiàn)數(shù)據(jù)完整可靠，系統(tǒng)對(duì)外存儲(chǔ)訪(fǎng)問(wèn)服務(wù)不間斷
二、性能優(yōu)異
Hadoop系統(tǒng)采用分布式并行計(jì)算技術(shù)，將海量數(shù)據(jù)的計(jì)算處理轉(zhuǎn)化為各個(gè)存儲(chǔ)節(jié)點(diǎn)上并行讀寫(xiě)和計(jì)算，這樣減少了網(wǎng)絡(luò)的帶寬使用，提高了數(shù)據(jù)的處理速度。同時(shí)隨著處理節(jié)點(diǎn)數(shù)目的增多，整個(gè)系統(tǒng)的計(jì)算性能將呈線(xiàn)性增長(zhǎng)
三、海量存貯
Hadoop平臺(tái)所依賴(lài)的數(shù)據(jù)存儲(chǔ)層云數(shù)據(jù)庫(kù)容量?jī)H受限于卷管理服務(wù)器內(nèi)存，可支撐的容量接近無(wú)限
四、通用易用
Hadoop系統(tǒng)提供專(zhuān)用的API接口，供開(kāi)發(fā)人員調(diào)用
五、快速高效
Hadoop平臺(tái)算法庫(kù)采用了分布式并行算法能夠在較短的時(shí)間內(nèi)完整各種算法，同時(shí)隨著機(jī)器的增加系統(tǒng)性能線(xiàn)性增長(zhǎng)

Hadoop架構(gòu)：

Hadoop 由許多元素構(gòu)成。其部是 Hadoop Distributed File System（HDFS），它存儲(chǔ) Hadoop 集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。HDFS（對(duì)于本文）的上一層是MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。通過(guò)對(duì)Hadoop分布式計(jì)算平臺(tái)最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過(guò)程，以及數(shù)據(jù)倉(cāng)庫(kù)工具Hive和分布式數(shù)據(jù)庫(kù)HBase的介紹，基本涵蓋了Hadoop分布式平臺(tái)的所有技術(shù)核心
HDFS

對(duì)外部客戶(hù)機(jī)而言，HDFS就像一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)。可以創(chuàng)建、刪除、移動(dòng)或重命名文件，等等。但是 HDFS 的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的（參見(jiàn)圖 1），這是由它自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括NameNode（僅一個(gè)），它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為 HDFS 提供存儲(chǔ)塊。由于僅存在一個(gè)NameNode，因此這是 HDFS 的一個(gè)缺點(diǎn)（單點(diǎn)失?。?/SPAN>

存儲(chǔ)在 HDFS 中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中（DataNode）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大?。ㄍǔ?/SPAN> 64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶(hù)機(jī)決定。NameNode可以控制所有文件操作。HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP 協(xié)議。

MapReduce

主要功能：

數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度：

系統(tǒng)自動(dòng)將一個(gè)作業(yè)（Job）待處理的大數(shù)據(jù)劃分為很多個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊對(duì)應(yīng)于一個(gè)計(jì)算任務(wù)（Task），并自動(dòng)調(diào)度計(jì)算節(jié)點(diǎn)來(lái)處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能主要負(fù)責(zé)分配和調(diào)度計(jì)算節(jié)點(diǎn)（Map節(jié)點(diǎn)或Reduce節(jié)點(diǎn)），同時(shí)負(fù)責(zé)監(jiān)控這些節(jié)點(diǎn)的執(zhí)行狀態(tài)，并負(fù)責(zé)Map節(jié)點(diǎn)執(zhí)行的同步控制。

數(shù)據(jù)/代碼互定位：

為了減少數(shù)據(jù)通信，一個(gè)基本原則是本地化數(shù)據(jù)處理，即一個(gè)計(jì)算節(jié)點(diǎn)盡可能處理其本地磁盤(pán)上所分布存儲(chǔ)的數(shù)據(jù)，這實(shí)現(xiàn)了代碼向數(shù)據(jù)的遷移；當(dāng)無(wú)法進(jìn)行這種本地化數(shù)據(jù)處理時(shí)，再尋找其他可用節(jié)點(diǎn)并將數(shù)據(jù)從網(wǎng)絡(luò)上傳送給該節(jié)點(diǎn)（數(shù)據(jù)向代碼遷移），但將盡可能從數(shù)據(jù)所在的本地機(jī)架上尋找可用節(jié)點(diǎn)以減少通信延遲。

系統(tǒng)優(yōu)化：

為了減少數(shù)據(jù)通信開(kāi)銷(xiāo)，中間結(jié)果數(shù)據(jù)進(jìn)入Reduce節(jié)點(diǎn)前會(huì)進(jìn)行一定的合并處理；一個(gè)Reduce節(jié)點(diǎn)所處理的數(shù)據(jù)可能會(huì)來(lái)自多個(gè) Map節(jié)點(diǎn)，為了避免Reduce計(jì)算階段發(fā)生數(shù)據(jù)相關(guān)性，Map節(jié)點(diǎn)輸出的中間結(jié)果需使用一定的策略進(jìn)行適當(dāng)?shù)膭澐痔幚?，保證相關(guān)性數(shù)據(jù)發(fā)送到同一個(gè) Reduce節(jié)點(diǎn)；此外，系統(tǒng)還進(jìn)行一些計(jì)算性能優(yōu)化處理，如對(duì)最慢的計(jì)算任務(wù)采用多備份執(zhí)行、選完成者作為結(jié)果。

出錯(cuò)檢測(cè)和恢復(fù)：

以低端商用服務(wù)器構(gòu)成的大規(guī)模MapReduce計(jì)算集群中，節(jié)點(diǎn)硬件（主機(jī)、磁盤(pán)、內(nèi)存等）出錯(cuò)和軟件出錯(cuò)是常態(tài)，因此MapReduce需要能檢測(cè)并隔離出錯(cuò)節(jié)點(diǎn)，并調(diào)度分配新的節(jié)點(diǎn)接管出錯(cuò)節(jié)點(diǎn)的計(jì)算任務(wù)。同時(shí)，系統(tǒng)還將維護(hù)數(shù)據(jù)存儲(chǔ)的可靠性，用多備份冗余存儲(chǔ)機(jī)制提高數(shù)據(jù)存儲(chǔ)的可靠性，并能及時(shí)檢測(cè)和恢復(fù)出錯(cuò)的數(shù)據(jù)。

HBase
即Hadoop Database，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。

Hadoop EcoSystem中的各層系統(tǒng)。其中,HBase位于結(jié)構(gòu)化存儲(chǔ)層，Hadoop HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持，Hadoop MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制。

此外，Pig和Hive還為HBase提供了高層語(yǔ)言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的非常簡(jiǎn)單。Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)向HBase中遷移變的非常方便。

序號(hào)	實(shí)驗(yàn)科目	實(shí)驗(yàn)內(nèi)容
實(shí)驗(yàn)一	Hadoop實(shí)驗(yàn)	Hadoop 生態(tài)系統(tǒng)平臺(tái)的安裝部署，包括 HDFS、 MapReduce、Yarn 與 MR2.0 HDFS 集群狀態(tài)查看 MapReduce 示例程序運(yùn)行、狀態(tài)查看
實(shí)驗(yàn)二	HDFS上機(jī)實(shí)驗(yàn)	HDFS 分布式文件系統(tǒng)的常用命令操作與存儲(chǔ)程序開(kāi)發(fā) 用戶(hù)管理、權(quán)限管理等
實(shí)驗(yàn)三	MapReduce實(shí)驗(yàn)	MapReduce 統(tǒng)計(jì)程序開(kāi)發(fā)并運(yùn)行 MapReduce API編程應(yīng)用開(kāi)發(fā)
實(shí)驗(yàn)四	HBase實(shí)驗(yàn)	部署 HBase 分布式半結(jié)構(gòu)數(shù)據(jù)管理平臺(tái) HBase 數(shù)據(jù)庫(kù)運(yùn)維 HBase 數(shù)據(jù)表操作以及HBase API調(diào)用應(yīng)用開(kāi)發(fā)
實(shí)驗(yàn)五	Hive實(shí)驗(yàn)	部署 Hive 分布式數(shù)據(jù)倉(cāng)庫(kù)利用 Hadoop、HBase、Hive 平臺(tái)協(xié)同存儲(chǔ)、管理與分析處理平臺(tái)部署

国产强伦姧在线观看无码,中文字幕99久久亚洲精品,国产精品乱码在线观看,色桃花亚洲天堂视频久久,日韩精品无码观看视频免费

云計(jì)算方案

南京鼎軒電子科技有限公司

會(huì)員登錄

收藏該商鋪

提示

收藏該商鋪

国产强伦姧在线观看无码,中文字幕99久久亚洲精品,国产精品乱码在线观看,色桃花亚洲天堂视频久久,日韩精品无码观看视频免费

云計(jì)算方案

南京鼎軒電子科技有限公司

會(huì)員登錄

收藏該商鋪

提示

收藏該商鋪

客戶(hù)評(píng)價(jià)列表

　南京鼎軒電子科技有限公司