重慶慧都科技有限公司
免費會員
| 參考價: | 面議 |
具體成交價以合同協(xié)議為準- 產(chǎn)品型號
- 品牌
- 其他 廠商性質(zhì)
- 所在地
訪問次數(shù)：74更新時間：2022-03-28 17:04:44
功能描述
需要培訓(xùn)、定制、外包？
請聯(lián)系我們！：800018081
慧都專業(yè)技術(shù)團隊幫助您提高效率，節(jié)省成本，降低風險！
* 關(guān)于本產(chǎn)品的分類與介紹僅供參考，精準產(chǎn)品資料以介紹為準，如需購買請先行測試。
Hadoop是一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個優(yōu)點：
- 高可靠性——Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。
- 高擴展性——Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。
- 高效性——Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非?？?。
- 高容錯性——Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配。
- 低成本——與一體機、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。
Hadoop由許多元素構(gòu)成。其架構(gòu)元素包括：
HDFS——對外部客戶機而言，HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)。可以創(chuàng)建、刪除、移動或重命名文件，等等。但是HDFS的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的，這是由它自身的特點決定的。這些節(jié)點包括 NameNode，它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為HDFS提供存儲塊。
NameNode——NameNode是一個通常在HDFS實例中的單獨機器上運行的軟件。它負責管理文件系統(tǒng)名稱空間和控制外部客戶機的訪問。NameNode決定是否將文件映射到DataNode上的復(fù)制塊上。對于見的3個復(fù)制塊，個復(fù)制塊存儲在同一機架的不同節(jié)點上，個復(fù)制塊存儲在不同機架的某個節(jié)點上。
DataNode——ataNode 也是一個通常在HDFS實例中的單獨機器上運行的軟件。Hadoop 集群包含一個NameNode 和大量 DataNode。DataNode通常以機架的形式組織，機架通過一個交換機將所有系統(tǒng)連接起來。Hadoop 的一個假設(shè)是：機架內(nèi)部節(jié)點之間的傳輸速度快于機架間節(jié)點的傳輸速度。
Linux 集群——Hadoop框架可在單一的Linux平臺上使用。
Hadoop項目模塊：
Hadoop Common——常見的實用程序,支持其他Hadoop模塊。
Hadoop Distributed File System (HDFS™)——一個分布式文件系統(tǒng),它提供了高通量訪問應(yīng)用程序數(shù)據(jù)。
Hadoop YARN——一個集群作業(yè)調(diào)度和資源管理的框架。
Hadoop MapReduce——YARN-based系統(tǒng)并行處理大型數(shù)據(jù)集。
