您現(xiàn)在的位置：首頁 > 企業(yè)內(nèi)訓(xùn) > 大數(shù)據(jù) > 大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)與應(yīng)用培訓(xùn)

大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)與應(yīng)用培訓(xùn)

2022-04-27 09:48:29　|　來源：中培企業(yè)IT培訓(xùn)網(wǎng)

一、培訓(xùn)簡(jiǎn)述

全面掌握大數(shù)據(jù)的理論基礎(chǔ)和實(shí)現(xiàn)原理，通過具體的實(shí)操和練習(xí)讓學(xué)員全面實(shí)戰(zhàn)大數(shù)據(jù)。通過此次課程培訓(xùn)，可使學(xué)習(xí)者獲得如下收益：

徹底理解Hadoop、Spark和Flink為代表的大數(shù)據(jù)處理引擎的運(yùn)行機(jī)制和原理，包括：

MapReduce

Spark Core

Flink Runtime

掌握Hadoop生態(tài)體系的海量數(shù)據(jù)存儲(chǔ)架構(gòu)（原理、安裝、使用），包括：

分布式文件系統(tǒng)HDFS

NoSQL數(shù)據(jù)庫HBase

數(shù)據(jù)分析引擎：Hive

掌握Spark生態(tài)體系架構(gòu)（原理、安裝、使用），包括：

Spark Core、Spark SQL、Spark Streaming

Spark Shell、Spark集群、RDD

掌握Spark、Hadoop、Flink協(xié)同工作，能夠通過Spark、Hadoop和Flink輕松應(yīng)對(duì)大數(shù)據(jù)的業(yè)務(wù)需求；

掌握Flink生態(tài)體系架構(gòu)（原理、安裝、使用），包括：

Flink Standalone與Flink on Yarn

Flink DataSet與Flink DataStream

Flink Table & SQL。

二、培訓(xùn)特色
PPT+教材+參考資料
提供配套的實(shí)驗(yàn)環(huán)境
場(chǎng)景+案例+模擬環(huán)境，動(dòng)手實(shí)踐
手把手解決問題+解決問題經(jīng)驗(yàn)分享。

三、培訓(xùn)收益
掌握基于大數(shù)據(jù)的體系架構(gòu)、管理、部署，以及相應(yīng)組件的原理和應(yīng)用場(chǎng)景。
讓學(xué)員具備部署基于企業(yè)大數(shù)據(jù)平臺(tái)環(huán)境的能力。

四、培訓(xùn)時(shí)長(zhǎng)
共計(jì)3天，每天6課時(shí)

五、培訓(xùn)大綱

第一天（Hadoop核心原理）
章	節(jié)	學(xué)習(xí)目標(biāo)	應(yīng)用案例
第一章：實(shí)驗(yàn)環(huán)境的準(zhǔn)備	實(shí)驗(yàn)環(huán)境簡(jiǎn)介 Linux的準(zhǔn)備 JDK的安裝	準(zhǔn)備實(shí)驗(yàn)環(huán)境
第二章：大數(shù)據(jù)背景知識(shí)與起源	Hadoop部分各章概述實(shí)驗(yàn)環(huán)境簡(jiǎn)介與準(zhǔn)備幾個(gè)基本概念 Google的低成本思想 Google的思想論文之一：GFS Google的思想論文之二：MapReduce Google的思想論文之三：BigTable	理解并掌握大數(shù)據(jù)的底層原理	基于Hadoop的大數(shù)據(jù)離線計(jì)算平臺(tái)整體架構(gòu)
第三章：搭建Hadoop環(huán)境	Hadoop的目錄結(jié)構(gòu) 搭建Hadoop的本地模式搭建Hadoop的偽分布模式免密碼登錄的原理和配置搭建Hadoop的全分布環(huán)境	安裝和配置Hadoop環(huán)境	基于Hadoop的大數(shù)據(jù)離線計(jì)算平臺(tái)整體架構(gòu)
第四章：Hadoop的體系架構(gòu)	Hadoop體系結(jié)構(gòu)概述 HDFS的體系結(jié)構(gòu) 名稱節(jié)點(diǎn) 數(shù)據(jù)節(jié)點(diǎn) 第二名稱節(jié)點(diǎn) Yarn的體系結(jié)構(gòu) Yarn的體系結(jié)構(gòu)和任務(wù)的調(diào)度 Yarn的資源分配方式 HBase的體系結(jié)構(gòu)簡(jiǎn)介主從結(jié)構(gòu)的單點(diǎn)故障問題及解決方案	理解并掌握Hadoop的體系架構(gòu)	基于HDFS搭建電商大數(shù)據(jù)平臺(tái)的數(shù)據(jù)倉庫
第五章：HDFS	HDFS概述操作HDFS 通過Web Console操作HDFS 通過命令行操作HDFS 使用Java API創(chuàng)建目錄和權(quán)限問題使用Java API上傳和下載數(shù)據(jù) 使用Java API獲取文件信息 HDFS的原理剖析 HDFS上傳數(shù)據(jù)的過程和原理 HDFS下載數(shù)據(jù)的過程和原理 HDFS的高級(jí)功能 HDFS的回收站 HDFS的快照 HDFS的安全模式和權(quán)限 HDFS的配額 HDFS的集群簡(jiǎn)介 HDFS的底層原理 HDFS底層原理之一：代理對(duì)象 HDFS底層原理之二：什么是RPC？	掌握HDFS	基于HDFS搭建電商大數(shù)據(jù)平臺(tái)的數(shù)據(jù)倉庫