云計(jì)算架構(gòu)與大數(shù)據(jù)分析（Hadoop）

培訓(xùn)目標(biāo)：
本課程以大數(shù)據(jù)架構(gòu)與案例為驅(qū)動(dòng)，采用一個(gè)完整地案例貫穿整個(gè)課程，讓學(xué)員體驗(yàn)大數(shù)據(jù)架構(gòu)的企業(yè)價(jià)值。在課程中學(xué)員將被賦予企業(yè)架構(gòu)師角色，通過(guò)剖析企業(yè)對(duì)大數(shù)據(jù)的主要需求，使學(xué)員感悟大數(shù)據(jù)架構(gòu)設(shè)計(jì)的過(guò)程與價(jià)值。具體課程目標(biāo)包括：
1.了解云計(jì)算的發(fā)展歷史
2.掌握云計(jì)算的實(shí)踐應(yīng)用
3.學(xué)習(xí)云計(jì)算的核心技術(shù)
4.通曉云計(jì)算的商業(yè)價(jià)值。
5.全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景；
6.全程項(xiàng)目實(shí)戰(zhàn)訓(xùn)練；
7.徹底掌握使用Hadoop進(jìn)行MapReduce程序開(kāi)發(fā)；
8.熟悉分布式計(jì)算領(lǐng)域的常用算法；
9.掌握Hive、HBase使用與優(yōu)化技巧。
課程大綱：
（第一專題：云計(jì)算架構(gòu)）
日程授課主題課程安排
第一天云計(jì)算概述云的理想
云的挑戰(zhàn)
發(fā)展的趨勢(shì)
云是什么
不同工作負(fù)載適用不同的云
選擇合適的云平臺(tái)
幾個(gè)云應(yīng)用案例
我們身邊的云
云架構(gòu)云多層架構(gòu)視圖
IaaS、PaaS與SaaS的定位與異同
云平臺(tái)的發(fā)展現(xiàn)狀
云數(shù)據(jù)中心技術(shù)架構(gòu)
IAAS云層的原理與應(yīng)用IaaS的基礎(chǔ)：虛擬化
虛擬化相關(guān)技術(shù)
Power云部署方案介紹
VMWare云部署方案介紹
OpenStack云部署方案介紹
SONAS云存儲(chǔ)方案介紹
應(yīng)用實(shí)例
第二天PaaS云層的原理與應(yīng)用PaaS的架構(gòu)原理
基于WebSphere的PaaS設(shè)計(jì)實(shí)踐
SaaS云層的原理與應(yīng)用SaaS的架構(gòu)原理
一個(gè)公有云SaaS的設(shè)計(jì)實(shí)踐
云計(jì)算的性能管理與容量規(guī)劃什么是性能容量管理
性能容量管理參考案例
壓力測(cè)試基本理論
系統(tǒng)性能設(shè)計(jì)與調(diào)優(yōu)
第三天大數(shù)據(jù)云的原理與架構(gòu)存儲(chǔ)子系統(tǒng)
傳統(tǒng)文件系統(tǒng)
松耦合網(wǎng)絡(luò)文件系統(tǒng)
共享存儲(chǔ)文件系統(tǒng)
基于對(duì)象的存儲(chǔ)子系統(tǒng)
大數(shù)據(jù)存儲(chǔ)子系統(tǒng)
GoogleGFS
FacebookHaystack
AmazonDynamo
YahooPNUTS
GoogleBigTable
云存儲(chǔ)服務(wù)
AmazonSimpleStorageService
GoogleStorageforDevelopers
（第二專題：大數(shù)據(jù)分析與Hadoop開(kāi)發(fā)）
日程模塊單元模塊單元
第四天第1個(gè)主題：Hadoop的來(lái)源和動(dòng)機(jī)
1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問(wèn)題
2.對(duì)一種新的解決方案的需求
3.Hadoop應(yīng)用案例解析
4.Hadoop版本介紹
5.Hadoop與傳統(tǒng)分布式環(huán)境的區(qū)別
第2個(gè)主題：Hadoop安裝和部署準(zhǔn)備
1.Hadoop系統(tǒng)模塊組件概述
2.Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
3.Hadoop安裝依賴關(guān)系
4.Hadoop生產(chǎn)環(huán)境的部署結(jié)構(gòu)
5.Hadoop集群安裝和部署
第３個(gè)主題：Hadoop組件詳解
1.HadoopHDFS基本結(jié)構(gòu)
2.HadoopHDFS副本存放策略
3.HadoopNameNode詳解
4.HadoopSecondaryNameNode詳解
5.HadoopDataNode詳解
6.HadoopJobTracker詳解
7.Mapper
8.Reducer
9.API使用Eclipse進(jìn)行快速開(kāi)發(fā)
10.新MapReduceAPI
第4個(gè)主題：Hadoop核心代碼剖析
1.HadoopMapper類核心代碼剖析
2.HadoopReducer類核心代碼剖析
第5個(gè)主題：HDFS分布式文件系統(tǒng)編程
1.HadoopHDFS剖析
2.HadoopNameNode剖析
3.HadoopDataNode剖析
4.hadoopI/O操作
5.使用HadoopHDFSAPI對(duì)HDFS編程
第五天第1個(gè)主題：HadoopMapReduce
1.HadoopJobTracker剖析
2.HadoopTaskTracker剖析
3.Hadoop任務(wù)提交流程剖析
第2個(gè)主題：HadoopMapReduceStreaming編程
1.HadoopStreaming和JavaMapReduceApi差異
2.使用MapReduce實(shí)現(xiàn)數(shù)據(jù)庫(kù)功能
第3個(gè)主題：MapReduce分布式程序
1.MapReduce流程
2.剖析一個(gè)MapReduce程序
3.基本MapReduceAPI概念
4.驅(qū)動(dòng)代碼
第4個(gè)主題：HadoopMapreduce高級(jí)編程
1.ToolRunner介紹
2.使用MRUnit進(jìn)行測(cè)試
3.利用Combiners來(lái)減少中間數(shù)據(jù)
4.使用Configure和Close方法來(lái)進(jìn)行Map/Reduce設(shè)置和關(guān)閉
5.編寫(xiě)Partitioner來(lái)優(yōu)化負(fù)載平衡
6.直接訪問(wèn)Hadoop分布式文件系統(tǒng)（HDFS）
7.使用分布式緩存（DistributedCache）第5個(gè)主題：MapReduce的優(yōu)化
1.map優(yōu)化
2.reduce優(yōu)化
3.小文件優(yōu)化
第6個(gè)主題：MapReduce的任務(wù)調(diào)度
1.Queue調(diào)度的使用
2.公平調(diào)度的使用
3.能力調(diào)度的使用
第7個(gè)主題Hadoop生態(tài)系統(tǒng)介紹
分布式管理組件-Zookeeper
分布式數(shù)據(jù)倉(cāng)庫(kù)-Hive
分布式數(shù)據(jù)庫(kù)-HBase
數(shù)據(jù)導(dǎo)入導(dǎo)出-Sqoop
工作流管理-Ozzie
Hadoop數(shù)據(jù)倉(cāng)庫(kù)-Hive
Hive基礎(chǔ)
Hive的作用和原理說(shuō)明
Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系；Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)接使用
Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流
第六天Hadoop數(shù)據(jù)倉(cāng)庫(kù)-Hive
HiveCli的基本用法
HQL基本語(yǔ)法
自行編寫(xiě)數(shù)據(jù)庫(kù)與Hadoop相互ETL工具的思路
Hadoop分布式數(shù)據(jù)倉(cāng)庫(kù)-HBase
Hbase概念與架構(gòu)
hbase核心知識(shí)點(diǎn)
hbase安裝、部署
HBase配置優(yōu)化綜述
表設(shè)計(jì)優(yōu)化相關(guān)參數(shù)
監(jiān)控工具使用方法及注意事項(xiàng)
常見(jiàn)異?，F(xiàn)象級(jí)處理方法
培訓(xùn)師資：
朱永春
十余年IT行業(yè)經(jīng)驗(yàn)，IBM企業(yè)數(shù)據(jù)分析與大數(shù)據(jù)專家，數(shù)據(jù)中心系統(tǒng)架構(gòu)設(shè)計(jì)，性能管理與容量評(píng)估專家，主要專業(yè)特長(zhǎng)包括基礎(chǔ)架構(gòu)云平臺(tái)設(shè)計(jì)、服務(wù)器及存儲(chǔ)虛擬化、數(shù)據(jù)庫(kù)優(yōu)化、性能管理、容量評(píng)估等領(lǐng)域。具有豐富的教學(xué)和實(shí)踐經(jīng)驗(yàn)，對(duì)IT職業(yè)培訓(xùn)有深刻的理解。曾參與多家大型銀行系統(tǒng)架構(gòu)設(shè)計(jì)，在高可用性高性能大容量系統(tǒng)領(lǐng)域的虛擬化和大數(shù)據(jù)處理有深入的研究，能夠結(jié)合實(shí)際,在復(fù)雜的應(yīng)用環(huán)境中選擇適合的分析技術(shù)來(lái)降低運(yùn)維風(fēng)險(xiǎn)、縮短停機(jī)時(shí)間、提高系統(tǒng)及數(shù)據(jù)庫(kù)性能。多次全國(guó)巡講。授課過(guò)程理論與實(shí)踐并重，深入淺出，講課詼諧幽默、氣氛活躍，深受廣大學(xué)員好評(píng)。
錢(qián)興會(huì)大數(shù)據(jù)專家。在電信、電力、金融行業(yè)從事Java開(kāi)發(fā)和架構(gòu)設(shè)計(jì)的工作；資深云計(jì)算研發(fā)工程師。作為項(xiàng)目的主要成員和負(fù)責(zé)人參與并領(lǐng)導(dǎo)完成了多個(gè)大型復(fù)雜項(xiàng)目，并成功應(yīng)用于行業(yè)解決方案，如海量數(shù)據(jù)匹配系統(tǒng)、電力行業(yè)實(shí)時(shí)數(shù)據(jù)采集分析系統(tǒng)等。設(shè)計(jì)并實(shí)現(xiàn)了實(shí)時(shí)索引系統(tǒng)-云搜，成功應(yīng)用與某國(guó)企知識(shí)庫(kù)系統(tǒng)。并可應(yīng)用與互聯(lián)網(wǎng)行業(yè)的搜索等應(yīng)用。完成多個(gè)云計(jì)算解決方案的架構(gòu)，涉及到金融行業(yè)海量數(shù)據(jù)分析與數(shù)據(jù)處理系統(tǒng)、海量日志分析系統(tǒng)、電力用電信息統(tǒng)計(jì)系統(tǒng)等，獲得業(yè)界認(rèn)可。

上一篇：轉(zhuǎn)型時(shí)代的標(biāo)桿企業(yè)業(yè)財(cái)融合與價(jià)值創(chuàng)造管理

下一篇：品管圈QCC活動(dòng)