大數據分析（Hadoop）與云計算實踐培訓班的通知
2025-10-05 17:39:18
講師：錢興會 朱永春 瀏覽次數：3123
課程描述INTRODUCTION
大數據與云計算培訓
培訓講師：
課程價格：
培訓天數：日程安排SCHEDULE
課程大綱Syllabus
大數據與云計算培訓
一、課程目標
二、培訓師資
錢興會 大數據專家。在電信、電力、金融行業從事Java開發和架構設計的工作；資深云計算研發工程師。作為項目的主要成員和負責人參與并領導完成了多個大型復雜項目，并成功應用于行業解決方案，如海量數據匹配系統、電力行業實時數據采集分析系統等。設計并實現了實時索引系統-云搜，成功應用與某國企知識庫系統。并可應用與互聯網行業的搜索等應用。完成多個云計算解決方案的架構，涉及到金融韓行業海量數據分析與數據處理系統、海量日志分析系統、電力用電信息統計系統等，獲得業界認可。朱永春 十余年IT行業經驗，IBM企業數據分析與大數據專家，數據中心系統架構設計，性能管理與容量評估專家，主要專業特長包括基礎架構云平臺設計、服務器及存儲虛擬化、數據庫優化、性能管理、容量評估等領域。具有豐富的教學和實踐經驗，對IT職業培訓有深刻的理解。曾參與多家大型銀行系統架構設計，在高可用性高性能大容量系統領域的虛擬化和大數據處理有深入的研究，能夠結合實際,在復雜的應用環境中選擇適合的分析技術來降低運維風險、縮短停機時間、提高系統及數據庫性能。多次全國巡講。授課過程理論與實踐并重，深入淺出，講課詼諧幽默、氣氛活躍，深受廣大學員好評。
三、學習對象
軟件工程師、數據庫開發人員、網絡后臺開發人員、運維人員；地方政府云計算物聯網產業負責人；各地云計算中心負責人；云計算物聯網產業規劃負責人；云計算產業投資團隊；云計算應用開發商；云計算硬件設備提供商；云服務運營服務提供商；高校、科研院所云計算項目負責人。
四、課程大綱
（第一專題：大數據分析與Hadoop開發）
第一天
第1個主題：Hadoop的來源和動機
1.傳統大規模系統存在的問題
2.對一種新的解決方案的需求
3.Hadoop應用案例解析
4.Hadoop 版本介紹
5.Hadoop與傳統分布式環境的區別
第2個主題：Hadoop安裝和部署準備
1. Hadoop系統模塊組件概述
2. Hadoop試驗集群的部署結構
3. Hadoop 安裝依賴關系
4. Hadoop 生產環境的部署結構
第3個主題：Hadoop集群安裝和部署
第4個主題：Hadoop組件詳解
1. Hadoop HDFS 基本結構
2. Hadoop HDFS 副本存放策略
3. Hadoop NameNode 詳解
4. Hadoop SecondaryNameNode 詳解
5. Hadoop DataNode 詳解
6. Hadoop JobTracker 詳解
7. API 使用Eclipse進行快速開發
8. 新MapReduce API
第5個主題：Hadoop 核心代碼剖析
1.Hadoop Mapper 類核心代碼剖析
2.Hadoop Reducer 類核心代碼剖析
第6個主題：HDFS分布式文件系統編程
1.Hadoop HDFS 剖析
2.Hadoop NameNode 剖析
3.Hadoop DataNode 剖析
4.hadoop I/O 操作
5.使用Hadoop HDFS API對HDFS編程
第二天
第1個主題：Hadoop MapReduce
1.Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任務提交流程剖析
第2個主題： Hadoop MapReduce Streaming編程
1.Hadoop Streaming 和 Java MapReduce Api 差異
2.使用 MapReduce 實現數據庫功能
第3個主題：MapReduce分布式程序
1.MapReduce流程
2.剖析一個MapReduce程序
3.基本MapReduceAPI 概念
4.驅動代碼
第4個主題：Hadoop Mapreduce高級編程
1.ToolRunner介紹
2.使用MRUnit進行測試
3.利用Combiners來減少中間數據
4.使用Configure和Close方法來進行Map/Reduce設置和關閉
5.編寫Partitioner來優化負載平衡
6.直接訪問Hadoop分布式文件系統（HDFS）
7.使用分布式緩存（Distributed Cache）
第5個主題：MapReduce的優化
1.map優化
2.reduce優化
3.小文件優化
第6個主題：MapReduce的任務調度
1.Queue調度的使用
2.公平調度的使用
3.能力調度的使用
第7個主題Hadoop 生態系統介紹
分布式管理組件-Zookeeper
分布式數據倉庫-Hive
分布式數據庫-Hbase
數據導入導出-Sqoop
工作流管理- Ozzie
Hadoop數據倉庫-Hive
Hive基礎
Hive的作用和原理說明
Hadoop倉庫和傳統數據倉庫的協作關系；Hive與傳統數據庫的對接使用
Hadoop/Hive倉庫數據數據流
第三天
Hadoop數據倉庫-Hive
Hive Cli 的基本用法
HQL基本語法
自行編寫數據庫與Hadoop相互ETL工具的思路
Hadoop 分布式數據倉庫-Hbase
Hbase概念與架構
hbase核心知識點
hbase安裝、部署
Hbase配置優化綜述
表設計優化相關參數
監控工具使用方法及注意事項
常見異常現象級處理方法
（第二專題：大數據與云計算架構）
日程 授課主題 課程安排
第四天
云計算概述 云的理想
云的挑戰
發展的趨勢
云是什么
不同工作負載適用不同的云
選擇合適的云平臺
幾個云應用案例
我們身邊的云
云架構 云多層架構視圖
IaaS、PaaS與SaaS的定位與異同
云平臺的發展現狀
云數據中心技術架構
IAAS云層的原理與應用 IaaS的基礎：虛擬化
虛擬化相關技術
Power云部署方案介紹
VMWare云部署方案介紹
OpenStack云部署方案介紹
SONAS云存儲方案介紹
應用實例
第五天
PaaS云層的原理與應用 PaaS的架構原理
基于WebSphere的PaaS設計實踐
SaaS云層的原理與應用 SaaS的架構原理
一個公有云SaaS的設計實踐
云計算的性能管理與容量規劃
什么是性能容量管理
性能容量管理參考案例
壓力測試基本理論
系統性能設計與調優
第六天
大數據云的原理與架構 存儲子系統
傳統文件系統
松耦合網絡文件系統
共享存儲文件系統
基于對象的存儲子系統
大數據存儲子系統
Google GFS
Facebook Haystack
Amazon Dynamo
Yahoo PNUTS
Google BigTable
云存儲服務
Amazon Simple Storage Service
Google Storage for Developers
六、培訓證書
證書可作為專業技術人員職業能力考核的證明，以及專業技術人員崗位聘用、任職、定級和晉升職務的重要依據。
大數據與云計算培訓
轉載：//bamboo-vinegar.cn/gkk_detail/153.html
已開課時間Have start time
大數據課程公開培訓班
- 大數據時代財務管理-從業務 楊云
- 大數據、云計算與信息化演進 何寶宏
- 贏在未來-大數據時代的財務 呂軍
- 大數據時代的績效管理-精細 楊云
- 大數據時代的商業數據分析管 鄒紅偉
- 大數據時代的績效管理 楊云
- 大數據時代企業公司化運營 楊云
- 大數據分析（Hadoop） 朱永春
- 大數據分析與洞察 孫子辰
- 大數據時代的財務管理—從業 楊云
- 大數據時代營銷數據分析技能 陳劍
- 產品數據管理高級實務培訓 劉海濤
大數據課程內訓
- Quick BI 數據分析 張曉如
- 數字經濟與數據技術應用與變 王文琭
- 大數據應用現狀與未來發展重 胡國慶
- 數字技術與數字工具應用 王文琭
- 《銀行數據驅動經營方法論與 宗錦(
- 以需求為導向的大數據精準營 張世民
- 數智化領域新技術與典型應用 胡國慶
- 政府數字化轉型實務 焦波
- 《數據資源入表與數據治理》 鐘凱
- 數字經濟時代銀行開展數字化 李勇
- 《跨境電商全鏈路AI賦能轉 黃光偉
- 數字時代下的營銷趨勢 韓天成