課程描述(shu)INTRODUCTION
大數據Hadoop課程
日程(cheng)安排SCHEDULE
課程大綱Syllabus
大數據Hadoop課程
培訓對象
軟件工程(cheng)師;數據庫開發人(ren)員;網(wang)絡后臺開發人(ren)員;運維(wei)人(ren)員;
課程簡介
hadoop天生是解決大數據高并發問題的, 是一個能夠對海量數據進行分布式處理的軟件框架。互聯網企業、金融機構、政府組織和云計算服務企業每天都會產生大量的數據并面臨高并發的嚴峻考驗,傳統的關系型數據庫已經無法滿足大數據量高并發的要求,作為云計算實現規范和實施標準的hadoop應運而生。
使用hadoop,用戶可以在不了解分布式底層細節的情況下開發出分布式程序,從而可以使用眾多廉價的計算設備的集群的威力來高速的運算和存儲,而且hadoop的運算和存儲是可靠的、高效的、可伸縮的,能夠使用普通的社區服務器出來PB級別的數據,是分布式大數據處理的存儲的理想選擇。
“云計算分布式大數據hadoop深入淺出案例驅動實戰”基于實務經驗萃取而成,從hadoop開發環境的搭建到到圖片服務器、WordCount實現、Hbase微博系統、話單查詢與統計、Hive數據統計案例,理論結合實際案例,祝你輕松駕馭hadoop以滿足大數據的分布式處理與存儲。
課程以MapReduce、Hbase、Hive為主軸,想理解和使用hadoop,就必須掌握這三大核心(xin)。
課程特色
案例驅動教學,全程項目實戰訓練;
掌握Hadoop三大核心:MapReduce、Hbase、Hive
萃取出實際開發中最常用、最實用的內容并以深入淺出的方式把難點化于無形之中
基礎要求
了解Linux系統;
了解網絡;
了(le)解Java;
課程大綱
第一天
第1個主題:Hadoop思考
1.Hadoop的設計目標和適用場景
2.Hadoop架構解析
3.MapReduce工作原理和案例說明
第2個主題: Hadoop安裝和配置實戰
1. 安裝和配置單機版Hadoop實戰
2. 安裝和配置偽分布式Hadoop實戰
3.安裝和配置分布式Hadoop集群實戰
第3個主題:HDFS
1. HDFS命令行操作實戰
2. HDFS的配置管理
3. NameNode的工作機制
第4個主題:HDFS案例實戰
1. HDFS案例的分析和設計
2. 環境搭建
3.使用Hadoop Java API實現對HDFS寫入、讀取、刪除文件等操作
第5個主題:MapReduce剖析
1. MapReduce的原理和運行過程
2. 構建MapReduce的開發環境
第6個主題:MapReduce案例實戰
1. 使用MapReduce的Java接口實現經典的WordCount
2. wordcount運行過程解析
3. MapReduce實現數據去重操作
4. MapReduce實現數據排序
5. MapReduce實現(xian)數據平均(jun)數據的計(ji)算
第二天
第1個主題:Hbase架構設計和實現剖析
1. Hbase架構設計
2. Hbase中的表結構等
3. Hbase:Master、Region、Region Server
第2個主題:Hbase案例實戰1---使用Hbase實現微博系統
1. 項目架構和設計
2. 開發環境搭建
3. 實現用戶登錄和注銷
4.“關注”功能的設計和實現
5.“發微博”功能的設計和實現
6.發布和運行整個基于Hbase的微博系統
第3個主題:Hbase與MapReduce
1. Hbase與MapReduce的關系
2. Hbase如何使用MapReduce
第4個主題:Hbase案例實戰2---話單查詢與統計
1. 項目架構設計
2. 開發環境搭建
3. 話單入庫和查詢的設計與實現
4.統計功能(neng)的設計與(yu)實現(xian)
第三天
第1個主題:MapReduce高級實戰
1. Split實現剖析
2. 自定義輸入的實現
3. Reduce的partition
4. 案例實戰
第2個主題:安裝和使用Hive
1. Hive剖析
2. 安裝Hive
3.Hive的基本使用
第3個主題:Hive與HDFS、MapReduce
1. Hive向HDFS存入結構化數據
2. 使用MySQL作為Hive的元數據庫
3.Hive與MapReduce
第4個主題:Hive案例實戰---數據統計
1. 項目架構設計
2. 表結構設計
3.數據的插入與統計實現
第5個主題:Hadoop開發者之路
1. Hadoop技能模型
2. Hadoop開發者*學習路線和方式
3.Hadoop開(kai)發者*成長路(lu)線
大數據Hadoop課程
轉載://bamboo-vinegar.cn/gkk_detail/257465.html
已開課(ke)時間Have start time
- 張曉誠
大數據營銷公開培訓班
- 大數據分析(Hadoop) 朱永(yong)春
- 產品數據管理高級實務培訓 劉海(hai)濤
- 大數據時代的績效管理 楊云
- 大數據時代的商業數據分析管 鄒紅(hong)偉(wei)
- 大數據時代的財務管理—從業 楊(yang)云
- 大數據分析與洞察 孫子辰
- 大數據時代的績效管理-精細 楊云(yun)
- 大數據、云計算與信息化演進 何寶宏
- 贏在未來-大數據時代的財務 呂軍
- 大數據時代營銷數據分析技能 陳劍
- 大數據時代企業公司化運營 楊云(yun)
- 大數據時代財務管理-從業務 楊云
大數據營銷內訓
- 數字經濟時代銀行開展數字化 李勇
- 大數據應用現狀與未來發展重 胡國(guo)慶
- Quick BI 數據分析 張曉如
- 政府數字化轉型實務 焦(jiao)波
- 《跨境電商全鏈路AI賦能轉 黃(huang)光偉
- 數智化領域新技術與典型應用 胡國慶
- 數字技術與數字工具應用 王(wang)文(wen)琭
- 數字經濟與數據技術應用與變 王文(wen)琭(lu)
- 數字時代下的營銷趨勢 韓天成
- 以需求為導向的大數據精準營 張世民
- 《數據資源入表與數據治理》 鐘凱
- 《銀行數據驅動經營方法論與 宗錦(