Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師實(shí)戰(zhàn)培訓(xùn)班

【課程目標(biāo)】

1、深入理解Spark計(jì)算原理和編程模型，掌握Spark Core和SparkSql、SparkStreaming等上層系統(tǒng)的結(jié)合方式

2、深入掌握SparkCore、SparkSql使用調(diào)優(yōu)技巧

3、深入掌握SparkStreaming和SparkMllib使用和調(diào)優(yōu)技巧

4、深入掌握Spark和其他組件的結(jié)合使用

5、了解Spark與MapReduce分布式計(jì)算模型的區(qū)別和各自適合的使用場(chǎng)景。

6、能夠使用java、python和scala進(jìn)行spark應(yīng)用開(kāi)發(fā)（如果要講解三種語(yǔ)言開(kāi)發(fā)spark，工作量會(huì)非常大，建議只講解一種(可以根據(jù)企業(yè)的要求來(lái)定，）

7、熟練使用spark、spark streaming、spark SQL、spark mllib

8、深入了解spark在大型互聯(lián)網(wǎng)的架構(gòu)和使用場(chǎng)景

【培訓(xùn)對(duì)象】

各地企事業(yè)單位大數(shù)據(jù)產(chǎn)業(yè)相關(guān)人員，運(yùn)營(yíng)商 IT信息化和運(yùn)維工程師相關(guān)人員，金融業(yè)信息化相關(guān)人員，或?qū)Υ髷?shù)據(jù)spark感興趣的相關(guān)人員。

【師資介紹】

張老師：阿里大數(shù)據(jù)專(zhuān)家，國(guó)內(nèi)的Spark、Hadoop技術(shù)專(zhuān)家、虛擬化專(zhuān)家，對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開(kāi)發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國(guó)移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢(xún)系統(tǒng)、中國(guó)銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營(yíng)商全國(guó)用戶(hù)上網(wǎng)記錄、某省交通部門(mén)違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等。

【頒發(fā)證書(shū)】

參加相關(guān)培訓(xùn)并通過(guò)考試的學(xué)員，可以獲得：

1.工業(yè)和信息化部全國(guó)網(wǎng)絡(luò)與信息技術(shù)項(xiàng)目管理中心頒發(fā)的-大數(shù)據(jù)工程師職業(yè)技能證書(shū)。該證書(shū)可作為專(zhuān)業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專(zhuān)業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。

【培訓(xùn)特色】

本課程基于新的spark 2講解，內(nèi)容涵蓋了企業(yè)中大數(shù)據(jù)處理的四大場(chǎng)景：

離線(xiàn)批處理、流式計(jì)算、SQL處理、機(jī)器學(xué)習(xí)。Spark是一個(gè)廣泛應(yīng)用的分布式內(nèi)存計(jì)算模型，旨在大幅提升的迭代算法和交互低延遲數(shù)據(jù)挖掘的性能。Spark更適合于迭代運(yùn)算比較多的ML和DM運(yùn)算，one stack rule them all！Spark號(hào)稱(chēng)一個(gè)平臺(tái)可以適合所有的應(yīng)用，如SparkSql可以處理結(jié)構(gòu)化數(shù)據(jù)，SparkStreaming旨在提供實(shí)時(shí)的計(jì)算能力，而SparkMllib則提供了豐富機(jī)器學(xué)習(xí)算法庫(kù)

【培訓(xùn)大綱】

模塊一 Spark 2.1概述

1、Spark產(chǎn)生背景，包括mapreduce缺陷，多計(jì)算框架并存等

2、Spark 基本特點(diǎn)

3、Spark版本演化

4、Spark核心概念，包括RDD, transformation, action, cache等

5、Spark生態(tài)系統(tǒng)，包括Spark生態(tài)系統(tǒng)構(gòu)成，以及與Hadoop生態(tài)系統(tǒng)關(guān)系

6、Spark在互聯(lián)網(wǎng)公司中的地位與應(yīng)用

7、介紹當(dāng)前互聯(lián)網(wǎng)公司的Spark應(yīng)用案例

8、Spark集群搭建，包括測(cè)試集群搭建和生產(chǎn)環(huán)境中集群搭建方法，并親手演示整個(gè)過(guò)程

9、背景知識(shí)補(bǔ)充介紹

模塊二 Spark Core

Spark 程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例

1、Spark運(yùn)行模式介紹

Spark運(yùn)行組件構(gòu)成，spark運(yùn)行模式（local、standalone、mesos/yarn等）

2、Spark開(kāi)發(fā)環(huán)境構(gòu)建

集成開(kāi)發(fā)環(huán)境選擇，親手演示spark程序開(kāi)發(fā)與調(diào)試，spark運(yùn)行

3、常見(jiàn)transformation與action用法

介紹常見(jiàn)transformation與action使用方法，以及代碼片段剖析

4、常見(jiàn)控制函數(shù)介紹

包括cache、broadcast、accumulator等

5、Spark 應(yīng)用案例：點(diǎn)擊流日志分析

包括：背景介紹，數(shù)據(jù)導(dǎo)入，數(shù)據(jù)分析，常見(jiàn)Spark transformation和action用法在線(xiàn)演示

模塊三 Spark內(nèi)部原理剖析與源碼閱讀

1、Spark運(yùn)行模式剖析

深入分析spark運(yùn)行模式，包括local，standalone以及spark on yarn

2、Spark運(yùn)行流程剖析

包括spark邏輯查詢(xún)計(jì)劃，物理查詢(xún)計(jì)劃以及分布式執(zhí)行

3、Spark shuffle剖析

深入介紹spark shuffle的實(shí)現(xiàn)，主要介紹hash-based和sort-based兩種實(shí)現(xiàn)

4、Spark 源碼閱讀

Spark源碼構(gòu)成以及閱讀方法

模塊四 Spark sql 2.1

Spark SQL基本原理

1、Spark SQL是什么

2、Spark SQL基本原理

3、Spark  Dataframe與DataSet

4、Spark SQL與Spark Core的關(guān)系

模塊五 Spark SQL程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例

1、Spark SQL程序設(shè)計(jì)

a. 如何訪(fǎng)問(wèn)MySQL、HDFS等數(shù)據(jù)源，如何處理parquet格式數(shù)據(jù)

b. 常用的DSL語(yǔ)法有哪些，如何使用

c. Spark SQL調(diào)優(yōu)技巧

d. 數(shù)據(jù)傾斜解決方案

模塊六 Spark Streaming程序設(shè)計(jì)及應(yīng)用案例

1、Spark  Streaming基本原理

a. Spark Streaming是什么

b. Spark Streaming基本原理

c. Structured Streaming

d. Spark  Streaming 編程接口介紹

e. Spark Streaming應(yīng)用案例

2、Spark  Streaming程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例

a. 常見(jiàn)流式數(shù)據(jù)處理模式

b. Spark Streaming與Kafka 交互

c. Spark Streaming與Redis交互

d. Spark Streaming部署與運(yùn)行

e. Spark Streaming企業(yè)級(jí)案例：用戶(hù)行為實(shí)時(shí)分析系統(tǒng)

模塊七 Spark MLlib企業(yè)級(jí)案例

1. Spark MLlib簡(jiǎn)介

2. 數(shù)據(jù)表示方式

3. MLlib中的聚類(lèi)、分類(lèi)和推薦算法

4. 如何使用MLlib的算法

5. Spark MLLib企業(yè)級(jí)案例：用戶(hù)畫(huà)像之性別預(yù)測(cè)

模塊八 Spark綜合案例信用評(píng)分實(shí)時(shí)分析系統(tǒng)

1. 背景介紹

2. 什么是Lambda architecture

3. 利用Spark Core+MLlib+構(gòu)建離線(xiàn)處理

4. 利用flume+Spark Streaming+Redis構(gòu)建實(shí)時(shí)處理線(xiàn)

5. 整合批處理和實(shí)時(shí)處理線(xiàn)