武漢大數(shù)據(jù)開發(fā)工程師課程

【課程特點(diǎn)】

微信、智能公交站牌……在大數(shù)據(jù)時(shí)代背景下，我們的行為每時(shí)每刻都在產(chǎn)生著數(shù)據(jù)，而這些數(shù)據(jù)改變著我們的生活。大數(shù)據(jù)產(chǎn)業(yè)已逐步從概念走向落地，90%企業(yè)都在使用大數(shù)據(jù)，而大數(shù)據(jù)高端軟件類人才供應(yīng)遠(yuǎn)不能滿足時(shí)代的發(fā)展。有報(bào)告指出，數(shù)據(jù)分析師已成當(dāng)下中國互聯(lián)網(wǎng)行業(yè)需求旺盛的六類人才職位之一，并且未來中國基礎(chǔ)性數(shù)據(jù)分析人才缺口將達(dá)到 1400 萬。hadoop 解決大數(shù)據(jù)量高并發(fā)訪問的瓶頸。谷歌、淘寶、百度、京東等底層都應(yīng)用 hadoop。越來越多的企業(yè)急需引入 hadoop 技術(shù)人才。由于掌握 Hadoop 技術(shù)的開發(fā)人員并不多，直接導(dǎo)致了這幾年 hadoop 技術(shù)的薪水遠(yuǎn)高于 JavaEE 及 Android 程序員。

【適合人群】

有編程興趣、有意向從事軟件開發(fā)。

應(yīng)用電子技術(shù)、通信工程、信息工程、計(jì)算機(jī)應(yīng)用、物聯(lián)網(wǎng)等相關(guān)專業(yè)應(yīng)屆畢業(yè)生。

有編程開發(fā)經(jīng)驗(yàn)，準(zhǔn)備從事大數(shù)據(jù)應(yīng)用開發(fā)的工程師

【課程目標(biāo)】

熟練掌握 JAVA 編程語言，如：java 面向?qū)ο笏枷?、java 多線程、泛型、反射、java 設(shè)計(jì)模式等。

熟練掌握 JAVAWEB 開發(fā)

熟練掌握 Linux

熟練掌握 Hadoop 框架、大數(shù)據(jù)倉庫 Hive、分布式數(shù)據(jù)庫 HBase

熟練掌握 Storm 實(shí)時(shí)數(shù)據(jù)處理

熟練掌握 Scale 語言

熟練掌握 Spark 框架

【職業(yè)規(guī)劃】

JAVAEE 開發(fā)工程師

大數(shù)據(jù)開發(fā)工程師

Spark 大數(shù)據(jù)開發(fā)工程師

Hadoop 大數(shù)據(jù)開發(fā)工程師

Storm 大數(shù)據(jù)開發(fā)工程師

Hive 工程師

ETL 開發(fā)工程師

推薦系統(tǒng)開發(fā)工程師

【課程大綱】

階段 JAVA 基礎(chǔ)課程（課程時(shí)長：10 天）

本階段主要針對 java 基礎(chǔ)進(jìn)行學(xué)習(xí)，全面講解 Java 語言基礎(chǔ)部分，重點(diǎn) 掌握類、對象、java 面向?qū)ο筇匦浴⒔涌?、等主要?nèi)容。通過此階段學(xué)習(xí)，學(xué) 員基本熟練掌握 java 語法，理解 java 特性，能夠用 java 語言去編程相關(guān)應(yīng)用 程序。

第二階段 java 課（課程時(shí)長：15 天）

學(xué)習(xí) java Web 都需要有比較扎實(shí)的 java 語言開發(fā)基礎(chǔ)，因此需要對學(xué)員 的 java 語言進(jìn)行強(qiáng)化。對于有 java 語言編程基礎(chǔ)的學(xué)員來說此課程能夠?qū)W(xué) 員平時(shí)容易忽略和沒有參透的重要內(nèi)容加以強(qiáng)化。對于沒有 java 語言編程基礎(chǔ) 的學(xué)員來說可以迅速掌握 java 的核心技術(shù)。

第三階段 JAVA WEB 核心（課程時(shí)長：15 天）

因?yàn)閿?shù)據(jù)要有展現(xiàn)載體，本階段主要針對 Web 靜態(tài)資源、JAVA WEB 后端實(shí) 現(xiàn)，主要圍繞 html5、css、javascript、jsp、servlet 等 JAVA WEB 基礎(chǔ)進(jìn)行 學(xué)習(xí)，熟練掌握J(rèn)AVA WEB原理、http協(xié)議、Tomcat容器使用、通過Servlet+jsp+javabean 的 mvc 模式開發(fā) Java Web 應(yīng)用

第四階段 大數(shù)據(jù)平臺(tái)的基礎(chǔ)軟件平臺(tái)（課程時(shí)長：5 天）

本階段主要學(xué)習(xí)大數(shù)據(jù)應(yīng)用離不開基礎(chǔ)軟件的支撐 ，且大部分大數(shù)據(jù)組件 部署在 Linux 操作系統(tǒng)上的用戶空間 ，也有很多組件也借鑒了 Linux 操作系 統(tǒng)的一些設(shè)計(jì)精髓 ，所以 Linux 既是大數(shù)據(jù)的強(qiáng)力支撐 ，本部分通過對 Linux 操作系統(tǒng)、展示大數(shù)據(jù)賴以生存的基礎(chǔ)環(huán)境。

第五階段 大數(shù)據(jù)離線技術(shù)分析

大數(shù)據(jù)離線處理特點(diǎn)數(shù)據(jù)量巨大且保存時(shí)間長、在大量數(shù)據(jù)上進(jìn)行復(fù)雜的批量運(yùn)算、數(shù)據(jù)在計(jì)算之前已經(jīng)完全到位，不會(huì)發(fā)生變化，能夠方便的查詢批量計(jì)算的結(jié)果，離線處理目前技術(shù)上已經(jīng)成熟，使用 Hdfs 存儲(chǔ)數(shù)據(jù)，使用MapReduce 做批量計(jì)算，計(jì)算完成的數(shù)據(jù)如需數(shù)據(jù)倉庫的存儲(chǔ)，直接存入Hive , 然后從 Hive 進(jìn)行展現(xiàn)。當(dāng)階段主要講解：Hadoop 核心組件、MapReduce、Hive 等等技術(shù)

第六階段 大數(shù)據(jù)實(shí)時(shí)技術(shù)分析

當(dāng)今時(shí)代，數(shù)據(jù)不再昂貴，但從海量數(shù)據(jù)中獲取價(jià)值變得昂貴，而要及時(shí)

獲取價(jià)值則更加昂貴，這正是大數(shù)據(jù)實(shí)時(shí)計(jì)算越來越流行的原因， 實(shí)時(shí)處理大

第七階段 分布式搜索

在大數(shù)據(jù)里面文本數(shù)據(jù)的搜索是很重要的一塊，特別是里面的分詞技術(shù)，，

我們需要深入學(xué)習(xí) java 領(lǐng)域里面的搜索核心技術(shù) lucene，同時(shí)也可以了解到

百度 google 這樣的搜索系統(tǒng)是怎么架構(gòu)實(shí)現(xiàn)的。

第八階段 機(jī)器學(xué)習(xí)（課程時(shí)長：5 天）

本課程基于 SparkMLlib 和 Mahout 大數(shù)據(jù)系列的機(jī)器學(xué)習(xí)框架，通過對常 用機(jī)器學(xué)習(xí)算法的原理理解以及編程應(yīng)用，幫助學(xué)生理解各種常用有監(jiān)督、無 監(jiān)督算法的原理以及應(yīng)用場景。通過該形式的學(xué)習(xí)方式可以避免學(xué)員數(shù)學(xué)基礎(chǔ) 差的問題，可以有效的幫助學(xué)員掌握必須掌握的機(jī)器學(xué)習(xí)基本算法。而且課程 中會(huì)使用到的案例基本上均是企業(yè)中實(shí)際遇到的問題，通過該課程的學(xué)習(xí)，可 以讓學(xué)員提前了解機(jī)器學(xué)習(xí)和大數(shù)據(jù)結(jié)合的技術(shù)在企業(yè)中的應(yīng)用方式。 通過對本課程的學(xué)習(xí)，學(xué)員可以對分類、回歸等算法有較為深入的了解， 以大數(shù)據(jù)為核心基礎(chǔ)，在不涉及大量數(shù)學(xué)模型與復(fù)雜編程知識(shí)的前提下，講師 逐步帶領(lǐng)學(xué)員熟悉并且掌握當(dāng)下流行的機(jī)器學(xué)習(xí)算法，如回歸、決策樹、SVM 等，并通過代碼實(shí)例來展示所討論的算法的實(shí)際應(yīng)用。

第九階段 大型企業(yè)項(xiàng)目實(shí)戰(zhàn)（課程時(shí)長：8 天）

【學(xué)校簡介】

廣州粵嵌通信科技股份有限公司的前身是廣東省嵌入式軟件技術(shù)公共中心，于 2005 年在廣州科學(xué)城成立，由美的集團(tuán)與廣東省政府合作創(chuàng)辦。廣州粵嵌通信科技股份有限公司于2011 年注冊成立，注冊資金 500 萬，新三板上市企業(yè)?，F(xiàn)今，公司已經(jīng)獲得專利產(chǎn)品20 多項(xiàng)，專利技術(shù)及軟著 30 多項(xiàng)，公司擁有國際先進(jìn)水平的開發(fā)軟件、儀器及設(shè)備。公司現(xiàn)有粵嵌眾創(chuàng)、粵嵌研發(fā)等品牌業(yè)務(wù)。公司經(jīng)過多年的發(fā)展，秉承“行業(yè)引領(lǐng),齊商共贏,開拓創(chuàng)新,服務(wù)誠信”的核心經(jīng)營理念，為業(yè)界提供全面的 IT 技術(shù)產(chǎn)品、服務(wù)和解決方案，在發(fā)展過程中形成了在 IT 技術(shù)自主創(chuàng)新方面的優(yōu)勢和能力。