1.Spark集群部署及開發環境搭建。內容包括Hadoop集群、Spark集群搭建,Intellij IDEA Spark開發環境搭建, Spark Shell的使用等。
2.Spark 運行原理。內容包括spark腳本文件解析、Spark 幾種不同運行方式、RDD原理、寬依賴與窄依賴、Spark 任務調度等。
3.Spark 編程模型,介紹Spark編程模型、對常用的transformation及action操作進行介紹。
4.Spark SQL與DataFrame,介紹Spark SQL 及DataFrame的運行原理及使用方法,利用案例介紹Spark SQL的使用。
5.Spark 流式計算。介紹DStream、Spark Streaming原理,并通過幾個案例說明其使用。
6.Spark 機器學習。介紹Spark MLlib架構,通過K-Mean算法、隨機森林等算法說明Spark MLlib的使用。
7.Spark Graphx。介紹Spark圖計算及相關數據結構,用PageRank算法說明其使用。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。