一.JDK1.8安裝
從Apache官網上下載JDK1.8.x安裝包:
安裝過程中指定具體的安裝路徑,盡量不使用默認路徑!
配置系統參數:
編輯Path,添加JAVA配置:
二.安裝Scala編程語言
配置Scala系統參數:
三.安裝IDEA
安裝成功后先設置外觀樣式,然后選擇打開項目,效果如下:
指定初始化plugins scala版本:
有外網下載和安裝本地插件兩種模式:
有外網可以聯網下載:
沒有外網可以安裝本地初始化scala插件:
打開代碼可以發現需要重新設置JDK和Scala:
指定JDK和Scala:
四.設置開發樣式
可以看出字體是比較小的,點擊File --> Settings:
編輯Editor下font創建一個新語言模板:
可以設置字體、字號和行間距,下面會實時顯示效果:
實際效果如下:
五.Demo案例
代碼:
import org.apache.spark.sql.SparkSession
/**
* Created by Administrator on 2020/11/19.
*/
object Test {
def main(args: Array[String]) {
val spark = SparkSession.builder().AppName("wordCount")
.master("local[2]")
.getOrCreate()
// 加載數據
val textRDD = spark.sparkContext.textFile("D:/wordcount.txt")
val result = textRDD.map(row => row.replace(",", ""))//去除文字中的,防止出現歧義
.flatMap(row => row.split(" "))//把字符串轉換為字符集合
.map(row => (row, 1))//把每個字符串轉換為map,便于計數
.reduceByKey(_+_)//計數
.filter(_._2 > 2) // 根據出現次數過濾
// 打印結果
result.foreach(println)
}
}
執行結果:
備注:
需要導入Spark開發所需要的包,可以使用Maven或本地導入: