Idea配置本地spark环境,创建spark本地项目

500次阅读
没有评论

在本地创建spark项目需要先配置好本地的hadoop环境和scala环境,配置好后即可根据以下方法创建spark项目

1.添加scala插件

选择file下的settings

Idea配置本地spark环境,创建spark本地项目

搜索scala下载

Idea配置本地spark环境,创建spark本地项目

选择project structure

Idea配置本地spark环境,创建spark本地项目

点击加号,选择scala sdk

Idea配置本地spark环境,创建spark本地项目

点击download下载需要的版本

Idea配置本地spark环境,创建spark本地项目

2.创建工程

新建maven

Idea配置本地spark环境,创建spark本地项目

选择maven,下一步

Idea配置本地spark环境,创建spark本地项目

设置名字和路径,完成

Idea配置本地spark环境,创建spark本地项目
Idea配置本地spark环境,创建spark本地项目

3.配置依赖

在pom文件中添加

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.4.7</version>
    </dependency>
</dependencies>
Idea配置本地spark环境,创建spark本地项目

添加后更新maven,等待下载配置

4.新建Scala Class

右键项目名,选择

Idea配置本地spark环境,创建spark本地项目

勾选上scala,应用

Idea配置本地spark环境,创建spark本地项目

可以新建scala class了

Idea配置本地spark环境,创建spark本地项目

创建Object

Idea配置本地spark环境,创建spark本地项目

5.运行测试代码

编写以下代码

import org.apache.spark.{SparkConf, SparkContext}

object text {
  def main(args: Array[String]): Unit = {
    // TODO 建立spark框架链接
    val sparkConf = new SparkConf().setMaster("local").setAppName("wordcount")
    val sc = new SparkContext(sparkConf)

    // TODO 创建seqrdd
    val rdd1 = sc.parallelize(Seq("hello word","hello spark"))

    // TODO 提取rdd内容并显示1
    rdd1.foreach(item => println(item))

    // TODO 关闭连接
    sc.stop()
  }
}

运行结果

hello word
hello spark
Idea配置本地spark环境,创建spark本地项目
到点睡觉了
版权声明:本站原创文章,由 到点睡觉了2022-01-05发表,共计806字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)