spark的安装与配置

 时间:2024-11-15 16:41:49

在学习大数据框架hadoop的过程中,Spark的配置是必须的,但是在linux系蕙蝤叼翕统中对Spark的配置过程中会遇到很多配置错误的问题,这里我将自己在Ubuntu19.10下配置Spark的过程分享一下。供大家作为参考。

工具/原料

linux系统

Ubuntu版本:19.10

Spark版本:2.3.3

hadoop版本:3.0.2

下载spark

1、百度搜索Spark,找到【Downloads | ApacheSpark】点击进入Spark官方下载页面

spark的安装与配置

2、点击选择你的hadoop版本所对应的Spark版本,(这里我下载的版本是spark-2.3.3-bin-hadoop2.7.tgz)点击椭圆圈中的信息

spark的安装与配置

3、这里点击第一个,选择要安装的目录

spark的安装与配置spark的安装与配置

4、将下载好的spark压缩包通过U盘传到Ubuntu系统下(因为我将一台电脑装成了Ubuntu系统,没有用到虚拟机,所以我用的U盘来传文件)

5、将下载 spark-2.3.3-bin-hadoop2.7.tgz 文件文件移到/opt目录下并解压

spark的安装与配置spark的安装与配置

6、重命名文件(这里我命名的文件名是spark)

spark的安装与配置

7、编辑/etc/profile文件,添加环境变量(不要忘了source)

spark的安装与配置

Spark单机配置

1、编辑spark-env.sh文件(vim ./conf/spark-env.sh),在第一行添加以下配置信息:

spark的安装与配置

2、验证Spark安装和配置,通过运行Spark自带的示例,验证Spark是否安装成功

spark的安装与配置

3、运行结果如下图所示,可以得到π 的 14位小数近似值

spark的安装与配置

4、在主机的浏览器输如【localhost:8079】(单机模式)就可以看到有两个节点在spark集群上

spark的安装与配置
  • 英雄联盟怎么举报方法
  • servlet过滤器生命周期的方法
  • 怎么画卡通飞船
  • js 如何遍历字典
  • 怎样制作好看的PPT渐变填充背景图?
  • 热门搜索
    迟日江山丽的全诗意思 local是什么意思 vacation是什么意思 相忘于江湖是什么意思 文人墨客的意思 蒙蒙细雨的意思 看视频用什么播放器好 upset是什么意思 家用电烤箱什么牌子好 什么大振