Spark 安装、启动


下载安装

下载地址:

http://spark.apache.org/

根据需要选择安装包,spark-2.1.1-bin-hadoop2.7.tgz

然后解压,并在 vi ~/.bash_profile配置环境变量

SPARK_HOME=/Users/onlyone/software/spark-2.1.1-bin-hadoop2.7

启动

  • 启动Master,Master会记录并分配系统资源。

并提供界面查看系统的运行情况 : http://172.16.104.120:8080/

./sbin/start-master.sh
  • 启动工作节点,它将会执行Spark作业
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://onlyonedeMacBook-Pro.local:7077 & 
  • 如果想停止所有的进程
 ./sbin/stop-all.sh  

运行任务

将工程导出jar文件,并保存在$SPARK_HOME根目录下

终端执行下面命令,提交任务:

./bin/spark-submit --class com.data.spark.StudentAvgScore  --master spark://onlyonedeMacBook-Pro.local:7077 spark-core-1.0-SNAPSHOT.jar

运行结果:

//若干spark系统日志
。。。。。
zhangsan的平均分:85.5
lihua的平均分:85.0
xiaoming的平均分:93.0
wangwu的平均分:76.5