平臺(tái)環(huán)境：
- 本地win7系統(tǒng)
- 本地spark和集群spark都是2.0.0
- IDEA
運(yùn)行模式：
- local
- Spark Standalone
- YARN
local模式
local模式只需要將程序中的setMaster(“local”)就可以了，一般不會(huì)出現(xiàn)什么問(wèn)題。
Spark Standalone模式
在沒(méi)有加sc.addJar(“F:\大數(shù)據(jù)\jar包\wordcount.jar”);這條語(yǔ)句之前報(bào)如下錯(cuò)誤：
java.lang.RuntimeException: Stream '/jars/wordcount.jar' was not found.
顯然是因?yàn)閖ar包未能傳給工作節(jié)點(diǎn)，將生成的jar包放在上面路徑中，運(yùn)行成功。
YARN模式
修改的代碼如下：
SparkConf conf = new SparkConf().setAppName("JavaWordCount").setMaster("yarn-client"); conf.set("spark.yarn.dist.files", "src\\yarn-site.xml");
將core-site.xml、hdfs-site.xml、yarn-site.xml三個(gè)文件放在項(xiàng)目src文件夾下，這三個(gè)文件從hadoop集群配置文件夾中復(fù)制下來(lái)，直接run java application就可以了。
有些教程還會(huì)有如下代碼：
sparkConf.set("spark.yarn.jar", "hdfs://192.168.0.1:9000/user/bigdatagfts/spark-assembly-1.5.2-hadoop2.6.0.jar");
設(shè)置spark jar包地址，我并沒(méi)有設(shè)置，但是日志顯示，也會(huì)有jar包的上傳過(guò)程。具體原理還不是很清楚，為什么需要上傳這樣的jar包。上面設(shè)置的yarn-client，如果你的電腦是在集群里面的，應(yīng)該是設(shè)置為yarn-cluster的。
posted on 2018-03-13 17:09
Ke 閱讀(1404)
評(píng)論(0) 編輯 收藏