平臺環境：
- 本地win7系統
- 本地spark和集群spark都是2.0.0
- IDEA
運行模式：
- local
- Spark Standalone
- YARN
local模式
local模式只需要將程序中的setMaster(“local”)就可以了，一般不會出現什么問題。
Spark Standalone模式
在沒有加sc.addJar(“F:\大數據\jar包\wordcount.jar”);這條語句之前報如下錯誤：
java.lang.RuntimeException: Stream '/jars/wordcount.jar' was not found.
顯然是因為jar包未能傳給工作節點，將生成的jar包放在上面路徑中，運行成功。
YARN模式
修改的代碼如下：
SparkConf conf = new SparkConf().setAppName("JavaWordCount").setMaster("yarn-client"); conf.set("spark.yarn.dist.files", "src\\yarn-site.xml");
將core-site.xml、hdfs-site.xml、yarn-site.xml三個文件放在項目src文件夾下，這三個文件從hadoop集群配置文件夾中復制下來，直接run java application就可以了。
有些教程還會有如下代碼：
sparkConf.set("spark.yarn.jar", "hdfs://192.168.0.1:9000/user/bigdatagfts/spark-assembly-1.5.2-hadoop2.6.0.jar");
設置spark jar包地址，我并沒有設置，但是日志顯示，也會有jar包的上傳過程。具體原理還不是很清楚，為什么需要上傳這樣的jar包。上面設置的yarn-client，如果你的電腦是在集群里面的，應該是設置為yarn-cluster的。
posted on 2018-03-13 17:09
Ke 閱讀(1399)
評論(0) 編輯 收藏