在windows環境下使用Intellij idea遠程執行spark程序時，遇到了以下問題：
Intellij控制臺輸出警告：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
此時程序會一直loading，running，loading，running…的循環，并持續出現上面的警告。
出現這個錯誤可能有幾種原因：
- host配置不正確
- worker內存不足
- 相關端口號被占用
針對第二種原因，通過修改配置文件中worker和master使用內存資源的參數即可解決。
針對第三種原因，可以查看占用端口的程序并將其關閉，或者重啟spark集群。
解決方法：
1. 修改本機hosts文件，在修改第一行，添加自己的hostName，如：
127.0.0.1 bob-PC
2.在spark集群的所有節點的hosts中添加本地提交任務的windows節點的ip和hostname，如：
192.168.189.19 bob-PC
posted on 2018-03-12 18:09
Ke 閱讀(2410)
評論(0) 編輯 收藏 所屬分類:
spark