博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
在编译器中调试spark程序处理
阅读量:5043 次
发布时间:2019-06-12

本文共 880 字,大约阅读时间需要 2 分钟。

在IDEA中调试spark程序会报错

18/05/16 07:33:51 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

18/05/16 07:33:51 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
at LineAgeDemo$.main(LineAgeDemo.scala:12)
at LineAgeDemo.main(LineAgeDemo.scala)
18/05/16 07:33:52 INFO SparkContext: Successfully stopped SparkContext
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
at LineAgeDemo$.main(LineAgeDemo.scala:12)
at LineAgeDemo.main(LineAgeDemo.scala)

解决办法是在VM option中加入-Dspark.master=local

 

转载于:https://www.cnblogs.com/qizhelongdeyang/p/9044079.html

你可能感兴趣的文章
二棵树某两个节点的公共祖先。
查看>>
杰卡德距离
查看>>
7--OC中NSLog函数输出格式详解
查看>>
带着问题学习openstack
查看>>
jmeter分布式运行
查看>>
re的search与match
查看>>
Spring项目的发展历史和SpringBoot的发展历史
查看>>
MVC View 页面手动传递参数显示数据
查看>>
Linux免密远程登陆
查看>>
安装并使用JUnit
查看>>
如何将mysql的路径加入环境变量
查看>>
<Spark Streaming><Flume><Integration>
查看>>
Jmeter之检查点
查看>>
Xilium.CefGlue怎么使用Js调用C#方法
查看>>
剖析servlet injection及源码分析.
查看>>
SAP Dependency 相关性
查看>>
Linux 内存清理
查看>>
アプリ:old basement -地下倉庫からの脱出-脱出ゲーム 攻略
查看>>
Ubuntu的人性化配置
查看>>
POJ-2947 Widget Factory 高斯消元
查看>>