问题描述
我正在Windows环境下使用Spark 1.4。 我必须设置eventLog目录,以便在应用程序完成后可以重新打开Spark UI。
但是我无法设置eventLog.dir,它在Windows环境下显示错误。
配置为:
<entry key="spark.eventLog.enabled" value="true" />
<entry key="spark.eventLog.dir" value="file:///c:/sparklogs" />
我得到的异常:
java.io.IOException: Cannot run program "cygpath": CreateProcess error=2,
The system cannot find the file specified
at java.lang.ProcessBuilder.start(Unknown Source)
at org.apache.hadoop.util.Shell.runCommand(Shell.java:206)
有人可以提供任何建议吗?
1楼
我已经成功使用此格式:
entry key="spark.eventLog.dir" value="c:////sparklogs" />