当前位置: 代码迷 >> java >> Windows环境上的Apache Spark:spark.eventLog.dir
  详细解决方案

Windows环境上的Apache Spark:spark.eventLog.dir

热度:92   发布时间:2023-07-31 11:11:52.0

我正在Windows环境下使用Spark 1.4。 我必须设置eventLog目录,以便在应用程序完成后可以重新打开Spark UI。

但是我无法设置eventLog.dir,它在Windows环境下显示错误。

配置为:

<entry key="spark.eventLog.enabled" value="true" />
<entry key="spark.eventLog.dir" value="file:///c:/sparklogs" /> 

我得到的异常:

java.io.IOException: Cannot run program "cygpath": CreateProcess error=2,  
The system cannot find the file specified
    at java.lang.ProcessBuilder.start(Unknown Source)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:206)

有人可以提供任何建议吗?

我已经成功使用此格式:

entry key="spark.eventLog.dir" value="c:////sparklogs" /> 
  相关解决方案