如何在 Windows 中使用 pyspark 启动 Spark Shell?

2023-12-07

我是 Spark 的初学者,并尝试按照此处的说明进行操作,了解如何使用 cmd 从 Python 初始化 Spark shell:http://spark.apache.org/docs/latest/quick-start.html

但是当我在 cmd 中运行以下命令时:

C:\Users\Alex\Desktop\spark-1.4.1-bin-hadoop2.4\>c:\Python27\python bin\pyspark 

然后我收到以下错误消息:

File "bin\pyspark", line 21 
export SPARK_HOME="$(cd ="$(cd "`dirname "$0"`"/..; pwd)" 
SyntaxError: invalid syntax

我在这里做错了什么?

附:当在 cmd 中时,我尝试C:\Users\Alex\Desktop\spark-1.4.1-bin-hadoop2.4>bin\pyspark

然后我收到""python" is not recognized as internal or external command, operable program or batch file".


您需要在系统路径中提供Python,您可以使用以下命令添加它setx:

setx path "%path%;C:\Python27"
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在 Windows 中使用 pyspark 启动 Spark Shell? 的相关文章

随机推荐

  • LNK1104 无法打开文件“legacy_stdio_definitions.lib”

    我已将我的项目从 vs 2012 移植到 vs 2015 我正在使用的库也是从 vs 2015 构建的 我使用 makefile 构建项目并收到此错误 LNK1104 cannot open file legacy stdio defini
  • 如何在java swing应用程序中保留和删除多个图形对象?

    我有一个图像 我使用其上的预定义位置来创建带有颜色的图形对象 单击鼠标 我尝试在其上用颜色创建一些椭圆形 事实上我没能达到这个目的 因为 当我单击预定义位置时 我可以在其上创建一个椭圆形 但是当我单击另一个预定义位置时 第一个椭圆形消失了
  • 如何在 SQL Server 中将日期正确转换为 ISO-8601 周数格式?

    ISO 8601 规定周数的格式为YYYY W 请注意 周数应为两位数 如 01 02 SELECT cast DATEPART YYYY CreationDate as varchar W cast DATEPART ISO WEEK G
  • 使用 udev 更改 ttyUSB 权限

    我的程序需要访问ttyUSB没有root权限 我尝试用它来改变它chmod 777 dev ttyUSB0如您所知 当我重新启动时 此权限更改为默认值 我如何为此配置我的 udev Rules d 寻找ttyUSB in the rules
  • m2e无法从nexus传输元数据,但maven命令行可以

    我正在使用 nexus 来托管我的 Maven 存储库 并且 maven 命令行 win32 和 linux 可以使用相同的命令和相同的 settings xml 成功地从该 nexus 传输工件 但 m2e 会失败 如下所示 WARNIN
  • 表达式中上标和下标相同的字符

    在情节中 我想要一个标题 其中应该包含 字符串 my title is 后跟由 引发的 caharecter alpha 即 alpha prime alpha 也有下标 G I tried expression paste my titl
  • 通过Python使用refresh token完成Oauth2.0授权(Google API服务创建)

    我正在尝试使用 Oauth2 通过无头 Linux 服务器访问 Google API 服务 我通读了这篇文章的所有答案 如何在没有用户干预的情况下授权应用程序 网络或安装 但他们都没有展示如何使用刷新令牌来生成访问令牌python pinn
  • 雅虎财经API

    如何使用 YQL 获取雅虎财经股票代码的完整列表 不尝试获取单个股票报价 我正在尝试找到可用股票代码的完整列表 例如 所有股票代码均来自纽约证券交易所 纳斯达克 雅虎财经在这方面可能帮不了你太多 您可以从交易所获取所有股票代码 然后在雅虎财
  • 如何使用 PHP 来使用 JavaScript?

    设想 我使用创建了一个过滤IF ELSE当用户单击 BOX A 和 BOX B 然后假设 BOX A 已满 在用户点击 保存按钮 后 将显示一条确认消息 说明 您选择的盒子已经满了 您想保存其他物品吗 这是我的代码
  • 如何在 Powershell 中同时对多个服务器运行命令

    我正在寻找一种方法来同时重新启动多个服务器上的三个服务 我知道如何使用循环针对服务器列表重新启动服务 但由于我有许多服务器 因此需要很长时间才能等待每台服务器上的每个服务按顺序重新启动 有没有办法立即向所有服务器发送重新启动服务命令 而不是
  • Python:找出本地时区

    我想将日志文件中的 UTC 时间戳与本地时间戳进行比较 创建本地时datetime对象 我使用类似的东西 gt gt gt local time datetime datetime 2010 4 27 12 0 0 0 tzinfo pyt
  • 异步启动长时间运行的进程

    在我们的 Web 应用程序中 用户可以进行需要更新大量数据库表的更改 所有这些的加载时间最长可达 30 秒 我不希望用户在导航到另一个页面之前等待该操作完成 我已将长时间运行的代码放在自己的页面上 例如 updateinfo aspx 并尝
  • 在 .net 4.0 中使用实体框架与 Oracle 数据库 - 可能吗?

    我正在构建一个针对 Net 4 0 的应用程序 目前不能更高 我需要访问 Oracle Db 11g 并且我想使用实体框架 为了能够做到这一点 我知道我必须使用 Oracle 托管数据访问 Oracle ManagedDataAccess
  • “参数无效。”使用保存位图时

    我正在尝试以指定的编码质量保存位图 jpg 格式 但是 在调用保存方法时出现异常 参数无效 如果我省略 bmp save 中的最后两个参数 它就可以正常工作 EncoderParameters eps new EncoderParamete
  • 易失性、互锁性、锁定性

    假设一个类有一个public int counter由多个线程访问的字段 这int仅递增或递减 要增加此字段 应使用哪种方法 为什么 lock this locker this counter Interlocked Increment r
  • 使文本位于图像上的一行上方

    我正在开发一个项目 尝试在所有浏览器尺寸的图像上的一行上方添加文本 当您看到下面的 codpen 链接时 这一点会更清楚 我现在面临的问题是 一旦我将顶部值设置到正确的位置并更改浏览器宽度 文本就不再位于该行上方 text position
  • 每台服务器的套接字连接的实际/硬限制是多少

    我有许多客户端设备打开由 Windows 2008 R2 服务器上运行的服务公开的套接字连接 我想知道并发客户端连接数的硬限制是什么 根据本文 一个硬限制是 曾经 16 777 214 实际限制还取决于您的应用程序 例如 如果您为每个连接创
  • java.lang.IllegalStateException:使用 Auth.GOOGLE_SIGN_IN_API 时不得在 GoogleApiClient.Builder 中设置范围

    我正在使用带有身份验证 api 的驱动器 api 我需要先登录谷歌帐户 然后将文件上传到驱动器 问题是 当我仅使用未经身份验证的驱动器 api 时 显示无法登录 我首先使用 GoogleSignInOptions gso new Googl
  • 具有多个成员的高效运算符<

    假设一个类有多个与对象顺序相关的成员 例如 A T1 x T2 y 标准执行情况operator lt 我知道是 bool A operator lt const A a return x lt a x x a x y lt a y 但这对
  • 如何在 Windows 中使用 pyspark 启动 Spark Shell?

    我是 Spark 的初学者 并尝试按照此处的说明进行操作 了解如何使用 cmd 从 Python 初始化 Spark shell http spark apache org docs latest quick start html 但是当我