我安装了 anaconda,还下载了 Spark 1.6.2。我使用此答案中的以下说明为 Jupyter 配置 Spark在此输入链接描述 https://stackoverflow.com/questions/33064031/link-spark-with-ipython-notebook
我已经下载并解压了spark目录
~/spark
现在,当我 cd 进入该目录并进入 bin 时,我看到以下内容
SFOM00618927A:spark $ cd bin
SFOM00618927A:bin $ ls
beeline pyspark run-example.cmd spark-class2.cmd spark-sql sparkR
beeline.cmd pyspark.cmd run-example2.cmd spark-shell spark-submit sparkR.cmd
load-spark-env.cmd pyspark2.cmd spark-class spark-shell.cmd spark-submit.cmd sparkR2.cmd
load-spark-env.sh run-example spark-class.cmd spark-shell2.cmd spark-submit2.cmd
我还添加了上述答案中提到的环境变量到我的 .bash_profile 和 .profile
现在,在 Spark/bin 目录中,我要检查的第一件事是 pyspark 命令是否首先在 shell 上运行。
所以我在执行 cd Spark/bin 之后执行此操作
SFOM00618927A:bin $ pyspark
-bash: pyspark: command not found
按照我可以做的所有步骤后的答案
pyspark
在任何目录的终端中,它应该启动带有 Spark 引擎的 jupyter 笔记本。但即使是 shell 内的 pyspark 也无法工作,忘记让它在 juypter 笔记本上运行
请告知这里出了什么问题。
Edit:
I did
open .profile
在主目录中,这就是存储在路径中的内容。
export PATH=/Users/854319/anaconda/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/Library/TeX/texbin:/Users/854319/spark/bin
export PYSPARK_DRIVER_PYTHON=ipython
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark