我正在 AWS 中开发 Glue,并尝试在本地开发中进行测试和调试。我按照这里的说明进行操作https://aws.amazon.com/blogs/big-data/developing-aws-glue-etl-jobs-locally-using-a-container/ https://aws.amazon.com/blogs/big-data/developing-aws-glue-etl-jobs-locally-using-a-container/在本地开发 Glue 作业。在那篇文章中,他们使用 Glue 1.0 图像进行测试,并且它可以正常工作。但是,当我加载并尝试使用 Glue 3.0 版本进行开发时;我按照指导步骤操作,但是,我无法像帖子所说的那样在 :8888 上打开 Jupyter 笔记本,即使每个步骤似乎都是正确的。
这是我在 Glue 3.0 容器上启动 Jupyter 笔记本的 cmd
docker run -itd -p 8888:8888 -p 4040:4040 -v ~/.aws:/root/.aws:ro --name glue3_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/jupyter/jupyter_start.sh
http://localhost:8888 上没有任何显示。
还是不知道为什么!我理解差异。在不同版本的 Glues 之间只想开发和测试它的最新版本。有人遇到同样的问题吗?
谢谢。
GLUE 3.0 图像似乎在 SSL 方面存在一些问题。本地工作的解决方法是禁用 SSL(您还必须更改脚本路径,因为文档未更新)。
$ docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE_SSL="true" \
-e AWS_ACCESS_KEY_ID=$(aws --profile default configure get aws_access_key_id) \
-e AWS_SECRET_ACCESS_KEY=$(aws --profile default configure get aws_secret_access_key) \
-e AWS_DEFAULT_REGION=$(aws --profile default configure get region) \
--name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 \
/home/glue_user/jupyter/jupyter_start.sh
几秒钟后,您应该有一个正在运行的 Jupyter Notebook 实例http://127.0.0.1:8888 http://127.0.0.1:8888
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)