我正在运行内存密集型代码，其中创建了一个管道，其中包括：
使用 Shimazaki 和 Shinomoto 的 Bin Width 算法找到最佳的 bin 值数量。
通过使用上面找到的相应 bin 值对同一列进行分桶来创建新列。
通过 8 个顺序 SQL 查询计算证据权重。
配置：
Python-3.6
火花 - 2.3
环境 - 独立机器（16 GB RAM 和 500 GB HDD，配备 i7 处理器）
IDE-Pycharm
我的疑问是，它正在按预期工作，但即使作业已成功完成，也会出现以下错误和警告。
关于为什么我收到以下内容有任何线索吗？在 Spark 提交时，我需要做任何调整才能使用最佳可用内存吗？
仅供参考 - 目前我只是使用 Pycharm Run 按钮运行而不是 Spark Submit，尽管在内部它的作用是相同的。
2018-05-25 18:13:06 ERROR AsyncEventQueue:70 - Dropping event from queue appStatus. This likely means one of the listeners is too slow and cannot keep up with the rate at which tasks are being started by the scheduler.
2018-05-25 18:13:07 WARN AsyncEventQueue:66 - Dropped com.codahale.metrics.Counter@4382d088 events from appStatus since Thu Jan 01 05:30:00 IST 1970.
None
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
