Riak 在 MapReduce 查询中失败。使用哪种配置？

我正在与 riak / riak-js 结合开发一个 nodejs 应用程序，并遇到以下问题：

运行此请求

db.mapreduce
  .add('logs')
  .run();

正确返回存储在存储桶日志中的所有 155.000 个项目及其 ID：

[ 'logs', '1GXtBX2LvXpcPeeR89IuipRUFmB' ],
[ 'logs', '63vL86NZ96JptsHifW8JDgRjiCv' ],
[ 'logs', 'NfseTamulBjwVOenbeWoMSNRZnr' ],
[ 'logs', 'VzNouzHc7B7bSzvNeI1xoQ5ih8J' ],
[ 'logs', 'UBM1IDcbZkMW4iRWdvo4W7zp6dc' ],
[ 'logs', 'FtNhPxaay4XI9qfh4Cf9LFO1Oai' ],
....

如果我指定一个映射函数并仅使用存储桶日志中的几个项目

db.mapreduce
  .add([['logs', 'SUgJ2fhfgyR2WE87n7IVHyBi4C9'], ['logs', 'EMtywD1UFnsq9rNRuINLzDsHdh2'], ['logs', 'ZXPh5ws8mOdASQFEtLDk8CBRn8t']])
  .map( function(v) {return ["asd"]; } )
  .run();

一切正常，并返回以下预期输出：

[ 'asd', 'asd', 'asd' ]

如果我现在希望 riak 映射存储桶“logs”中的所有项目（大约 155.000 个小型 json 文档）

db.mapreduce    
  .add('logs')  
  .map( function(v) {return ["asd"]; } )    
  .run();

我只收到错误：

{ [Error: [object Object]] message: '[object Object]', statusCode: 500 }

这里发生了什么？在错误对象中没有写入任何有用的内容。

更新： riak-console 多次显示以下内容：

[notice] JS call failed: All VMs are busy.

将 riaks app.config 中的 map_js_vm_count 增加到 36 后，消息变为：

[error] Pipe worker startup failed:fitting was gone before startup

Links: Basho Labs Riak 驱动程序 riak-js http://basho-labs.github.com/riak-js/

basho.com 的 Bryan 回答了我的问题：

嗨，科尼利厄斯。您能描述一下您的 Riak 配置吗？ 具体来说，您的集群中有多少个节点，app.config 中的ring_creation_size 是多少？

例如，如果您在单节点开发集群上使用默认设置 {ring_creation_size, 64}，则很可能出现这种情况。 155,000 个项目足以让所有 64 个虚拟节点正常工作。

在第一种情况下，在提高 map_js_vm_count 之前，这 64 个虚拟节点仅争夺 8 个 Javascript VM，因此有些虚拟节点可能会长时间处于饥饿状态而超时，这将导致“所有虚拟机都忙”日志消息。

在第二种情况下，在提高 map_js_vm_count 后，这 36 个 Javascript VM 可能无法在查询超时到来之前处理所有 155,000 个项目。 “启动前安装已消失”日志消息表示运行查询的管道已关闭，但仍有输入到达虚拟节​​点。

在没有映射函数的简单情况下，您不会看到这些行为，因为不需要与 Javascript VM 进行交互。 此外，在这种情况下，甚至不会从磁盘中读取对象，从而进一步缓解了资源争用。

我期望最有帮助的两个配置解决方案是降低ring_creation_size 和提高查询超时。将ring_creation_size降低到16，甚至在单节点集群上降低到8将减少Javascript虚拟机的争用，因为在映射函数处理中尝试并行性会减少。提高查询超时（应该是“运行”函数的参数，或类似的参数，但我不熟悉 riak-js 客户端），将为查询提供更多时间在关闭之前完成，这可能是必要的克服处理速度慢的问题。

在 Erlang 中重写映射函数也应该有所帮助，因为它会更快，并且不会出现相同类型的 VM 争用。但是，我知道，这在早期开发中并不那么容易使用。

哈特哈， 布莱恩