我必须使用 Snappy 来压缩 map o/p 和 map-reduce o/p。此外，这应该是可拆分的。
正如我在网上学习的那样，为了让 Snappy 编写可分割的 o/p，我们必须以类似容器的格式使用它。
您能建议如何去做吗？我尝试在网上找到一些例子，但找不到合适的例子。我使用的是 Hadoop v0.20.203。
谢谢。
皮尤什
用于输出
conf.setOutputFormat(SequenceFileOutputFormat.class);
SequenceFileOutputFormat.setOutputCompressionType(conf, CompressionType.BLOCK);
SequenceFileOutputFormat.setCompressOutput(conf, true);
conf.set("mapred.output.compression.codec","org.apache.hadoop.io.compress.SnappyCodec");
用于地图输出
Configuration conf = new Configuration();
conf.setBoolean("mapred.compress.map.output", true);
conf.set("mapred.map.output.compression.codec","org.apache.hadoop.io.compress.SnappyCodec");
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
