我正在尝试处理一个包含很多特殊字符的文件，例如德语变音符号（ä，ü，o）等，如下所示：
sc.hadoopConfiguration.set("textinputformat.record.delimiter", "\r\n\r\n") sc.textFile("/file/path/samele_file.txt")
但在阅读内容时，这些特殊字符无法识别。
我认为默认编码不是 UTF-8 或类似格式。我想知道是否有一种方法可以在此 textFile 方法上设置编码，例如：
sc.textFile("/file/path/samele_file.txt",mode="utf-8")`
不可以，如果以UTF-8模式读取非UTF-8格式的文件，非ascii字符将无法正确解码。请将文件转换为UTF-8编码后再读取。
您可以参考读取不同格式的文件 https://github.com/databricks/spark-csv/blob/master/src/test/scala/com/databricks/spark/csv/util/TextFileSuite.scala
context.hadoopFile[LongWritable, Text, TextInputFormat](location).map(
pair => new String(pair._2.getBytes, 0, pair._2.getLength, charset)
)
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
