我不敢相信我会问这个但是......
如何使用 SCALA 在 SPARK SQL 中转义 SQL 查询字符串？
我已经厌倦了一切，到处寻找。我认为 apache commons 库可以做到这一点，但没有运气：
import org.apache.commons.lang.StringEscapeUtils
var sql = StringEscapeUtils.escapeSql("'Ulmus_minor_'Toledo'");
df.filter("topic = '" + sql + "'").map(_.getValuesMap[Any](List("hits","date"))).collect().foreach(println);
返回以下内容：
主题 = '''Ulmus_minor_''托莱多'''
^ 在 scala.sys.package$.error(package.scala:27) 在 org.apache.spark.sql.catalyst.SqlParser.parseExpression(SqlParser.scala:45)
在 org.apache.spark.sql.DataFrame.filter(DataFrame.scala:651) 处
$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。(:29)
$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。(:34)
$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。(:36)
$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。(:38)
$iwC$$iwC$$iwC$$iwC$$iwC。(:40)
$iwC$$iwC$$iwC$$iwC。(:42)
$iwC$$iwC$$iwC。(:44) 在 $iwC$$iwC。(:46)
在 $iwC.(:48) 在 (:50) 在
.(:54) 于 .() 于
.(:7) 在 .() 在 $print()
在 sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法) 处
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:497) 处
org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065)
在
org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1338)
在
org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840)
在 org.apache.spark.repl.SparkIMain.interpret (SparkIMain.scala:871)
在 org.apache.spark.repl.SparkIMain.interpret (SparkIMain.scala:819)
在
org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:857)
在
org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:902)
在 org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:814) 处
org.apache.spark.repl.SparkILoop.processLine$1(SparkILoop.scala:657)
在 org.apache.spark.repl.SparkILoop.innerLoop$1(SparkILoop.scala:665)
在
org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$循环(SparkILoop.scala:670)
在
org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:997)
在
org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:945)
在
org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:945)
在
scala.tools.nsc.util.ScalaClassLoader$. savingContextLoader(ScalaClassLoader.scala:135)
在
org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$进程(SparkILoop.scala:945)
在 org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1059)
在 org.apache.spark.repl.Main$.main(Main.scala:31) 处
org.apache.spark.repl.Main.main(Main.scala) 位于
sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法) at
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:497) 处
org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:665)
在
org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:170)
在 org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:193)
在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:112)
在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
帮助会很棒。
j
这可能令人惊讶，但是：
var sql = "'Ulmus_minor_'Toledo'"
df.filter(s"""topic = "$sql"""")
工作得很好，尽管使用这个会更干净：
df.filter($"topic" <=> sql)
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
