无法在 Document-Term-Matrix 中看到 `RTextTools::toLower()` 文本的结果

我尝试创建一个矩阵，为此我想降低文本。 为此，我使用此 R 指令：

matrix = create_matrix(tweets[,1], toLower = TRUE, language="english", 
                      removeStopwords=FALSE, removeNumbers=TRUE, 
                      stemWords=TRUE) 

这是 R 代码：

library(RTextTools)
library(e1071)

pos_tweets =  rbind(
  c('j AIME la voiture', 'positive'),
  c('cette machine est performante', 'positive'),
  c('je me sens en bonne forme ce matin', 'positive'),
  c('je suis super excitée d aller voir le spectacle de demain', 'positive'),
  c('il est mon meilleur ami', 'positive')
)



neg_tweets = rbind(
  c('je séteste cette voiture', 'negative'),
  c('ce film est horrible', 'negative'),
  c('je suis fatiguée ce matin', 'negative'),
  c('je déteste ce concert', 'negative'),
  c('il n est pas mon ami', 'negative')
)

test_tweets = rbind(
  c('je suis heureuse ce matin', 'negative'),
  c('un bon ami', 'negative'),
  c('je me sens triste', 'positive'),
  c('pas belle cette maison', 'negative'),
  c('mauvaise chanson', 'negative')
)

tweets = rbind(pos_tweets, neg_tweets, test_tweets)

# build dtm
matrix= create_matrix(tweets[,1], toLower = TRUE, language="french", 
                      removeStopwords=FALSE, removeNumbers=TRUE, 
                      stemWords=TRUE) 

我注意到矩阵中存在大写字母的问题。

你能向我解释一下为什么我会遇到这个问题吗？

谢谢

正如 @chteaur 所说，它确实在内部执行 toLower，它只是不会在任意点向您公开管道的内容。 RTextTools + tm 对您在管道中可以执行的操作、地点、时间以及顺序进行了严格的结构限制。真是令人沮丧。避免这种情况...

我推荐你编写自己的管道，以及我最近在调查这个问题时发现的最好的管道开源包是quanteda https://rdrr.io/cran/quanteda/。 为了说明这一点，它有一个重载的降低（） https://rdrr.io/cran/quanteda/man/toLower.html您可以在字符串、语料库、标记上使用该方法 - 无论您喜欢在哪里，都可以在停用词、标点符号删除和词干之前或之后使用，没有任何限制。与 RTextTools + tm 不同，它还有大量其他有用的方法可以按照您想要的任意步骤顺序构建管道。 （您还可以通过查看活跃维护者的数量/比率、提交、问题、修复、发布、github、SO、google 上的点击量、代码和 API 的清洁度来衡量像 Quanteda 这样的包的有用性...） 。

在前端使用 RTextTools + tm 有时很痛苦，而且常常受到限制。我只是发现了太多的错误、限制、语法怪癖和烦恼——它降低了我的生产力，并不断让我发疯。而且它的性能也不太好。您仍然可以使用 (RTextTools +) tm 来构建和操作 DTM（和 TF/TFIDF）矩阵，并使用 e1071 作为分类器。

另外：荣誉提及qdap https://trinker.github.io/qdap/用于在文档/话语级别添加类似的有用工具的包。

（PS：R 文本处理包如此割裂，这确实令人难过……这么多人从事交叉目的并疯狂地重新发明轮子……但有时这种情况的发生有几个原因。）