如何使用 C# 查找文本中重复出现的词组？ [关闭]

我正在统计重复出现的字数字符串生成器（sb）我在互联网上找到了这段代码，据作者称，它与 Word 的字数计数器非常一致。

StringBuilder wordBuffer = new StringBuilder();
        int wordCount = 0;
        // 1. Build the list of words used. Consider ''' (apostrophe) and '-' (hyphen) a word continuation character.
        Dictionary<string, int> wordList = new Dictionary<string, int>();
        foreach (char c in sb.ToString())
        {

            if (char.IsLetter(c) || c == '\'' || c == '-')
            {
                wordBuffer.Append(char.ToLower(c));
            }
            else
            {
                if (wordBuffer.Length > 3)
                {
                    int count = 0;
                    string word = wordBuffer.ToString();
                    wordList.TryGetValue(word, out count);
                    wordList[word] = ++count;

                    wordBuffer.Clear();
                    wordCount++;
                }
            }
        }

这是我的示例文本：

绿藻（单数：green alga）是一个大型的、非正式的藻类群，由叶绿藻和轮藻藻组成，现在被分为不同的科。 陆地植物或有胚植物（高等植物）被认为是从轮藻植物中出现的。[1]由于有胚植物不是藻类，因此被排除在外，因此绿藻是一个并系群。然而，包括绿藻和有胚植物的进化枝是单系的，被称为绿色植物进化枝和植物界。绿藻包括单细胞和群落鞭毛虫，大多数每个细胞有两个鞭毛，以及各种群落、球状和丝状形式，以及宏观的多细胞海藻。在高等植物的近亲Charales中，组织发生了完全的细胞分化。绿藻约有8,000种。[2]许多物种的大部分生命都以单细胞的形式存在，而其他物种则形成群落（coenobia）、长丝或高度分化的宏观海藻。 其他一些生物体依靠绿藻进行光合作用。眼虫和氯蛛植物中的叶绿体是从摄入的绿藻中获得的，[1]并且后者保留了核形态（退化核）。绿藻也共生于纤毛虫草履虫、水螅和扁虫中。一些绿藻物种，特别是Trebouxiophyceae纲的Trebouxia属和Trentepohlia（Ulvophyceae纲），可以与真菌共生形成地衣。一般来说，地衣中的真菌物种不能独立生存，而藻类物种通常在没有真菌的情况下生活在自然界中。 Trentepohlia 是一种丝状绿藻，可以独立生活在潮湿的土壤、岩石或树皮上，也可以在石墨科地衣中形成光共生体。

通过我的示例文本，我得到green and algae第一行中的单词符合预期。

问题是，我不仅需要单个单词，我还需要单词组。对于这个示例文本，我想要绿藻词也一起green and algae words.

And my 可选问题是：我需要以高性能来完成，因为文本可能会很长。据我研究，在这种情况下使用正则表达式并不是高性能，但我不确定是否有第二种方法可以实现这一点。

提前致谢。

UPDATE 如果您明白我要问的内容，则无需阅读这些内容。
由于我看到太多关于我的“组”定义不清楚的评论，我认为我需要更详细地陈述我的观点，我希望在评论部分写下这些行，但对于本次更新来说，这是一个有点狭窄的区域。首先，我知道 StackOverflow 不是编码服务。我试图找到文章中最常用的词组，并尝试确定文章的内容，我们也可以将其称为标签生成器。为此，我尝试找到最常用的单词，一开始还可以。然后我意识到这不是决定主题的好方法，因为我不能假设这篇文章只是关于第一个或第二个词。在我的例子中，我不能说这篇文章只是关于green or algae因为它们在这里意味着某种意义，而不是单独存在。如果我尝试用一​​篇关于像“海伦娜·博纳姆·卡特”这样的三个名字的名人的文章（如果我假设它是沿着文章写出全名，而不仅仅是姓氏），我想把这些词放在一起而不是一个接一个。我正在尝试实现更聪明的算法，以最准确的方式一次性猜测主题。我不想限制字数，因为文章可能是关于“联合国工业发展组织”（我再次假设它现在写成文章中的“UNIDO”）。我可以通过尝试获取从任何索引开始到任意长度的文本末尾的每个单词组来实现此目的。好吧，这确实不是一个好方法，尤其是对于长文本，但这并非不可能，对吗？但我一直在寻找更好的方法来做到这一点，我只是询问更好的算法思想和最好使用的工具，我可以自己编写代码。我希望我最终明确了我的目标。

实现此目的的方法是获取初始文本，并使用空格将其拆分为字符串数组string.split(' ');

接下来，您需要迭代数组中的每个字符串。 这对于单个单词来说很容易，但对于组来说则更复杂。 因此，您需要定义组大小。您必须控制每次迭代时指针在数组中前进的位数。

一旦能够迭代数组，您就需要获取该组单词（无论您选择的长度），并将其存储在某个地方。 示例中的字典是一个好方法。

如果字典包含单词组，则将其值加一。 如果不包含该组，只需添加它，默认值为 1。

 if (wordList.ContainsKey(theKey)) {
   wordList[theKey]++;
 } else {
   wordList.Add(theKey, 1);
 }

您确实正确地提到您的研究表明正则表达式的性能并不高。对于此任务，正则表达式是完全错误的工具 - 您不是在寻找模式，而是在检查组。 为此，您必须从头到尾浏览文本，检查值。

任何涉及遍历文本并对其运行重复函数的任务都不应使用正则表达式。

编辑：我对正则表达式性能的最初假设是不正确的 - 在 C# 中，它似乎比 Java 快得多，但我仍然认为纯正则表达式方法不如使用正则表达式标记文本那么快然后使用循环或 linq 表达式来查找组。

Stating

@galakt 正如我上面提到的，让我们说 3。这重要吗？

词组的概念是完全抽象的。是的，这是一组单词，但整个文本块都是一组单词。 必须应用规则来控制您对这组单词的操作方式。

下面是一个示例方法，它将根据通过方法调用传递的大小返回所有单词组的字典。 它不会从文本中删除任何非字母数字字符，但即使组大小较大，它也很快。

要调用它，请使用Dictionary<String, int> SingleWordGroups = GetWordGroupInstances(1);

    private Dictionary<String, int> GetWordGroupInstances(int GroupSize) {

        Dictionary<String, int> WordGroupInstances = new Dictionary<string, int>();

        //Grab the string to work from...
        String[] sourceText = GetSourceText().Split(' ');
        int pointer = 0;
        StringBuilder groupBuilder = new StringBuilder();
        while (pointer < sourceText.Length - GroupSize) {
            groupBuilder.Clear();
            int offset = pointer + GroupSize;
            for (int i = pointer; i < offset; i++) {
                //prepend a space to allow separation between words in groups. 
                //We can make a substring from this later starting from char 1 
                //to lose the initial whitespace from the string.
                groupBuilder.Append(" ").Append(sourceText[i]);
            }

            String key = groupBuilder.ToString().Substring(1);
            if (!WordGroupInstances.ContainsKey(key)) {
                WordGroupInstances.Add(key, 1);
            } else {
                WordGroupInstances[key]++;
            }

            /**
             * Setting the pointer to increase by group size grabs a group, moves on
             * to the end of the group, and grabs the next.
             * 
             */
            pointer += GroupSize;

            /**
             * Setting the point to increment by 1 grabs a group, advances by 1 word, then
             * grabs the next, so from the phrase - "Hello world, I'm some text", the groups of size 2 would be
             * "Hello world,", "world, I'm", "I'm some" etc...
             */
            //pointer++;
        }

        return WordGroupInstances;

    }

下面的方法被修改为依次产生所有组输出，所以 这 绿色的 绿藻 绿藻 ETC...

值得注意的是，整个文本必须转换为小写或大写，以便单词不区分大小写。 我对此进行了一些改进以提高性能（并消除了对中断指令的需要）。

   private Dictionary<String, int> GetAllGroups() {
        Dictionary<string, int> WordGroupInstances = new Dictionary<string, int>();
        StringBuilder groupBuilder = new StringBuilder();
        String[] sourceText = GetSourceText().Split(' ');

        for (int i = 0; i < sourceText.Length; i++) {
            groupBuilder.Clear();
            for (int j = i; j < sourceText.Length; j++) {
                groupBuilder.Append(" ").Append(sourceText[j]);
                String key = groupBuilder.ToString().Substring(1);
                if (!WordGroupInstances.ContainsKey(key)) {
                    WordGroupInstances.Add(key, 1);
                } else {
                    WordGroupInstances[key]++;
                }
            }
        }
        return WordGroupInstances;
    }

经过对文本语料库（288个词）的性能测试，它将在0.171886秒内创建41773个词组。