有没有一种使用正则表达式快速解析大文件的方法？

问题： 非常非常大的文件，我需要逐行解析以从每行获取 3 个值。一切正常，但解析整个文件需要很长时间。可以在几秒钟内完成此操作吗？通常所需时间为 1 分钟到 2 分钟。

示例文件大小为 148,208KB

我使用正则表达式来解析每一行：

这是我的 C# 代码：

private static void ReadTheLines(int max, Responder rp, string inputFile)
{
    List<int> rate = new List<int>();
    double counter = 1;
    try
    {
        using (var sr = new StreamReader(inputFile, Encoding.UTF8, true, 1024))
        {
            string line;
            Console.WriteLine("Reading....");
            while ((line = sr.ReadLine()) != null)
            {
                if (counter <= max)
                {
                    counter++;
                    rate = rp.GetRateLine(line);
                }
                else if (max == 0)
                {
                    counter++;
                    rate = rp.GetRateLine(line);
                }
            }
            rp.GetRate(rate);
            Console.ReadLine();
        }
    }
    catch (Exception e)
    {
        Console.WriteLine("The file could not be read:");
        Console.WriteLine(e.Message);
    }
}

这是我的正则表达式：

public List<int> GetRateLine(string justALine)
{
    const string reg = @"^\d{1,}.+\[(.*)\s[\-]\d{1,}].+GET.*HTTP.*\d{3}[\s](\d{1,})[\s](\d{1,})$";
    Match match = Regex.Match(justALine, reg,
                                RegexOptions.IgnoreCase);

    // Here we check the Match instance.
    if (match.Success)
    {
        // Finally, we get the Group value and display it.

        string theRate = match.Groups[3].Value;
        Ratestorage.Add(Convert.ToInt32(theRate));
    }
    else
    {
        Ratestorage.Add(0);
    }
    return Ratestorage;
}

下面是一个要解析的示例行，通常大约 200,000 行：

10.10.10.10 - - [27/11/2002:16:46:20 -0500]“获取/solr/HTTP/1.1”200 4926 789

内存映射文件 http://msdn.microsoft.com/en-us/library/dd997372.aspx and 任务并行库 http://msdn.microsoft.com/en-us/library/dd460717.aspx求助。

1. 创建具有多个随机访问视图的持久 MMF。每个视图对应于文件的特定部分
2. 定义解析方法，参数如下IEnumerable<string>，基本上是抽象一组未解析的行
3. 为每个 MMF 视图创建并启动一项 TPL 任务Parse(IEnumerable<string>)作为任务操作
4. 每个工作任务将解析​​后的数据添加到共享队列中阻塞收集 http://msdn.microsoft.com/en-us/library/dd267312.aspx type
5. 另一个任务听 BC (GetConsumingEnumerable() http://msdn.microsoft.com/en-us/library/dd395014.aspx）并处理已经由工作任务解析的所有数据

See 管道图案 http://msdn.microsoft.com/en-us/library/ff963548.aspx on MSDN

必须说这个解决方案是为了.NET Framework >=4