OpenXML Sax 方法可将 100K+ 行快速导出到 Excel

我一直在尝试提高写入 xlsx 的 SAX 方法的性能。我知道 Excel 中的行数限制为 1048576 行。我只达到过这个极限几次。在大多数情况下，我只写出大约 125K 到 250K 行（一个大数据集）。我尝试过的代码似乎没有那么快，因为它会多次写入文件。我希望涉及一些缓存，但现在代码的工作方式似乎仍然有太多的磁盘访问。

下面的代码类似于将模板与 OpenXML 和 SAX 结合使用因为我已经使用 ClosedXML 写入文件，然后切换到 SAX 来处理大内容。当尝试对这么多行使用 ClosedXML 时，内存会超出图表。这就是我使用 SAX 的原因。

        int numCols = dt.Columns.Count;
        int rowCnt = 0;
        //for (curRec = 0; curRec < totalRecs; curRec++)
        foreach (DataRow row in dt.Rows)
        {
            Row xlr = new Row();

            //starting of new row.
            //writer.WriteStartElement(xlr);

            for (int col = 0; col < numCols; ++col)
            {
                Cell cell = new Cell();
                CellValue v = new CellValue(row[col].ToString());

                {
                    string objDataType = row[col].GetType().ToString();
                    if (objDataType.Contains(TypeCode.Int32.ToString()) || objDataType.Contains(TypeCode.Int64.ToString()))
                    {
                        cell.DataType = new EnumValue<CellValues>(CellValues.Number);
                        //cell.CellValue = new CellValue(row[col].ToString());
                        cell.Append(v);
                    }
                    else if (objDataType.Contains(TypeCode.Decimal.ToString()) || objDataType.Contains("Single"))
                    {
                        cell.DataType = new EnumValue<CellValues>(CellValues.Number);
                        cell.Append(v);
                        //TODO: set the decimal qualifier - May be fixed elsewhere
                        cell.StyleIndex = 2;
                    }
                    else
                    {
                        //Add text to text cell
                        cell.DataType = new EnumValue<CellValues>(CellValues.String);
                        cell.Append(v);
                    }
                }

                if (colStyles != null && col < colStyles.Count)
                {
                    cell.StyleIndex = (UInt32Value)colStyles[col];
                }

                //writer.WriteElement(cell);
                xlr.Append(cell);
            }
            writer.WriteElement(xlr);
            //end row element
            //writer.WriteEndElement();
            ++rowCnt;
        }

这段代码与我在那里看到的示例非常接近。但问题是它仍然很慢。从单个单元格写入更改为追加到行并写入行似乎将 125K 行的过程改进了 10%。

有没有人找到一种方法来改进作家或设置一种减少写作次数的方法？有没有方法可以加速这个过程？

有没有人尝试过设置某种形式的缓存来提高性能？

一般问题是您不应该将 DOM 和 SAX 方法混合在一起。一旦混合它们，性能就类似于仅使用 DOM。当您全力以赴时，SAX 的性能优势就会显现出来。首先回答您的问题：

有没有人找到一种方法来提高作家或设置一种写作方式 次数少一些？有没有方法可以加速这个过程？

不要将 SAX 编写器与 DOM 操作混合在一起。这意味着您根本不应该对 SDK 类属性或函数进行操作。所以 cell.Append() 已经过时了。 cell.DataType 或 cell.StyleIndex 也是如此。

当你做 SAX 时，你会全力以赴。（这听起来有点挑衅......）例如：

for (int i = 1; i <= 50000; ++i)
{
    oxa = new List<OpenXmlAttribute>();
    // this is the row index
    oxa.Add(new OpenXmlAttribute("r", null, i.ToString()));

    oxw.WriteStartElement(new Row(), oxa);

    for (int j = 1; j <= 100; ++j)
    {
        oxa = new List<OpenXmlAttribute>();
        // this is the data type ("t"), with CellValues.String ("str")
        oxa.Add(new OpenXmlAttribute("t", null, "str"));

        // it's suggested you also have the cell reference, but
        // you'll have to calculate the correct cell reference yourself.
        // Here's an example:
        //oxa.Add(new OpenXmlAttribute("r", null, "A1"));

        oxw.WriteStartElement(new Cell(), oxa);

        oxw.WriteElement(new CellValue(string.Format("R{0}C{1}", i, j)));

        // this is for Cell
        oxw.WriteEndElement();
    }

    // this is for Row
    oxw.WriteEndElement();
}

其中 oxa 是一个 List，oxw 是 SAX writer 类 OpenXmlWriter。更多详情请看我的文章here.

没有真正的方法来缓存 SAX 操作。它们就像一系列 printf 语句。您可以编写一个辅助函数，只在块中执行 WriteStartElement()、WriteElement() 和 WriteEndElement() 函数（例如，编写完整的 Cell 类）。