使用 jq 如何将一个非常大的 JSON 文件拆分为多个文件，每个文件都有特定数量的对象？

我有一个很大的 JSON 文件，我猜有 400 万个对象。每个顶层都有几个嵌套在其中的级别。我想将其拆分为多个文件，每个文件包含 10000 个顶级对象（保留每个文件内部的结构）。 jq应该可以做到吧？我不知道怎么办。

所以数据是这样的：

[{
  "id": 1,
  "user": {
    "name": "Nichols Cockle",
    "email": "[email protected]",
    "address": {
      "city": "Turt",
      "state": "Thị Trấn Yên Phú"
    }
  },
  "product": {
    "name": "Lychee - Canned",
    "code": "36987-1526"
  }
}, {
  "id": 2,
  "user": {
    "name": "Isacco Scrancher",
    "email": "[email protected]",
    "address": {
      "city": "Likwatang Timur",
      "state": "Biharamulo"
    }
  },
  "product": {
    "name": "Beer - Original Organic Lager",
    "code": "47993-200"
  }
}, {
  "id": 3,
  "user": {
    "name": "Elga Sikora",
    "email": "[email protected]",
    "address": {
      "city": "Wenheng",
      "state": "Piedra del Águila"
    }
  },
  "product": {
    "name": "Parsley - Dried",
    "code": "36987-1632"
  }
}, {
  "id": 4,
  "user": {
    "name": "Andria Keatch",
    "email": "[email protected]",
    "address": {
      "city": "Arras",
      "state": "Iracemápolis"
    }
  },
  "product": {
    "name": "Wine - Segura Viudas Aria Brut",
    "code": "51079-385"
  }
}, {
  "id": 5,
  "user": {
    "name": "Dara Sprowle",
    "email": "[email protected]",
    "address": {
      "city": "Huatai",
      "state": "Kaduna"
    }
  },
  "product": {
    "name": "Pork - Hock And Feet Attached",
    "code": "0054-8648"
  }
}]

这是一个完整的对象：

{
  "id": 1,
  "user": {
    "name": "Nichols Cockle",
    "email": "[email protected]",
    "address": {
      "city": "Turt",
      "state": "Thị Trấn Yên Phú"
    }
  },
  "product": {
    "name": "Lychee - Canned",
    "code": "36987-1526"
  }
}

每个文件都是指定数量的对象。

[编辑：此答案已根据问题的修订进行了修订。]

使用jq解决问题的关键是-c命令行选项，它以 JSON-Lines 格式生成输出（即，在本例中，每行一个对象）。然后您可以使用诸如awk or split将这些行分发到多个文件中。

如果文件不太大，那么最简单的方法是启动管道：

jq -c '.[]' INPUTFILE

如果文件太大而无法轻松容纳在内存中，那么您可以使用 jq 的流解析器，如下所示：

jq -cn --stream 'fromstream(1|truncate_stream(inputs))'

或者您可以使用命令行工具，例如jstream or jm，这会更快，但当然必须安装。

有关 jq 流解析器的进一步讨论，请参见jq FAQ 中的相关部分：https://github.com/stedolan/jq/wiki/FAQ#streaming-json-parser

分区

有关对第一步中生成的输出进行分区的不同方法，请参见示例如何将大文本文件拆分为行数相同的小文件？

如果需要每个输出文件都是对象数组，那么我可能会使用awk一步执行分区和重构，但还有许多其他合理的方法。

如果输入是 JSON 对象序列

作为参考，如果原始文件由 JSON 对象流或序列组成，则适当的调用将是：

jq -n -c inputs INPUTFILE

Using inputs以这种方式可以有效地处理任意多个对象。