程序员经验分享-hwhale

Linux jq 命令讲解与实战操作（json字符串解析工具）

2023-10-27

一、概述

jq 是一个强大的命令行工具，用于处理 JSON 格式的数据。它可以帮助你查询、过滤、修改和处理 JSON 数据，使得在命令行环境下处理 JSON 变得非常方便。

在这里插入图片描述
GitHub 地址：https://github.com/stedolan/jq
jq 官方网站： https://stedolan.github.io/jq/

二、jq 命令安装

yum install epel-release
yum install -y jq

三、jq 命令语法与示例详解

jq 命令有很多参数和选项，可以帮助你处理和转换 JSON 数据。以下是一些常用的 jq 命令参数和选项：

1）基本用法

jq [options] [filter] [file]
  • options: 可选参数，用于指定 jq 的选项。
  • filter: 必需参数，用于指定 JSON 数据的查询和转换操作。
  • file: 可选参数，要处理的 JSON 数据文件。

2）常用选项

  • -r: 输出原始格式，而不是 JSON 编码。
  • -c: 输出时将结果按行分隔。
  • -s: 将输入视为多个 JSON 对象，用于处理多个 JSON 对象的数组。

3）查询和过滤

  • .: 表示当前对象，用于访问字段或属性。
  • .fieldName: 选择指定字段的值。
  • []: 用于遍历数组元素。
  • select(condition): 根据条件选择元素。
  • map(transform): 对数组中的每个元素应用转换操作。

当使用 jq 进行查询和过滤 JSON 数据时，你可以根据需要执行各种操作。以下是一些常见的查询和过滤示例，假设我们有以下 JSON 数据：

[
  {
    "name": "Alice",
    "age": 25,
    "city": "New York"
  },
  {
    "name": "Bob",
    "age": 30,
    "city": "Los Angeles"
  },
  {
    "name": "Charlie",
    "age": 22,
    "city": "Chicago"
  }
]

1、选择字段

查询并选择所有人的姓名：

cat data.json | jq '.[].name'

输出：

"Alice"
"Bob"
"Charlie"

2、过滤

选择年龄大于 25 岁的人的姓名和城市：

cat data.json | jq '.[] | select(.age > 25) | .name, .city'

输出：

"Bob"
"Los Angeles"

3、遍历数组

遍历并输出所有人的年龄：

cat data.json | jq '.[] | .age'

输出：

25
30
22

4、组合操作

选择年龄在 25 到 30 岁之间的人的姓名和城市，并按照姓名排序：

cat data.json | jq '.[] | select(.age >= 25 and .age <= 30) | .name, .city' | sort

"Alice"
"New York"
"Bob"
"Los Angeles"

这些只是一些基本的查询和过滤示例。jq 支持更多的操作和功能，你可以根据需要进行组合和定制。请根据你的数据和需求来调整和扩展这些示例。

4）修改和创建

  • .fieldName = value: 修改字段的值。
  • del(.fieldName): 删除指定字段。
  • .newField = value: 创建新的字段。

使用 jq 进行 JSON 数据的修改和创建可以帮助你更新数据或添加新的字段。以下是一些示例，假设我们有以下 JSON 数据：

{
  "name": "Alice",
  "age": 25,
  "city": "New York"
}

1、修改字段值：

修改年龄字段的值为 26：

cat data.json | jq '.age = 26'

输出：

{
  "name": "Alice",
  "age": 26,
  "city": "New York"
}

2、创建新字段：

添加一个新的字段 country 并设置其值为 “USA”：

cat data.json | jq '.country = "USA"'

输出：

{
  "name": "Alice",
  "age": 25,
  "city": "New York",
  "country": "USA"
}

3、组合操作：

修改年龄字段的值为 26，并添加一个新的字段 country：

cat data.json | jq '.age = 26 | .country = "USA"'

输出：

{
  "name": "Alice",
  "age": 26,
  "city": "New York",
  "country": "USA"
}

4、条件修改

如果年龄小于 30，则将城市修改为 “Chicago”：

cat data.json | jq 'if .age < 30 then .city = "Chicago" else . end'

输出（由于年龄小于 30，城市被修改）：

{
  "name": "Alice",
  "age": 25,
  "city": "Chicago"
}

这些示例演示了如何使用 jq 修改和创建 JSON 数据。你可以根据需要进行组合和调整，以实现你的需求。记住，jq 提供了强大的功能，可以进行更复杂的操作，可以根据文档和教程进一步学习。

5）运算符

  • +, -, *, /: 数值运算。
  • ==, !=, <, >, <=, >=: 比较运算。
  • and, or, not: 逻辑运算。

jq 支持多种运算符，用于在 JSON 数据中执行数值运算、比较和逻辑操作。以下是一些常见的 jq 运算符示例，假设我们有以下 JSON 数据：

{
  "a": 10,
  "b": 5,
  "c": 15
}

1、数值运算

进行加法、减法、乘法和除法运算：

cat data.json | jq '.a + .b'
cat data.json | jq '.a - .b'
cat data.json | jq '.a * .b'
cat data.json | jq '.a / .b'

输出：

15
5
50
2

2、比较运算：

比较字段值，返回布尔结果：

cat data.json | jq '.a > .b'
cat data.json | jq '.a >= .c'
cat data.json | jq '.b < .c'

输出：

true
false
true

3、逻辑运算：

执行逻辑 AND、OR 和 NOT 操作：

cat data.json | jq '.a > 5 and .b < 10'
cat data.json | jq '.a > 15 or .b > 10'
cat data.json | jq 'not (.c > 20)'

输出：

true
true
false

4、条件运算：

使用 if 和 then 进行条件运算：

cat data.json | jq 'if .a > 10 then "Greater" else "Less or equal" end'

输出：

"Less or equal"

这些示例展示了 jq 中的一些常见运算符的用法。你可以根据需要进行更复杂的运算和组合操作，以实现你的需求。在处理 JSON 数据时，jq 提供了广泛的功能来执行各种操作。

6）变量和条件

  • as $variable: 将结果保存到变量中。
  • if condition then ... else ... end: 条件语句。

在 jq 中，你可以使用变量和条件语句来处理和转换 JSON 数据。以下是一些示例，说明如何在 jq 中使用变量和条件语句，假设我们有以下 JSON 数据：

{
  "name": "Alice",
  "age": 25,
  "city": "New York"
}

1、使用变量：

将字段值存储到变量中，并在输出中使用变量：

cat data.json | jq '.age as $age | "Name: \(.name), Age: \($age)"'

输出：

"Name: Alice, Age: 25"

2、条件语句：

使用 if 和 then 进行条件判断：

cat data.json | jq 'if .age > 18 then "Adult" else "Minor" end'

输出：

"Adult"

3、条件判断和变量组合：

结合条件语句和变量，根据年龄输出不同的消息：

cat data.json | jq 'if .age > 18 then "Name: \(.name), Status: Adult" else "Name: \(.name), Status: Minor" end'

输出：

"Name: Alice, Status: Adult"

4、使用条件操作修改数据：

根据年龄字段的值，如果大于 30 则修改城市字段：

cat data.json | jq 'if .age > 30 then .city = "Chicago" else . end'

输出（由于年龄不大于 30，所以城市字段不变）：

{
  "name": "Alice",
  "age": 25,
  "city": "New York"
}

这些示例演示了如何在 jq 中使用变量和条件语句来处理 JSON 数据。你可以根据需要进行组合和定制，以满足你的需求。jq 提供了强大的功能来处理和转换 JSON 数据，可以根据文档和教程进一步学习。

7）函数

jq 支持一些内置函数，如 length, keys, values, tostring 等，用于操作和处理 JSON 数据。

在 jq 中，你可以使用内置的函数来处理和转换 JSON 数据。以下是一些常见的 jq 函数示例，假设我们有以下 JSON 数据：

{
  "name": "Alice",
  "age": 25,
  "city": "New York",
  "scores": [85, 90, 78, 95]
}

1、length 函数：

获取数组的长度：

cat data.json | jq '.scores | length'

输出：

4

2、map 函数：

对数组中的每个元素应用转换操作：

cat data.json | jq '.scores | map(. * 2)'

输出：

[170,180,156,190]

3、keys 和 values 函数：

获取对象的键和值：

cat data.json | jq '. | keys'
cat data.json | jq '. | values'

输出：

["name","age","city","scores"]
["Alice",25,"New York",[85,90,78,95]]

4、to_entries 函数：

将对象转换为键值对数组：

cat data.json | jq '. | to_entries'

输出：

[
  {"key":"name","value":"Alice"},
  {"key":"age","value":25},
  {"key":"city","value":"New York"},
  {"key":"scores","value":[85,90,78,95]}
]

5、自定义函数：

使用自定义函数进行操作：

cat data.json | jq 'def average: reduce .[] as $item (0; . + $item) / length; .scores | average'

输出：

87

这些是一些常见的 jq 命令参数和选项，可以帮助你进行 JSON 数据的查询、过滤、修改和转换。你可以通过查阅 jq 的官方文档和教程，深入学习和掌握更多功能和用法。

Linux jq 命令讲解与实战操作演示就到这里了，有任何疑问请关注我公众号：大数据与云原生技术分享，进行技术交流，如本篇文章对您有所帮助，麻烦帮忙一键三连（点赞、转发、收藏）~

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

json

jq

Linux

Linux jq 命令讲解与实战操作（json字符串解析工具） 的相关文章

  • JSON.stringify 对于大型对象来说非常慢

    我在 javascript 中有一个非常大的对象 大约 10MB 当我对其进行字符串化时 需要很长时间 因此我将其发送到后端并将其解析为一个对象 实际上是带有数组的嵌套对象 这也需要很长时间 但这不是我们在这个问题中的问题 问题 我怎样才能

  • Struts2 中有多种结果类型？

    我有一个使用 Tiles 的 Struts2 应用程序 如何在操作映射中获取多种结果类型 因为我需要将de输出设置为JSON数据 并且同时Tiles 我努力了

  • 如何阅读网站内容？

    我是使用 python 2 7 的网络爬虫的新手 一 背景 现在 我想收集有用的数据AQICN org http aqicn org city shenyang usconsulate 这是一个很棒的网站 提供世界各地的空气质量数据 我想用

  • PyQt：数据不可 JSON 序列化

    我是 PyQt GUI 的新手 我想获取a的数据QLineEdit文本框 为此我正在使用text 方法 我正在获取数据 但数据类型是QString 我需要将其作为 json 数据传输到服务器 为此我使用json dumps 方法 但我收到错

  • 使用 shell 脚本将行附加到 /etc/hosts 文件

    我有一个新的 Ubuntu 12 04 VPS 我正在尝试编写一个安装脚本来完成整个 LAMP 安装 我遇到问题的地方是在 etc hosts文件 我当前的主机文件如下所示 127 0 0 1 localhost Venus The fol

  • 如何让R使用所有处理器？

    我有一台运行 Windows XP 的四核笔记本电脑 但查看任务管理器 R 似乎一次只使用一个处理器 如何让 R 使用全部四个处理器并加速我的 R 程序 我有一个基本系统 我使用它在 for 循环上并行化我的程序 一旦您了解需要做什么 此方

  • 在 Mono 上运行 .Net MVC5 应用程序

    我正在 Windows 上的 Visual Studio 2013 中开发 Net 4 5 1 MVC5 应用程序 现在我想知道 是否可以在Linux Ubuntu 12 04 上运行这个应用程序 可以使用OWIN吗 Owin 可以自托管运

  • Bash - 在与当前终端分开的另一个终端中启动命令的新实例

    我有一个简单的 bash 脚本 test sh 设置如下 bin bash args if args 0 check capture then watch n 1 ls lag home user capture0 watch n 1 ls

  • 与 pthread 的进程间互斥

    我想使用一个互斥体 它将用于同步对两个不同进程共享的内存中驻留的某些变量的访问 我怎样才能做到这一点 执行该操作的代码示例将非常感激 以下示例演示了 Pthread 进程间互斥体的创建 使用和销毁 将示例推广到多个进程作为读者的练习 inc

  • 使用 JSON 文件动态更新 HTML 内容？

    我想创建一个 JS 循环 使用 jQuery 来查看 JSON 文件 并根据是否 div ids 与 JSON id 值匹配 这需要易于扩展并且无论有多少人都可以工作 div 添加了盒子 我有一个 HTML 文件 设置如下 div clas

  • 在生产服务器上使用 Subversion 使文件生效的最佳方法是什么？

    目前我已经设置了 subversion 这样当我在 Eclipse PDT 中进行更改时 我可以提交更改 它们将保存在 home administrator 中项目文件 该文件具有 subversion 推荐的 branches tags

  • 绕过 dev/urandom|random 进行测试

    我想编写一个功能测试用例 用已知的随机数值来测试程序 我已经在单元测试期间用模拟对其进行了测试 但我也希望用于功能测试 当然不是全部 最简单的方法是什么 dev urandom仅覆盖一个进程 有没有办法做类似的事情chroot对于单个文件并

  • 如何使用Android获取Linux内核的版本？

    如何在 Android 应用程序中获取 Linux 内核的版本 不是 100 确定 但我认为调用 uname r 需要 root 访问权限 无论如何 有一种不太肮脏的方法可以做到这一点 那就是 System getProperty os v

  • 使用 gdb 调试 Linux 内核模块

    我想知道 API 在内核模块 中返回什么 从几种形式可以知道 这并不是那么简单 我们需要加载符号表来调试内核模块 所以我所做的就是 1 尝试找到内核模块的 text bss和 data段地址 2 在 gdb 中使用 add symbol f

  • 如何在 Django REST Framework 中序列化“对象列表”

    我需要一个序列化器来完成这样的事情 items 12 name item 1 66 name item 2 我应该如何声明我的序列化器才能得到这样的东西 这是否是一个有效的 JSON 还是应该如下所示 items name item 1 i

  • 这种文件锁定方法可以接受吗？

    我们有 10 个 Linux 机器 每周必须运行 100 个不同的任务 这些计算机主要在我们晚上在家时执行这些任务 我的一位同事正在开发一个项目 通过使用 Python 自动启动任务来优化运行时间 他的程序将读取任务列表 抓取一个打开的任务

  • dart中解析对象（不支持的操作：无法添加到固定长度列表）

    我有一个用户对象 当用户登录 注册时 该对象保存到云 Firestore 数据库中 因此 当用户登录时 将从数据库中检索用户对象 并且一切正常 直到我尝试对列表 usersProject 执行 添加 操作 Add the new proje

  • 使用os.execlp时，为什么`python`需要`python`作为argv[0]

    代码是这样的 os execlp python python child py other args this works os execlp python child py other args this doesn t work 我读过

  • 在 Play2 和 Scala 中解析没有数据类型的 JSON

    people name Jack age 15 name Tony age 23 name Mike age 19 这是我试图解析的 json 示例 我希望能够对每个人进行 foreach 操作并打印他们的姓名和年龄 我知道当 json 数

  • 在javascript中解析json - 长数字被四舍五入

    我需要解析一个包含长数字的 json 在 java servlet 中生成 问题是长数字被四舍五入 当执行这段代码时 var s x 6855337641038665531 var obj JSON parse s alert obj x

随机推荐

热门标签