阿里云日志服务基础

2023-10-30

阿里云日志服务

标签(空格分隔): 阿里云


1.核心概念

地域(Region)

地域为阿里云的服务节点。用户通过在不同的阿里云Region部署服务,让自己的服务距离客户更近,获得更低的访问延时及更好的用户体验。目前阿里云在全国各地拥有多个Region。

项目(Project)

项目为日志服务中的基本管理单元,用于资源隔离和控制。用户可以通过项目来管理某一个应用的所有日志及相关的日志源。

日志库(Logstore)

日志库为日志服务中日志数据的收集、存储和查询单元。每个日志库隶属于一个项目,且每个项目可以创建多个日志库。用户可以根据实际需求为某一个项目生成多个日志库,其中常见的做法是为一个应用中的每类日志创建一个独立的日志库。例如,假如用户有一个“big-game”游戏应用,服务器上有三种日志:操作日志(operation_log),应用程序日志(application_log)以及访问日志(access_log),用户可以首先创建名为“big-game”的项目,然后在该项目下面为这三种日志创建三个日志库,分别用于它们的收集、存储和查询。

分区(Shard)

分区(shard)是每个日志库下读写基本单元,用户可以指定每个日志库下分区数目。

日志(Log)

日志为日志服务中处理的最小数据单元。日志服务采用半结构数据模式定义一条日志,具体数据模型如下:

  • 主题(Topic):用户自定义字段,用以标记一批日志(例如:访问日志根据不同的站点进行标记)。默认该字段为空字符串(空字符串也为一个有效的主题)。
  • 时间(Time):日志中保留字段,用以表示日志产生的时间(精度为秒,从1970-1-1 00:00:00 UTC计算起的秒数),一般由日志中的时间直接生成。
  • 内容(Content):用以记录日志的具体内容。内容部分由一个或多个内容项组成,每一个内容项由Key、Value对组成。
  • 来源(Source):日志的来源地,例如产生该日志机器的IP地址。默认该字段为空。

2.安装logtail

logtail的安装

3.logservice配置步骤以及注意细节

  1. 开通日志服务(目前是公测免费的)
  2. 创建一个日志project,用于管理某个地域的日志收集查询。
    此处输入图片的描述

    创建时选择所属区域(这个区域跟一下的机器组管理以及日志投递OOS有关),创建后无法修改,也无法在多个区域迁移项目。

  3. 在项目下创建日志库logStore,日志库保存数据的时间为两天(如需要更长存储时间请设置日志投递/日志索引)

  4. 创建日志库成功之后会提示配置logtail,我们可以配置多个logtail,下面以一个为例
    此处输入图片的描述

    配置名称和路径就不用说了,主要是日志格式的配置,分为极简模式和完整模式。极简模式只需要配置名称和路径特别简单。完成模式需要有日志样例以及根据日志样例生成正则表达式(会的也可以自己写),输入日志样例之后会有一个提取字段,指定key/value,如下图:

此处输入图片的描述

当我们在管理控制台查询的时候,每条日志以key:value的形式显示出来。接下来就是机器组配置:

此处输入图片的描述

需要指定机器组名称以及ip,需要注意事项请参照上图1234条(1.本地域的ECS,2,内网ip,如果ECS设置了主机名并绑定了外网ip,这里就需要填外网ip)。成功之后,logtail需要应用到机器组,logtail大概就配置完了。回到日志库列表

此处输入图片的描述

5.接下来是日志投递配置,有两种方式ODPS和OOS,我们现在使用的是OOS
此处输入图片的描述
投递日志到OOS配置(参考)

6.日志索引创建

全文索引属性和键值索引属性,创建之后,我们可以查询logtail收集到的日志列表。

一些点:
1.当你创建了日志project以后就确定了地域,以后机器组的配置ip必须是属于此区域,以及创建的OOS也必须指定是此区域的,跨区域不能投递。
2.日志样例以及与之匹配的正则表达式必须正确,以及跟所要收集的日志文件格式相似,否则会收集不到日志

参考文档:https://help.aliyun.com/document_detail/sls/user-guide/overview.html?spm=5176.docsls/user-guide/sync-oss.6.88.F99lm5

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

阿里云日志服务基础 的相关文章

  • 在 Emacs 中自动完成 Bibtex 文件中的 Pandoc 风格引文

    Pandoc 风格的引文 Pandoc http www johnmacfarlane net pandoc 使用 Markdown 格式 支持使用 BibTeX 文件中的键自动引用 该格式的一些示例如下 Blah blah doe99 B
  • 使用 KnitR 在 R 中以编程方式创建 Markdown 表

    我刚刚开始了解 KnitR 以及使用 Markdown 生成 R 文档和报告 这对于我与工作有关的许多日常报告来说似乎是完美的 然而 我没有看到的一件事是使用 Markdown 格式打印数据框和表格的简单方法 有点像xtable 但使用 M
  • Jekyll 在子网站上生成静态网站?

    是否可以将 Jekyll 放在 GitHub 上托管的网站的单个部分上 即是否可以让 example github io 成为常规站点 而 example github io blog 由 Jekyll 静态生成 我相信可以通过创建另一个名
  • 如何在时序图上表示 if 条件 1 else if 条件 2?

    我想知道 如何在序列图上表示 if cond1 else if cond2 语句 if condition1 Do something else if condition2 Do something else if 我不确定是否有两个独立的
  • 在用例建模中分解 CRUD

    我有一个后续问题用例图中的 CRUD https stackoverflow com questions 7772399 crud in a use case diagram 如果我需要分解复杂的用例 例如 管理用户 假设这很复杂 可以将它
  • R markdown 引文标识符

    R markdown 允许使用 YAML 元数据部分中的参考书目元数据字段指定参考书目文件 例如 title Sample Document output html document bibliography bibliography bi
  • 如何在 UML 中正式记录 C# 属性?

    在 UML 类图中记录类的 C 属性的正确方法是什么 我还没有决定这是否是我的答案 但我想我会把它扔在那里以便讨论 这看起来可以接受吗 它是属性类型的实例 其中元数据值放入下面的标记值中 我刚刚弄清楚如何添加自定义立体类型 该箭头只是一个标
  • 如何删除 GitHub markdown 项目符号/列表上的额外行空间?

    GitHub 的 Markdown 代码 1 First item subitem 1 Second item 之间产生很大的空间First Second和subitem 如何制作subitem靠近第一个项目 而不是正好在它们的中间 这是我
  • 用于渲染 html 子集的 Django templatetag

    我有一些 html 在本例中是通过 TinyMCE 创建的 我想将其添加到页面中 但是 出于安全原因 我不想只打印用户输入的所有内容 有谁知道模板标签 最好是过滤器 只允许呈现 html 的安全子集 我意识到 Markdown 和其他人就是
  • 聚合多重性 UML

    我和我的同事在某一点上无法达成一致 在 UML 中 当进行聚合时 菱形边重数最大为 1 或者可以是 0 吗 还是取决于某种观点 先感谢您 首先 您需要具体说明您指的是哪个 钻石 作为空钻石聚合填充钻石是作品 如果你的意思是空钻石 那么 Ic
  • 从 HTML 转换为 Markdown 时阻止 Pandoc 转义单引号

    如果我转换单引号 从 HTML 到 Markdown 它会自动转义 echo pandoc f html t markdown 我希望它输出时不带斜杠 因为它使带有缩写的文本更难以阅读 我认为这可能是由于 all symbols escap
  • 如何使用 R markdown 和 bookdown 将图形列表和表格列表添加到目录中

    我有一份报告 pdf 输出 我想在附录中添加参考书目 图表列表和表格列表 我希望这三个元素出现在目录中 我添加参考书目通过增加bibliography bibliography bib到我的 yaml 标头 我直接用 LaTex 添加的图形
  • UML 只能用于面向对象吗?

    目前 在我的论文期间 存在着关于 UML 是否仅用于 OO 开发 的激烈争论 我从一些来源进行了搜索 其中给出了很多关于它的论点 就我自己而言 我相信并非所有 UML 图都是专门为 OO 系统 软件开发而制作的 即 状态图 因此 我希望得到
  • 更改 Google Colab Markdown 文本中的字体样式

    这可以改变 Colab 中 Markdown 的字体样式吗 我编写了这段 CSS 代码 但由于它不起作用 我不知道如何使用它 或者是否可能 该代码完美地工作在html文件但无法在 Colab 上运行
  • UML 帮助 C# 设计原则

    我在理解下面的 UML 时遇到问题 具体来说 两者之间有什么关系PersistentSet and ThirdPartyPersistentSet 之间有什么关系PersistentObject and ThirdPartyPersiste
  • 使用绝对导入时,pyreverse 不会在 UML 中显示组合关系

    我在生成 UML 时遇到问题pyreverse 特别是当类不属于同一模块时以及使用绝对导入时的组合关系 为了说明问题 我有以下两个模块a py and b py在同一个包中 a py from b import B class A def
  • markdown - 我可以有下划线而不转义它们并且没有 markdown 斜体吗?

    我想要其中包含下划线的文本 它不是代码 所以我不想使用代码格式 我想停止将 Markdown 视为指令斜体化 it 我可以转义 每个下划线 看 但我总共有 20 个 在源代码中看起来很丑 很难维护 而且不是很干燥 还有其他选择吗 一些 Ma
  • 创建pdf时在markdown中分页

    我正在使用 doxygen 1 8 6 创建 Markdown 文本文件的 pdf 现在我想在 Markdown 文件的特定阶段获得分页符 我使用了这个link http daringfireball net projects markdo
  • 组织模式下的内联代码

    Markdown 允许embedded code 这怎么能在org mode 我了解源代码块 begin example blah blah end example 但我想要的是这样的 显然 具有正确的语法 我不知道 This is emb
  • markdown/pandoc 的全站编译? [关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 With Sphinx doc http sphinx doc org 您可以创建一堆 ReStruct

随机推荐