ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告
以下面的表为例：
| Id | Name | Age |
| 1 | 张三 | 18 |
| 2 | 李四 | 22 |
| 3 | 王五 | 34 |
1）采用行式存储时，数据在磁盘上的组织结构为：
好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的
2）采用列式存储时，数据在磁盘上的组织结构为：
这时想查所有人的年龄只需把年龄那一列拿出来就可以了
3）列式存储的好处：
几乎覆盖了标准SQL的大部分语法，包括DDL和DML，以及配套的各种函数，用户管理及权限管理，数据的备份与恢复
ClickHouse和MySQL类似，把表级的存储引擎插件化，根据表的不同需求可以设定不同的存储引擎。目前包括合并树、日志、接口和其他四大类20多种引擎
ClickHouse采用类LSM Tree的结构，数据写入后定期在后台Compaction。通过类LSM tree的结构，ClickHouse在数据导入时全部是顺序append写，写入后数据段不可更改，在后台compaction时也是多个段merge sort后顺序写回磁盘。顺序写的特性，充分利用了磁盘的吞吐能力，即便在HDD上也有着优异的写入性能
官方公开benchmark测试显示能够达到50MB-200MB/s的写入吞吐能力，按照每行100Byte估算，大约相当于50W-200W条/s的写入速度
ClickHouse将数据划分为多个partition，每个partition再进一步划分为多个index granularity（索引粒度），然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。在这种设计下，单条Query就能利用整机所有CPU。极致的并行处理能力，极大的降低了查询延时
所以，ClickHouse即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多cpu，就不利于同时并发多条查询。所以对于高qps的查询业务，ClickHouse并不是强项
1）确定防火墙处于关闭状态
2）CentOS取消打开文件数限制
在/etc/security/limits.conf文件的末尾加入以下内容
[root@aliyun ~]# sudo vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
在/etc/security/limits.d/20-nproc.conf文件的末尾加入以下内容
[root@aliyun ~]# sudo vim /etc/security/limits.d/20-nproc.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
退出当前用户，重启登录，ulimit -a查看打开文件数和用户进程数是否更改
[root@aliyun ~]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 7284
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 65536
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 131072
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
3）安装依赖
[root@aliyun ~]# sudo yum install -y libtool
[root@aliyun ~]# sudo yum install -y *unixODBC*
4）CentOS取消SELINUX
[root@aliyun ~]# sudo vim /etc/selinux/config
SELINUX=disabled
修改完重启服务器
官网：https://clickhouse.tech/
下载地址：https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/
1）下载安装
需要以下四个rpm包：
clickhouse-client-21.7.3.14-2.noarch.rpm
clickhouse-common-static-21.7.3.14-2.x86_64.rpm
clickhouse-common-static-dbg-21.7.3.14-2.x86_64.rpm
clickhouse-server-21.7.3.14-2.noarch.rpm
[root@aliyun /]# mkdir clickhouse
[root@aliyun /]# cd clickhouse/
通过wget下载rpm包：
[root@aliyun clickhouse]# wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-client-21.7.3.14-2.noarch.rpm
[root@aliyun clickhouse]# wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-common-static-21.7.3.14-2.x86_64.rpm
[root@aliyun clickhouse]# wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-common-static-dbg-21.7.3.14-2.x86_64.rpm
[root@aliyun clickhouse]# wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-server-21.7.3.14-2.noarch.rpm
安装这4个rpm包
[root@aliyun clickhouse]# sudo rpm -ivh *.rpm
2）修改配置文件
[root@aliyun clickhouse]# cd /etc/clickhouse-server/
[root@aliyun clickhouse-server]# sudo chmod 777 config.xml
[root@aliyun clickhouse-server]# sudo vim config.xml
把<listen_host>0.0.0.0</listen_host>的注释打开，这样的话才能让ClickHouse被除本机之外的服务器访问
这个配置文件中，ClickHouse一些默认路径配置：
3）启动Server
[root@aliyun clickhouse-server]# sudo systemctl start clickhouse-server
或者
[root@aliyun clickhouse-server]# sudo clickhouse start
我在部署过程中，这里启动失败，错误日志如下：
2021.09.12 20:07:12.545113 [ 4719 ] {} <Error> Application: DB::Exception: Listen [::]:8123 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = DNS error: EAI: Address family for hostname not supported (version 21.7.3.14 (official build))
原因一开始使用的listen_host配置为<listen_host>::</listen_host>，而::是IPv6的通配符，我部署clickhouse的机器不支持ipv6，所以把listen_host的配置改为了<listen_host>0.0.0.0</listen_host>
4）关闭开启自启
[root@aliyun clickhouse-server]# sudo systemctl disable clickhouse-server
5）使用Client连接server
[root@aliyun clickhouse-server]# clickhouse-client -m
ClickHouse client version 21.7.3.14 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 21.7.3 revision 54449.aliyun :) show databases;
SHOW DATABASES
Query id: bf8aa5d4-3aa9-48ed-b35e-9385b72317c2
┌─name────┐
│ default │
│ system │
└─────────┘2 rows in set. Elapsed: 0.002 sec.
固定长度的整型，包括有符号整型或无符号整型
整型范围（2 n − 1 2^n-12
n
−1 ~ 2 n − 1 − 1 2^{n-1}-12
n−1
−1）：Int8、Int16、Int32、Int64
无符号整型范围（0 ~ 2 n − 1 2^n-12
n
−1）：UInt8、UInt16、UInt32、UInt64
Float32、Float64
浮点数计算精度缺失问题：
没有单独的类型来存储布尔值。可以使用UInt8类型，取值限制为0或1
Decimal32(s)相当于Decimal(9-s,s)
Decimal64(s)相当于Decimal(18-s,s)
Decimal128(s)相当于Decimal(38-s,s)
1）String
字符串可以任意长度的。它可以包含任意的字节集，包含空字节
2）FixedString(N)
固定长度N的字符串，N必须是严格的正自然数。当服务端读取长度小于N的字符串时候，通过在字符串末尾添加空字节来达到N字节长度。当服务端读取长度大于N的字符串时候，将返回错误消息
包括Enum8和Enum16类型。Enum保存’string’=integer的对应关系
Enum8用’string’=Int8来描述
Enum16用’string’=Int16来描述
创建一个带有一个枚举Enum8(‘hello’ = 1, ‘world’ = 2)类型的列
create table t_enum(
x Enum8('hello' = 1,'world' = 2)
)engine = TinyLog;
这个x列只能存储类型定义中列出的值：‘hello’或’world’
insert into t_enum values ('hello'),('world'),('hello');如果尝试保存任何其他值，ClickHouse抛出异常
insert into t_enum values('a');
如果需要看到对应行的数值，则必须将Enum值转换为整数类型
select cast(x,'Int8') from t_enum;目前ClickHouse有三种时间类型：
Date接受年-月-日的字符串，比如：2019-12-16
Datetime接受年-月-日 时:分:秒的字符串，比如2019-12-16 20:50:10
Datetime64 接受年-月-日 时:分:秒.亚秒的字符串，比如2019-12-16 20:50:10.66
日期类型用两个字节存储，表示从1970-01-01到当前的日期值
Array(T)：由T类型元素组成的数组
T可以是任意类型，包含数组类型。但不推荐使用多维数组，ClickHouse对多维数组的支持有限。例如，不能在MergeTree表中存储多维数组
创建数组方式：
1）使用array函数
select array(1, 2) as x, toTypeName(x);
2）使用方括号
select [1, 2] as x, toTypeName(x);
表引擎决定了如何存储表的数据。包括：
数据的存储方式和位置，写到哪里以及从哪里读取数据
支持哪些查询以及如何支持
并发数据访问
索引的使用（如果存在）
是否可以执行多线程请求
数据复制参数
表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎，以及引擎使用的相关参数
引擎的名称大小写敏感
以列文件的形式保存在磁盘上，不支持索引，没有并发控制。一般保存少量数据的小表，生产环境上作用有限。可以用于平时练习测试用
内存引擎：数据以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失。读写操作不会相互阻塞，不支持索引。简单查询下有非常非常高的性能表现（超过10G/s）。一般用到它的地方不多，除了用来测试，就是在需要非常高的性能，同时数据量又不太大（上限大概1亿行）的场景
ClickHouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列（*MergeTree）中的其他引擎，支持索引和分区，地位可以相当于innodb之于Mysql
1）建表语句
create table t_order_mt(
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime
) engine = MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);2）、插入数据
insert into t_order_mt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');
主键可重复
根据日期分区，2020-06-01、2020-06-02共两个分区
分区内根据id和sku_id排序
3）、partition by分区（可选）
[root@aliyun ~]# cd /var/lib/clickhouse/
[root@aliyun clickhouse]# ls
access data dictionaries_lib flags format_schemas metadata metadata_dropped preprocessed_configs status store tmp user_files
data：数据存储的路径
metadata：表结构信息
[root@aliyun clickhouse]# cd metadata
[root@aliyun metadata]# ls
default default.sql system system.sql
[root@aliyun metadata]# cd default
[root@aliyun default]# lst_enum.sql t_order_mt.sql
[root@aliyun clickhouse]# cd data/
[root@aliyun data]# ls
default system
[root@aliyun data]# cd default/
[root@aliyun default]# ls
t_enum t_order_mt
[root@aliyun default]# cd t_order_mt/
[root@aliyun t_order_mt]# ls
20200601_1_1_0 20200602_2_2_0 detached format_version.txt
20200601_1_1_0、20200602_2_2_0共两个分区目录
分区目录命名格式：PartitionId_MinBlockNum_MaxBlockNum_Level，分表代表分区值、最小分区块编号、最大分区块编号、合并层级
PartitionId：
数据分区规则由分区ID决定，分区ID由partition by分区键决定。根据分区键字段类型，ID生成规则可分为：
MinBlockNum：最小分区块编号，自增类型，从1开始向上递增。每产生一个新的目录分区就向上递增一个数字
MaxBlockNum：最大分区块编号，新创建的分区MinBlockNum等于MaxBlockNum的编号
Level：合并的层级，被合并的次数。合并次数越多，层级值越大
[root@aliyun t_order_mt]# cd 20200601_1_1_0
[root@aliyun 20200601_1_1_0]# ls
checksums.txt columns.txt count.txt data.bin data.mrk3 default_compression_codec.txt minmax_create_time.idx partition.dat primary.idx
数据写入与分区合并：
任何一个批次的数据写入都会产生一个临时分区，不会纳入任何一个已有的分区。写入后的某个时刻（大概10-15分钟后），ClickHouse会自动执行合并操作（等不及也可以手动通过optimize执行），把临时分区的数据，合并到已有分区中
optimize table xxxx final;
案例：
执行插入操作
insert into t_order_mt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');查看数据并没有纳入任何分区
手动optimize之后
optimize table t_order_mt final;
再次查询
插入数据合并前：
[root@aliyun t_order_mt]# ls
20200601_1_1_0 20200601_3_3_0 20200602_2_2_0 20200602_4_4_0 detached format_version.txt
插入数据合并后：
[root@aliyun t_order_mt]# ls
20200601_1_1_0 20200601_1_3_1 20200601_3_3_0 20200602_2_2_0 20200602_2_4_1 20200602_4_4_0 detached format_version.txt
20200601_1_1_0和20200601_3_3_0分区合并为20200601_1_3_1，在真正合并的时候20200601_1_1_0和20200601_3_3_0分区会被清理
4）、primary key主键（可选）
ClickHouse中的主键，和其他数据库不太一样，**它只提供了数据的一级索引，但是却不是唯一约束。**这就意味着是可以存在相同primary key的数据
主键的设定主要依据是查询语句中的where条件
根据条件通过对主键进行某种形式的二分查找，能够定位到对应的index granularity，避免了全表扫描
index granularity：直接翻译的话就是索引粒度，指在稀疏索引中两个相邻索引对应数据的间隔。ClickHouse中的MergeTree默认是8192。官方不建议修改这个值，除非该列存在大量重复值，比如在一个分区中几万行才有一个不同数据
稀疏索引：
稀疏索引的好处就是可以用很少的索引数据，定位更多的数据，代价就是只能定位到索引粒度的第一行，然后再进行进行一点扫描
5）、order by（必须）
order by设定了分区内的数据按照哪些字段顺序进行有序保存
order by是MergeTree中唯一一个必填项，甚至比primary key还重要，因为当用户不设置主键的情况，很多处理会依照order by的字段进行处理
要求：主键必须是order by字段的前缀字段
比如order by字段是(id,sku_id)，那么主键必须是id或者(id,sku_id)
6）、二级索引
目前在ClickHouse的官网上二级索引的功能在v20.1.2.4之前是被标注为实验性的，在这个版本之后默认是开启的
1）老版本使用二级索引前需要增加设置
是否允许使用实验性的二级索引（v20.1.2.4开始，这个参数已被删除，默认开启）
set allow_experimental_data_skipping_indices=1;
2）创建测试表
create table t_order_mt2(
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime,
INDEX a total_amount TYPE minmax GRANULARITY 5
) engine =MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);
GRANULARITY N是设定二级索引对于一级索引粒度的粒度
minmax索引的聚合信息是在一个index_granularity区间内数据的最小和最大值。以下图为例，假设index_granularity=8192且granularity=3，则数据会按照index_granularity划分为n等份，MergeTree从第0段分区开始，依次获取聚合信息。当获取到第3个分区时（granularity=3），则汇总并会生成第一行minmax索引（前3段minmax汇总后取值为[1, 9]）
3）插入数据
insert into t_order_mt2 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');4）对比效果
[root@aliyun ~]# clickhouse-client --send_logs_level=trace <<< 'select * from t_order_mt2 where total_amount > toDecimal32(900., 2)';
日志中可以看到二级索引能够为非主键字段的查询发挥作用
分区下文件skp_idx_a.idx和skp_idx_a.mrk3为跳数索引文件：
[root@aliyun t_order_mt2]# ls
20200601_1_1_0 20200602_2_2_0 detached format_version.txt
[root@aliyun t_order_mt2]# cd 20200601_1_1_0/
[root@aliyun 20200601_1_1_0]# ls
checksums.txt count.txt data.mrk3 minmax_create_time.idx primary.idx skp_idx_a.mrk3
columns.txt data.bin default_compression_codec.txt partition.dat skp_idx_a.idx
7）、数据TTL
MergeTree提供了可以管理数据表或者列的生命周期的功能
1）列级TTL
create table t_order_mt3(
id UInt32,
sku_id String,
total_amount Decimal(16,2) TTL create_time+interval 10 SECOND,
create_time Datetime
) engine =MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);
TTL的列必须是日志类型且不能为主键
插入数据（请根据实际时间修改数据）
insert into t_order_mt3 values
(106,'sku_001',1000.00,'2021-09-12 20:56:00'),
(107,'sku_002',2000.00,'2021-09-12 20:56:00'),
(110,'sku_003',600.00,'2021-09-12 20:56:00');手动合并，查看效果：到期后，指定的字段数据归0
2）表级TTL
下面的这条语句是数据会在create_time之后10秒丢失
alter table t_order_mt3 MODIFY TTL create_time + INTERVAL 10 SECOND;
涉及判断的字段必须是Date或者Datetime类型，推荐使用分区的日期字段
能够使用的时间周期：
SECOND
MINUTE
HOUR
DAY
WEEK
MONTH
QUARTER
YEAR
ReplacingMergeTree是MergeTree的一个变种，它存储特性完全继承MergeTree，只是多了一个去重的功能
1）去重时机
数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行，所以你无法预先作出计划。有一些数据可能仍未被处理
2）去重范围
如果表经过了分区，去重只会在分区内部进行去重，不能执行跨分区的去重
所以ReplacingMergeTree能力有限，ReplacingMergeTree适用于在后台清除重复的数据以节省空间，但是它不保证没有重复的数据出现
3）案例
create table t_order_rmt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime
) engine =ReplacingMergeTree(create_time)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);ReplacingMergeTree()填入的参数为版本字段，重复数据保留版本字段值最大的。如果不填版本字段，默认按照插入顺序保留最后一条
插入数据：
insert into t_order_rmt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');
执行查询操作：
4）结论
实际上是使用order by字段作为唯一键进行去重
去重不能跨分区
只有同一批插入（新版本）或合并分区时才会进行去重
认定重复的数据保留，版本字段值最大的
如果版本字段相同则按插入顺序保留最后一笔
对于不查询明细，只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree的话，无论是存储空间的开销，还是查询时临时聚合的开销都比较大
ClickHouse为了这种场景，提供了一种能够预聚合的引擎SummingMergeTree
1）案例
create table t_order_smt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime
) engine =SummingMergeTree(total_amount)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id );插入数据
insert into t_order_smt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');执行查询操作：
2）结论
以SummingMergeTree()中指定的列作为汇总数据列
可以填写多列必须数字列，如果不填，以所有非维度列（除了order by的列之外）且为数字列的字段为汇总数据列
以order by的列为准，作为维度列
其他的列按插入顺序保留第一行
不在一个分区的数据不会被聚合
只有在同一批次插入（新版本）或分片合并时才会进行聚合
基本与标准SQL（MySQL）基本一致
1）标准
insert into [table_name] values(…),(…)
2）从表到表的插入
insert into [table_name] select a,b,c from [table_name_2]
ClickHouse提供了Delete和Update的能力，这类操作被称为Mutation查询，它可以看做Alter的一种
虽然可以实现修改和删除，但是和一般的OLTP数据库不一样，Mutation语句是一种很重的操作，而且不支持事务
重的原因主要是每次修改或者删除都会导致放弃目标数据的原有分区，重建新分区
所以尽量做批量的变更，不要进行频繁小数据的操作
1）删除操作
alter table t_order_smt delete where sku_id ='sku_001';
2）修改操作
alter table t_order_smt update total_amount=toDecimal32(2000.00,2) where id=102;
由于操作比较重，所以Mutation语句分两步执行，同步执行的部分其实只是进行新增数据、新增分区和并把旧分区打上逻辑上的失效标记。直到触发分区合并的时候，才会删除旧数据释放磁盘空间，一般不会开放这样的功能给用户，由管理员完成
ClickHouse基本上与标准SQL差别不大
插入数据
alter table t_order_mt delete where 1=1;
insert into t_order_mt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(101,'sku_002',2000.00,'2020-06-01 12:00:00'),
(103,'sku_004',2500.00,'2020-06-01 12:00:00'),
(104,'sku_002',2000.00,'2020-06-01 12:00:00'),
(105,'sku_003',600.00,'2020-06-02 12:00:00'),
(106,'sku_001',1000.00,'2020-06-04 12:00:00'),
(107,'sku_002',2000.00,'2020-06-04 12:00:00'),
(108,'sku_004',2500.00,'2020-06-04 12:00:00'),
(109,'sku_002',2000.00,'2020-06-04 12:00:00'),
(110,'sku_003',600.00,'2020-06-01 12:00:00');1）with rollup：从右至左去掉维度进行小计
select id,sku_id,sum(total_amount) from t_order_mt group by id,sku_id with rollup;
2）with cube : 从右至左去掉维度进行小计，再从左至右去掉维度进行小计
select id,sku_id,sum(total_amount) from t_order_mt group by id,sku_id with cube;
3）with totals: 只计算合计
select id,sku_id,sum(total_amount) from t_order_mt group by id,sku_id with totals;
同MySQL的修改字段基本一致
1）新增字段
alter table tableName add column newcolname String after col1;
2）修改字段类型
alter table tableName modify column newcolname String;
3）删除字段
alter table tableName drop column newcolname;