cetus/doc/cetus-shard-admin.md

Cetus sharding版本管理手册

前言

有配置修改均能动态生效，配置更改后请务必修改原始配置文件，以确保下次重启时配置能够保留。

查看帮助

select * from help或 select help

查看管理端口用法。

Command	Description
select conn_details from backend	display the idle conns
select * from backends	list the backends and their state
select * from groups	list the backends and their groups
show connectionlist [<num>]	show <num> connections
show allow_ip <module>	show allow_ip rules of module, currently admin|shard
show deny_ip <module>	show deny_ip rules of module, currently admin|shard
add allow_ip <module> <address>	add address to white list of module
add deny_ip <module> <address>	add address to black list of module
delete allow_ip <module> <address>	delete address from white list of module
delete deny_ip <module> <address>	delete address from black list of module
set reduce_conns (true|false)	reduce idle connections if set to true
reduce memory	reduce memory occupied by system
set maintain (true|false)	close all client connections if set to true
show maintain status	query whether cetus' status is maintain
reload shard	reload sharding config from remote db
show status [like '%<pattern>%']	show select/update/insert/delete statistics
show variables [like '%<pattern>%']	show configuration variables
select version	cetus version
select conn_num from backends where backend_ndx=<index> and user='<name>')	display selected backend and its connection number
select * from user_pwd [where user='<name>']	display server username and password
select * from app_user_pwd [where user='<name>']	display client username and password
update user_pwd set password='xx' where user='<name>'	update server username and password
update app_user_pwd set password='xx' where user='<name>'	update client username and password
delete from user_pwd where user='<name>'	delete server username and password
delete from app_user_pwd where user='<name>'	delete client username and password
insert into backends values ('<ip:port@group>', '(ro|rw)', '<state>')	add mysql instance to backends list
update backends set (type|state)='<value>' where (backend_ndx=<index>|address='<ip:port>')	update mysql instance type or state
delete from backends where (backend_ndx=<index>|address='<ip:port>')	set state of mysql instance to deleted
remove backend where (backend_ndx=<index>|address='<ip:port>')	set state of mysql instance to deleted
add master '<ip:port@group>'	add master
add slave '<ip:port@group>'	add slave
stats get [<item>]	show query statistics
config get [<item>]	show config
config set <key>=<value>	set config
stats reset	reset query statistics
save settings	not implemented
select * from help	show this help
select help	show this help
cetus	Show overall status of Cetus

结果说明：

sharding版本管理端口提供了39条语句对cetus进行管理，具体用法见以下说明。

后端配置

查看后端

select * from backends

查看后端信息。

backend_ndx	address	state	type	slave delay	uuid	idle_conns	used_conns	total_conns	group
1	127.0.0.1:3306	up	rw	NULL	NULL	100	0	100	group1
2	127.0.0.1:3307	up	rw	NULL	NULL	100	0	100	group2
3	127.0.0.1:3308	up	rw	NULL	NULL	100	0	100	group3
4	127.0.0.1:3309	up	rw	NULL	NULL	100	0	100	group4

结果说明：

• backend_ndx: 后端序号，按照添加顺序排列；
• address: 后端地址，IP:PORT格式；
• state: 后端状态(unknown|up|down|maintaining|deleted)；
• type: 读写类型(rw|ro)；
• slave delay: 主从延迟时间(单位：毫秒)；
• uuid: 暂时无用；
• idle_conns: 空闲连接数；
• used_conns: 正在使用的连接数；
• total_conns: 总连接数；
• group: 后端分组。

状态说明
unknown:     后端初始状态，还未建立连接；
up:          能与后端正常建立连接；
down:        与后端无法联通(如果开启后端状态检测，能连通后自动变为UP)；
maintaining: 后端正在维护，无法建立连接或自动切换状态(此状态由管理员手动设置)；
deleted:      后端已被删除，无法再建立连接。

查看后端连接状态

select conn_details from backends

查看每个用户占用和空闲的后端连接数。

backend_ndx	username	idle_conns	used_used_conns	total_used_conns
1	test1	2	0	0
2	test2	11	0	0

结果说明：

• backend_ndx: 后端序号；
• username: 用户名；
• idle_conns: 空闲连接数；
• used_used_conns：正在使用的连接数。
• total_used_conns: 总的连接数。

查看后端分组情况

select * from groups

查看后端分组的详细信息。

group	master	slaves
data1	127.0.0.1:3306	127.0.0.1:3316
data2	127.0.0.1:3307	127.0.0.1:3317
data3	127.0.0.1:3308	127.0.0.1:3318
data4	127.0.0.1:3309	127.0.0.1:3319

结果说明：

• group: 后端分组序号；
• master: 读写后端；
• slaves: 只读后端。

添加后端

add master '<ip:port@group>'

添加一个读写类型的后端。

例如

add master '127.0.0.1:3307@group1'

add slave '<ip:port@group>'

添加一个只读类型的后端。

例如

add slave '127.0.0.1:3306@group1'

insert into backends values ('<ip:port@group>', '(ro|rw)', '<state>')

添加一个后端，同时指定读写类型。

例如

insert into backends values ('127.0.0.1:3306@group1', 'rw', 'up');

删除后端

remove backend <backend_ndx> 或 delete from backends where backend_ndx = <backend_ndx>

删除一个指定序号的后端。

例如

remove backend 1

delete from backends where address = '<ip:port>'

删除一个指定地址的后端。

例如

delete from backends where address = '127.0.0.1:3306'

修改后端

update backends se (type|state)='<value>' where (backend_ndx=<index>|address='<ip:port>')

修改后端类型或状态。

例如

update backends set type='rw' where address='127.0.0.1:3306'

update backends set state='up' where backend_ndx=1

说明
update后端的state只包括up|down|maintaining三种状态，delete/remove后端可将后端的state设为deleted状态。

基本配置

查看连接池/通用配置

config get [<item>]

config get查看支持的配置类型

• pool连接池配置
• common通用配置

config get common查看通用配置

• common.check_slave_delay 是否需要检测从库延迟
• common.slave_delay_down_threshold_sec 若延迟大于此值(秒)，后端状态置为DOWN
• common.slave_delay_recover_threshold_sec 若延迟小于此值(秒)，后端状态置为UP

config get pool查看连接池配置

• pool.default_pool_size 默认连接池大小
• pool.max_pool_size 最大连接数量
• pool.max_resp_len 最大结果集长度
• pool.master_preferred 是否只允许走主库

修改配置

config set <key>=<value>

例如

config set slave_delay_down = 3

查看参数配置

show variables [like '%<pattern>%']

查看的参数均为启动配置选项中的参数，详见Cetus 启动配置选项说明。

查看/设置连接信息

查看当前连接的详细信息

show connectionlist

将当前全部连接的详细内容按表格显示出来。

User	Host	db	Command	Time	Trans	PS	State	Xa	Xid	Server	Info
test1	127.0.0.1:3306	test	Sleep	0	N	N	READ_QUERY	NX	NULL	NULL	NULL
test2	127.0.0.1:3307	test	Sleep	0	N	N	READ_QUERY	NX	NULL	NULL	NULL

结果说明：

• User: 用户名;
• Host: 客户端的IP和端口;
• db: 数据库名称;
• Command: 执行的sql，"Sleep"代表当前空闲;
• Time: 已执行的时间;
• Trans: 是否在事务中（Y｜N）;
• PS：是否存在prepare（Y｜N）;
• State: 连接当前的状态，"READ_QUERY"代表在等待获取命令;
• Xa：分布式事务状态（NX|XS|XQ|XE|XP|XC|XR|XCO|XO）;
• Xid：分布式事务的xid;
• Server: 后端地址;
• Info: 暂未知。

Xa状态说明
NX:     未处于分布式事务状态中；
XS:     处于XA START状态；
XQ:     处于XA QUERY状态；
XE:     处于XA END状态；
XP:     处于XA PREPARE状态；
XC:     处于XA COMMIT状态；
XR:     处于XA ROLLBACK状态；
XCO:    处于XA CANDIDATE OVER状态；
XO:     处于XA OVER状态。

查看某用户对某后端的连接数

select conn_num from backends where backend_ndx=<index> and user='<name>')

例如

select conn_num from backends where backend_ndx=2 and user='root');

设置是否减少空闲连接

set reduce_conns (true|false)

例如

set reduce_conns true;

减少空闲连接。

设置是否关闭所有客户端连接

set maintain (true|false)

例如

set maintain true;

关闭所有客户端连接。

查询是否关闭所有客户端连接

show maintain status

查询是否关闭所有客户端连接。

用户/密码管理

密码查询

select * from user_pwd [where user='<name>']

查询某个用户的后端密码。

注意由于密码是非明文的，仅能显示字节码。

select * from user_pwd where user='root';

select * from app_user_pwd [where user='<name>']

查询某个用户连接proxy的密码，同样是非明文。

例如

select * from app_user_pwd where user='test';

密码添加/修改

update user_pwd set password='<password>' where user='<name>'

添加或修改特定用户的后端密码(如果该用户不存在则添加，已存在则覆盖)。

例如

update user_pwd set password='123456' where user='test'

update app_user_pwd set password='<password>' where user='<name>'

添加或修改特定用户连接Proxy的密码(如果该用户不存在则添加，已存在则覆盖)。

例如

update app_user_pwd set password='123456' where user='root'

密码删除

delete from user_pwd where user='<name>'

删除特定用户的后端密码。

例如

delete from user_pwd where user='root'

delete from app_user_pwd where user='<name>'

删除特定用户连接Proxy的密码。

例如

delete from app_user_pwd where user='root'

IP白名单

查看IP白名单

show allow_ip <module>

<module>：admin|shard

查看admin／shard模块的IP白名单。

若列表为空，则代表没有任何限制。

增加IP白名单

add allow_ip <module> <address>

向白名单增加一个IP许可。(IP不要加引号)

<module>：admin|shard

<address>：[[user@]IP]

说明
Admin: 仅配置IP，不能限制用户(Admin有效用户只有一个)；
Shard: 仅配置IP或者IP段，代表允许该IP来源所有用户的访问；配置User@IP，代表允许该IP来源的特定用户访问。
其中配置的IP可为特定IP（如192.0.0.1），或者IP段（如192.0.0.*），或者所有IP（用*表示）。

例如

add allow_ip admin 127.0.0.1

add allow_ip shard test@127.0.0.1

删除IP白名单

delete allow_ip <module> <address>

删除白名单中的一个IP许可。(IP不要加引号)

<module>：admin|shard

<address>：[[user@]IP]

例如

delete allow_ip admin 127.0.0.1

delete allow_ip shard test@127.0.0.1

IP黑名单

查看IP黑名单

show deny_ip <module>

<module>：admin|shard

查看admin／shard模块的IP黑名单。

若列表为空，则代表没有任何限制。

增加IP黑名单

add deny_ip <module> <address>

向黑名单增加一个IP限制。(IP不要加引号)

<module>：admin|shard

<address>：[[user@]IP]

说明
Admin: 仅能配置IP，不能限制用户(Admin有效用户只有一个)；
Shard: 仅配置IP，代表限制该IP来源所有用户的访问；配置User@IP，代表限制该IP来源的特定用户访问。
其中配置的IP可为特定IP（如192.0.0.1），或者IP段（如192.0.0.*），或者所有IP（用*表示）。

例如

add deny_ip admin 127.0.0.1

add deny_ip shard test@127.0.0.1

删除IP黑名单

delete deny_ip <module> <address>

删除黑名单中的一个IP限制。(IP不要加引号)

<module>：admin|shard

<address>：[[user@]IP]

例如

delete deny_ip admin 127.0.0.1

delete deny_ip shard test@127.0.0.1

注意：IP白名单的优先级高于IP黑名单

远程管理

重载分库配置

reload shard

需要"remote-conf-url ＝ <url>"和"disable-threads = false"启动选项。 从远端配置库中重载Shard配置。

保存最新配置

save settings

保存当前最新配置到cetus的安装主路径中（如/home/user/cetus_install/）。

说明
保存的当前最新配置为shard.conf，旧的配置依然存在，更名为shard.conf.old。

查看整体信息

查看统计信息

stats get [<item>]

stats get查看支持的统计类型

• client_query 客户发来的SQL数量
• proxyed_query 发往后端的SQL数量
• query_time_table 查询时间直方图
• server_query_details 每个后端接收的SQL数量
• query_wait_table 等待时间直方图

stats get client_query stats get proxyed_query查看读/写SQL数量

stats get server_query_details查看各个后端读/写SQL数量

stats get query_time_table stats get query_wait_table 查看各时间值对应的SQL数量，如：

name	value
query_time_table.1	3
query_time_table.2	5
query_time_table.5	1

表示用时1毫秒的SQL有3条，用时2毫秒的SQL有5条，用时5毫秒的SQL有1条

说明
stats reset：重置统计信息 

查看总体状态

cetus

包括程序版本、连接数量、QPS、TPS等信息

查看各类SQL统计

show status [like '%<pattern>%']

pattern参数说明
Com_select         总的SELECT数量
Com_insert         总的INSERT数量
Com_update         总的UPDATE数量
Com_delete         总的DELETE数量
Com_select_shard   走多个节点的SELECT数量
Com_insert_shard   走多个节点的INSERT数量
Com_update_shard   走多个节点的UPDATE数量
Com_delete_shard   走多个节点的DELETE数量
Com_select_gobal   仅涉及公共表的SELECT数量
Com_select_bad_key 分库键未识别导致走全库的SELECT数量

查看当前cetus版本

select version

其他

减少系统占用的内存

reduce memory