Redis客户端Client详解

  • 客户端Client结构属性


typedef struct client {

 uint64_t id; /* Client incremental unique ID. */
  • 客户端唯一Id
 int fd; /* Client socket. */

客户端正在使用的套接字描述符,根据客户端类型的不同, fd 属性的值可以是 -1 或者是大于 -1 的整数.

  • 伪客户端(fake client)的 fd 属性的值为 -1 : 伪客户端处理的命令请求来源于 AOF 文件或者 Lua 脚本, 而不是网络, 所以这种客户端不需要套接字连接, 自然也不需要记录套接字描述符。 目前 Redis 服务器会在两个地方用到伪客户端, 一个用于载入 AOF 文件并还原数据库状态, 而另一个则用于执行 Lua 脚本中包含的 Redis 命令
  • 普通客户端的 fd 属性的值为大于 -1 的整数: 普通客户端使用套接字来与服务器进行通讯, 所以服务器会用 fd 属性来记录客户端套接字的描述符。 因为合法的套接字描述符不能是 -1 , 所以普通客户端的套接字描述符的值必然是大于 -1 的整数

可以使用Redis命令client list 查看当前链接到服务器的客户端列表。

redisDb *db; /* Pointer to currently SELECTed DB. */
int dictid; /* ID of the currently SELECTed DB. */

当前客户端链接的数据库的指针和标识(0-15)

 robj *name; /* As set by CLIENT SETNAME. */
  • 设置客户端的名称,可以让客户端的身份变得更清晰
  • 使用 client setname value 命令设置.
sds querybuf; /* Buffer we use to accumulate client queries. */
  • 客户端状态的输入缓冲区用于保存客户端发送的命令请求
  • 输入缓冲区的大小会根据输入内容动态地缩小或者扩大, 但它的最大大小不能超过 1 GB , 否则服务器将关闭这个客户端。

size_t querybuf_peak; /* Recent (100ms or more) peak of querybuf size. */

 int argc; /* Num of arguments of current command. */
 robj **argv; /* Arguments of current command. */
  • 在服务器将客户端发送的命令请求保存到客户端状态的 querybuf 属性之后, 服务器将对命令请求的内容进行分析, 并将得出的命令参数以及命令参数的个数分别保存到客户端状态的 argv 属性和 argc 属性
  • argv 属性是一个数组, 数组中的每个项都是一个字符串对象: 其中 argv[0] 是要执行的命令, 而之后的其他项则是传给命令的参数,argv[0]的值一般为执行操作的命令如:set,get
  • argc 属性则负责记录 argv 数组的长度。
 struct redisCommand *cmd, *lastcmd; /* Last command executed. */
  • 当服务器从协议内容中分析并得出 argv 属性和 argc 属性的值之后, 服务器将根据项 argv[0] 的值, 在命令表中查找命令所对应的命令实现函数。
  • 服务器就可以使用 cmd 属性所指向的 redisCommand 结构, 以及 argv 、 argc 属性中保存的命令参数信息, 调用命令实现函数, 执行客户端指定的命令。
  • 针对命令表的查找操作不区分输入字母的大小写, 所以无论 argv[0] 是 “SET” 、 “set” 、或者 “SeT , 等等, 查找的结果都是相同的。

int reqtype; /* Request protocol type: PROTO_REQ_* */
int multibulklen; /* Number of multi bulk arguments left to read. */
long bulklen; /* Length of bulk argument in multi bulk request. */

 list *reply; /* List of reply objects to send to the client. */
  • 执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里面, 每个客户端都有两个输出缓冲区可用, 一个缓冲区的大小是固定的, 另一个缓冲区的大小是可变的:
  • 可变大小缓冲区由 reply 链表和一个或多个字符串对象组成。
  • 通过使用链表来连接多个字符串对象, 服务器可以为客户端保存一个非常长的命令回复, 而不必受到固定大小缓冲区 16 KB 大小的限制。

unsigned long long reply_bytes; /* Tot bytes of objects in reply list. */
size_t sentlen; /* Amount of bytes already sent in the current
buffer or object being sent. */

 time_t ctime; /* Client creation time. */
 time_t lastinteraction; /* Time of the last interaction, used for timeout */
 time_t obuf_soft_limit_reached_time;
  • ctime 属性记录了创建客户端的时间, 这个时间可以用来计算客户端与服务器已经连接了多少秒 —— CLIENT_LIST 命令的 age 域记录了这个秒数。
  • lastinteraction 属性记录了客户端与服务器最后一次进行互动(interaction)的时间, 这里的互动可以是客户端向服务器发送命令请求, 也可以是服务器向客户端发送命令回复。
  • lastinteraction 属性可以用来计算客户端的空转(idle)时间, 也即是, 距离客户端与服务器最后一次进行互动以来, 已经过去了多少秒 —— CLIENT_LIST 命令的 idle 域记录了这个秒数。
  • obuf_soft_limit_reached_time 属性记录了输出缓冲区第一次到达软性限制(soft limit)的时间, 稍后介绍输出缓冲区大小限制的时候会详细说明这个属性的作用。

 

 int flags; /* Client flags: CLIENT_* macros. */

flags 属性的值可以是单个标志,也可以是多个标志,比如:flags = <flag1> | <flag2> | …

每个标志使用一个常量表示, 一部分标志记录了客户端的角色:

  • 在主从服务器进行复制操作时, 主服务器会成为从服务器的客户端, 而从服务器也会成为主服务器的客户端。 REDIS_MASTER 标志表示客户端代表的是一个主服务器, REDIS_SLAVE 标志表示客户端代表的是一个从服务器。
  • REDIS_PRE_PSYNC 标志表示客户端代表的是一个版本低于 Redis 2.8 的从服务器, 主服务器不能使用 PSYNC 命令与这个从服务器进行同步。 这个标志只能在 REDIS_SLAVE 标志处于打开状态时使用。
  • REDIS_LUA_CLIENT 标识表示客户端是专门用于处理 Lua 脚本里面包含的 Redis 命令的伪客户端。

而另外一部分标志则记录了客户端目前所处的状态:

  • REDIS_MONITOR 标志表示客户端正在执行 MONITOR 命令。
  • REDIS_UNIX_SOCKET 标志表示服务器使用 UNIX 套接字来连接客户端。
  • REDIS_BLOCKED 标志表示客户端正在被 BRPOPBLPOP 等命令阻塞。
  • REDIS_UNBLOCKED 标志表示客户端已经从 REDIS_BLOCKED 标志所表示的阻塞状态中脱离出来, 不再阻塞。 REDIS_UNBLOCKED 标志只能在REDIS_BLOCKED 标志已经打开的情况下使用。
  • REDIS_MULTI 标志表示客户端正在执行事务。
  • REDIS_DIRTY_CAS 标志表示事务使用 WATCH 命令监视的数据库键已经被修改, REDIS_DIRTY_EXEC 标志表示事务在命令入队时出现了错误, 以上两个标志都表示事务的安全性已经被破坏, 只要这两个标记中的任意一个被打开, EXEC 命令必然会执行失败。 这两个标志只能在客户端打开了 REDIS_MULTI 标志的情况下使用。
  • REDIS_CLOSE_ASAP 标志表示客户端的输出缓冲区大小超出了服务器允许的范围, 服务器会在下一次执行 serverCron 函数时关闭这个客户端, 以免服务器的稳定性受到这个客户端影响。 积存在输出缓冲区中的所有内容会直接被释放, 不会返回给客户端。
  • REDIS_CLOSE_AFTER_REPLY 标志表示有用户对这个客户端执行了 CLIENT_KILL 命令, 或者客户端发送给服务器的命令请求中包含了错误的协议内容。 服务器会将客户端积存在输出缓冲区中的所有内容发送给客户端, 然后关闭客户端。
  • REDIS_ASKING 标志表示客户端向集群节点(运行在集群模式下的服务器)发送了 ASKING 命令。
  • REDIS_FORCE_AOF 标志强制服务器将当前执行的命令写入到 AOF 文件里面, REDIS_FORCE_REPL 标志强制主服务器将当前执行的命令复制给所有从服务器。 执行 PUBSUB 命令会使客户端打开 REDIS_FORCE_AOF 标志, 执行 SCRIPT_LOAD 命令会使客户端打开 REDIS_FORCE_AOF标志和 REDIS_FORCE_REPL 标志。
  • 在主从服务器进行命令传播期间, 从服务器需要向主服务器发送 REPLICATION ACK 命令, 在发送这个命令之前, 从服务器必须打开主服务器对应的客户端的 REDIS_MASTER_FORCE_REPLY 标志, 否则发送操作会被拒绝执行。

以上提到的所有标志都定义在 redis.h 文件里面。

 int authenticated; /* When requirepass is non-NULL. */
  • 客户端状态的 authenticated 属性用于记录客户端是否通过了身份验证,如果 authenticated 的值为 0 , 那么表示客户端未通过身份验证; 如果 authenticated 的值为 1 , 那么表示客户端已经通过了身份验证。
  • authenticated 属性仅在服务器启用了身份验证功能时使用: 如果服务器没有启用身份验证功能的话, 那么即使 authenticated 属性的值为 0 (这是默认值), 服务器也不会拒绝执行客户端发送的命令请求。

int replstate; /* Replication state if this is a slave. */
int repl_put_online_on_ack; /* Install slave write handler on ACK. */
int repldbfd; /* Replication DB file descriptor. */
off_t repldboff; /* Replication DB file offset. */
off_t repldbsize; /* Replication DB file size. */
sds replpreamble; /* Replication DB preamble. */
long long reploff; /* Replication offset if this is our master. */
long long repl_ack_off; /* Replication ack offset, if this is a slave. */
long long repl_ack_time;/* Replication ack time, if this is a slave. */
long long psync_initial_offset; /* FULLRESYNC reply offset other slaves
copying this slave output buffer
should use. */
char replrunid[CONFIG_RUN_ID_SIZE+1]; /* Master run id if is a master. */

 int slave_listening_port; /* As configured with: REPLCONF listening-port */
  • 主从服务器同步数据时,从服务器是作为主服务器的客户端,但从服务器ping通主服务器后,这里存储从服务器的端口号

char slave_ip[NET_IP_STR_LEN]; /* Optionally given by REPLCONF ip-address */
int slave_capa; /* Slave capabilities: SLAVE_CAPA_* bitwise OR. */
multiState mstate; /* MULTI/EXEC state */
int btype; /* Type of blocking op if CLIENT_BLOCKED. */
blockingState bpop; /* blocking state */
long long woff; /* Last write global replication offset. */
list *watched_keys; /* Keys WATCHED for MULTI/EXEC CAS */
dict *pubsub_channels; /* channels a client is interested in (SUBSCRIBE) */
list *pubsub_patterns; /* patterns a client is interested in (SUBSCRIBE) */
sds peerid; /* Cached peer ID. */

 /* Response buffer */
 int bufpos;
 char buf[PROTO_REPLY_CHUNK_BYTES];
  • 执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里面, 每个客户端都有两个输出缓冲区可用, 一个缓冲区的大小是固定的, 另一个缓冲区的大小是可变的:
  • 固定大小的缓冲区用于保存那些长度比较小的回复, 比如 OK 、简短的字符串值、整数值、错误回复,等等。
  • 可变大小的缓冲区用于保存那些长度比较大的回复, 比如一个非常长的字符串值, 一个由很多项组成的列表, 一个包含了很多元素的集合, 等等。可变缓存区见上
  • 客户端的固定大小缓冲区由 buf 和 bufpos 两个属性组成:buf 是一个大小为REDIS_REPLY_CHUNK_BYTES 字节的字节数组, 而 bufpos 属性则记录了 buf 数组目前已使用的字节数量。
  • REDIS_REPLY_CHUNK_BYTES 常量目前的默认值为 16*1024 , 也即是说, buf 数组的默认大小为 16 KB 。当 buf 数组的空间已经用完, 或者回复因为太大而没办法放进 buf 数组里面时, 服务器就会开始使用可变大小缓冲区。

} client;

  • 客户端的创建与关闭
  • Aof文件的伪客户端:在服务器载入AOF文件时,会创建用于执行AOF的文件包含的Redis命令的伪客户端,并在载入完成之后,关闭这个伪客户端。
  • Lua脚本伪客户端:在服务器运行的整个周期会一直存在,直到服务器被关闭,这个客户端才会关闭。
  • 普通客户端:使用Connect函数连接到服务器时,服务器会调用连接事件处理器,创建相应的客户端状态,并将这个新的客户端状态添加到服务器状态结构clients链表的末尾。
  • 普通客户端的关闭
  • 客户端进程退出或者被杀死。
  • 客户端向服务器发出了带有不符合协议格式的命令请求。
  • 客户端成为了CLIENT KILL命令的目标。
  • 客户端空转时间,超过Timeout配置选项。不过以下几种情况除外:
    1)客户端是主服务器(打开了REDIS_MASTER标志)
    2)客户端是从服务器(打开了REDIS_SLAVE标志)
    3)被使用BLPOP等命令阻塞(打开了REDIS_BLOCKED标志)
    4)执行SUBSCRIBE、PSUBSCRIBE等订阅命令
  • 客户端发送的命令请求大小超过输入缓存区的限制大小(默认为1GB)。
  • 要发送给客户端的命令回复的大小超过输出缓冲区的限制大小,前面提到输出缓存区超过16KB会使用可变缓存区存储,理论上来说,这个缓存区是可以保存任意长的命令回复,但为什么又有限制呢?
  • 为何限制输出缓存区?
  • 为了避免客户端的回复过大,占用过多的服务器资源,服务器会检查客户端的输出缓存区的大小,并在缓存区的大小超出范围时,执行相应的限制操作。
  • 服务器使用两种模式限制客户端的输出缓冲区的大小:
  • 硬性限制(hard limit):如果输出缓存区大小超过了硬性限制,服务器会关闭客户端。
  • 软件限制(soft limit):如果输出缓存区大小超过了软性限制,但没有超过硬性限制,那么服务器使用客户端状态结构的obuf_soft_limit_reached_time属性记录下客户端到达软性限制的起始时间;之后会继续监听客户端,如果一直超出软性限制,并且持续时间超过服务器的设置,服务器会关闭客户端。相反的,如果在指定的时间之内,不再超过软性限制,那么客户端就不会关闭,并且obuf_soft_limit_reached_time属性清0

使用client-output-buffer-limit <class> <hard limit> <soft limit> <soft seconds>,可以为普通客户端、从服务器客户端、发布/订阅客户端分别设置不同的软性限制和硬性限制。

client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60

第一行设置普通客户端的软性限制和硬性限制都0,表示不限制客户端的输出缓存区。
第二行设置从服务器客户端的硬性限制为256MB,软性限制为64MB 软性限制时间60S
第三行设置发布/订阅客户端的硬性限制为32MB,软性限制为8MB 软性限制时间60S

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>