BeansTalkd的使用与安装

一、Beanstalkd的特点

  • Beanstalkd 是一个轻量级、高性能的消息队列中间件,它最大特点是将自己定位为基于管道  (tube) 和任务 (job) 的工作队列 (work-queue)。
  • Beanstalkd 支持任务(job)优先级 (priority), 延时 (delay), 超时重发 (time-to-run) 和预留 (buried), 能够很好的支持分布式的后台任务和定时任务处理。
  • Beanstalkd的内部实现采用 libevent, 服务器-客户端之间用类似 memcached 的轻量级通讯协议,具有有很高的性能。
  • 尽管是内存队列, beanstalkd 提供了 binlog 机制, 当重启 beanstalkd 时,当前任务状态能够从纪录的本地 binlog 中恢复。

二、Beanstalkd设计里面的核心概念

2.1 管道 (tube)

管道类似于消息主题 (topic), 在一个 Beanstalkd 中可以支持多个管道, 每个管道都有自己的发布者 (producer) 和消费者 (consumer). 管道之间互相不影响。

2.2 任务 (job)

一个需要异步处理的任务,是Beanstalkd中的基本单元,需要放在一个tube中。beanstalkd用job代替了message的概念,与消息不同,job有一系列状态。

2.3 生成者(producer)

Job的生产者,通过put命令来将一个job放到一个tube中。

2.4 消费者(consumer)

Job的消费者,通过reserve/release/bury/delete命令来获取job或改变job的状态。

2.5 优先级(priority)

任务 (job) 可以有 0~2^32 个优先级, 0 代表最高优先级。 beanstalkd 采用最大最小堆 (Min-max heap) 处理任务优先级排序, 任何时刻调用 reserve 命令的消费者总是能拿到当前优先级最高的任务, 时间复杂度为 O(logn)。

2.6 延时(delay)

有两种方式可以延时执行任务 (job): 生产者发布任务时指定延时;或者当任务处理完毕后, 消费者再次将任务放入队列延时执行 (RELEASE with <delay>)。这种机制可以实现分布式的 java.util.Timer,这种分布式定时任务的优势是:如果某个消费者节点故障,任务超时重发 (time-to-run) 能够保证任务转移到另外的节点执行。

2.7 超时重发(time-to-run)

Beanstalkd 把job返回给consumer以后:consumer必须在预设的 TTR (time-to-run) 时间内发送 delete / release/ bury 改变任务状态;否则 Beanstalkd 会认为消息处理失败,然后把job交给另外的消费者节点执行。如果consumer预计在 TTR (time-to-run) 时间内无法完成任务, 也可以发送 touch 命令, 它的作用是让 Beanstalkd 从系统时间重新计算 TTR。

2.8 任务预留(buried)

如果job因为某些原因无法执行, consumer可以把任务置为 buried 状态让 Beanstalkd 保留这些任务。管理员可以通过 peek buried 命令查询被保留的任务,并且进行人工干预。简单的, kick <n> 能够一次性把 n 条被保留的任务踢回队列。

三、job的状态

  • READY:需要立即处理的任务,当延时 (DELAYED) 任务到期后会自动成为当前任务;
  • DELAYED:延迟执行的任务, 当消费者处理任务后,可以用将消息再次放回 DELAYED 队列延迟执行;
  • RESERVED:已经被消费者获取, 正在执行的任务,Beanstalkd 负责检查任务是否在 TTR(time-to-run) 内完成;
  • BURIED:保留的任务: 任务不会被执行,也不会消失,除非有人把它 “踢” 回队列;
  • DELETED:消息被彻底删除。Beanstalkd 不再维持这些消息。

如下,是一个典型任务的生命周期:
producer执行put命令将job放入队列,consumer执行reserve命令从队列取出job,执行完毕后发送delete命令告诉beanstalkd删除该job。
如果没有执行delete命令,beanstalkd将在一个TTR周期(默认120s)后重新将该job加入队列;

       put                reserve              delete
-----> [READY] ---------> [RESERVED] --------> *poof*

四、Beanstalkd 的命令

Beanstalkd 采用类 memcached 协议, 客户端通过文本命令与服务器交互。这些命令可以简单的分成三组:

4.1 生产类

use <tube>
put <priority> <delay> <ttr> [bytes]:

生产者用 use 选择一个管道 (tube), 然后用 put 命令向管道发布任务 (job).

4.2 消费类

watch <tubes>
reserve
delete <id>
release <id> <priority> <delay>
bury <id>
touch <id>

消费者用 watch 选择多个管道 (tube), 然后用 reserve 命令获取待执行的任务,这个命令是阻塞的。客户端直到有任务可执行才返回。当任务处理完毕后, 消费者可以彻底删除任务 (DELETE), 释放任务让别人处理 (RELEASE), 或者保留 (BURY) 任务。

4.3 维护类

peek job
peek delayed
peek ready
peek buried
kick <n>

用于维护管道内的任务状态, 在不改变任务状态的条件下获取任务。可以用消费类命令改变这些任务的状态。
被保留 (buried) 的任务可以用 kick 命令 “踢” 回队列。

五、Beanstalkd的安装

官网地址:http://kr.github.io/beanstalkd/download.html

5.1 下载

下载地址: https://github.com/kr/beanstalkd/archive/v1.10.tar.gz

5.2 安装

make // 1.8的版本后不需要./configure
make install
默认安装路径 :/usr/local/bin/

5.3 组、用户

groupadd beanstalkd 
adduser -M -g beanstalkd -s /sbin/nologin beanstalkd

5.4 启动项

-b DIR 数据持久化的目录(binLog目录),确保-u USER有读写权限。
-f MS 数据持久化缓冲时间(单位:MS)-f0:表示及时持久。
-l ADDR 监听ip;默认0.0.0.0
-p PORT 监听端口;默认11300
-u USER 进程用户
-F 从不持久化数据
-z BYTES job的大小限制,默认:65535
-s BYTES 持久化文件的大小,默认:10485760(10M),设置成512字节的倍数
-c 压缩binlog日志
-n 不压缩binlog日志

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>