在之前的两篇文章中,分别讨论了storm-rabbitmq,storm-hbase集成的基本用法,为此我们写一个简单的测试项目用于整体测试。 测试环境: storm0.9.6 hbase1.0.0 rabbitmq3.4.4 代码思路: 1.rabbitmq获取消息,直接转换为字符串(方便我们在rabbitmq web客户端直接发送字符串测试) 2.ra
storm-hbase的使用
在之前的文章里,我使用了rabbitmq作为storm-topololy中spout的数据来源,使用storm-rabbitmq作为spout直接使用。通常我们的业务逻辑如下: 在bolt对tuple进行处理之后,通常要将数据缓存到redis,memcached等内存数据库中,对于数据量小的,可以缓存到内存中,但是对于大量持久化的数据,更多时候需要存储到
Storm-RabbitMQ的使用(一)
RabbitMQ是一款广为使用的企业级消息队列系统,采用erlang语言开发,支持多种语言的客户端访问,这也是我选择rabbitmq作为我接触的第一个MQ的原因。 在去年的项目,我使用Rabbit用来缓存生产者产生的消息,另一端采用java客户端来获取消息然后进行保存、过滤等处理,每天的消息量峰值在1000条/s,共3条队列,以消费者和生产者加起来只有不
[转]Storm nimbus单点的解决思路
http://www.tuicool.com/articles/rqqiMzu