国产精品一级久久久,久久久久久亚洲精品,久久精彩视频

井底青蛙,常望天空 — Wed, 14 Jul 2010 11:18:00 GMT

ActiveMQ是一个流行的开源MQ�Q�我们也大规模应用在�|�站的方斚w��面，每天处理上亿消息�Q�取得了较好效果。ActiveMQ有一个很好很强大的插件体�p�，提供了很强的扩展能力�Q�ActiveMQ本��n��是使用�q�一套插件体�p�d��C��很多扩展功能�Q�包括他的权限管理，日志��理�Q�事务等模块都是作�ؓ一个插仉��成的�Q�我们自�׃��在消息�\由、补偿式事务斚w��使用了它的插件功能，��实非常方便�?/p>

在ActiveMQ中，Broker代表一个运行的MQ节点�Q�ActiveMQ的插件实际上是基于Broker的一个Filter链，整个设计�c�M��于servlet的Filter�l�构�Q�所有的Plugin构成一个链式结构，每个插�g实际上都是一�?Interceptor"�Q�类�l�构囑֦�下：

其中Broker接口��装了一个AMQ节点的方斚w��面的�Ҏ��Q�包括连接管理、session��理、消息的发送和接收以及其它的一些功能，BrokerFilter实现�q�个接口�Q��ƈ提供了链式结构支持，可以拦截所有Broker�Ҏ��的实现�ƈ传递结果给铑ּ��l�构的下一个，形成了一个完整的"职责�?模式�Q�具体层�ơ关�p�d��下，其中�Q?System Plugin"是指AMQ内部使用Plugin机制实现的一些系�l�功能，用户不能定制�Q?AMQ Plugin"指的是ActiveMQ已经实现好了�Q�可以在配置文�g中自由选择的一些插�Ӟ��例如��单的安全插�g�Q�JAAS安全插�g和DLQ插�g�{�等�Q�用��h��件就是指用户自己实现的amq插�g�Q�需要用��h��相关jar包放入到amq的启动classpath中，�q�在配置文�g中进行配�|�才能正��加载的插�g�?/p>

在上面这个层�ơ结构中�Q�最下面的RegionBroker是核心组�Ӟ��在其之上的都是Broker的插�Ӟ��l�承之于BrokerFilter�Q�和Broker保持接口兼容但是扩展Broker的功能�?/p>

下面举一个简单的例子�Q�具体说明一下AMQ的插件是如何工作的�?/p>

我们在��用AMQ的过�E�中发现�Q�在��试环境�l�护斚w��有很大的�ȝ��Q�具体表现在很多同学在测试项目的时候往往只关注自己项目牵涉的队列�Q�不会去消费其他"不相�?的队列，�q�样��D��的一个问题就是ActiveMQ�l�常发生大量数据��d��Q�导致测试环境不可用�Q�媄响相关项目的��试工作。�ؓ了避免这个问题，我们假定在测试环境可以定义以下一些限制条�Ӟ��

1�?所有队列堆�U�消息不��过1000条，��过之后立即清除�?/p>

2�?消息��过1个小时没有消费，��q��接过期�?/p>

我们可以�~�写一个简单的amq插�g来完成这两个限制条�g�Q?/p>

首先�Q�编写一个插件安装类�Q?/p>

package com.alibaba.napoli.plugins;

import org.apache.activemq.broker.Broker;
import org.apache.activemq.broker.BrokerPlugin;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

public class MessageControlBrokerPlugin implements BrokerPlugin {
private static Log log = LogFactory.getLog(StatisticsBrokerPlugin.class);

public Broker installPlugin(Broker broker) throws Exception {
log.info("install MessageControlBrokerPlugin");
return new MessageControlBroker(broker);
}
}

其次�Q�编写真正的插�g实现�Q?/p>

package com.alibaba.napoli.plugins;

import java.io.IOException;

import org.apache.activemq.broker.Broker;
import org.apache.activemq.broker.BrokerFilter;
import org.apache.activemq.broker.ConnectionContext;
import org.apache.activemq.broker.ProducerBrokerExchange;
import org.apache.activemq.broker.region.Destination;
import org.apache.activemq.broker.region.MessageReference;
import org.apache.activemq.broker.region.Queue;
import org.apache.activemq.command.Message;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

/**
* 开发环境管理插�Ӟ��W�合两个条�g�q�行消息清理�Q?lt;br>
* 1 消息累积��过1000�?
* 2 消息��过1个小时无人消�?
* @author guolin.zhuanggl
*
*/
public class MessageControlBroker extends BrokerFilter {
public static Log log = LogFactory.getLog(DiscardingDLQBroker.class);
private static final long DEFAULT_EXPIRATION = 3600*1000;
private static final long DEFAULT_PURGE_COUNT = 1000;

public MessageControlBroker(Broker next) {
super(next);
}

@Override
public void messageExpired(ConnectionContext context,
MessageReference message) {

Message msg = null;
try {
msg = message.getMessage();
} catch (IOException e) {
log.error("failed to fetch content: ",e);
}
purgeMessage(msg);
// TODO Auto-generated method stub
super.messageExpired(context, message);
}

/**
* 清除队列中的所有消�?
*/
private void purgeMessage(Message message){
Destination r = message.getRegionDestination();
if(r instanceof Queue){
try {
//如果累积消息��过1000个，清除队列消息
if(((Queue) r).getMessages().size() > DEFAULT_PURGE_COUNT){
((Queue) r).purge();
}
} catch (Exception e) {
// TODO Auto-generated catch block
log.error("failed to purge queue "+r.getName(),e);
}
}

}
/**
* 当消息发送时�Q�全部设�|�过期时�?个小�Ӟ��试环境专用�Q�！�Q?
*/
@Override
public void send(ProducerBrokerExchange producerExchange,Message messageSend) throws Exception {
long oldExp = messageSend.getExpiration();
messageSend.setExpiration(oldExp < DEFAULT_EXPIRATION && oldExp > 0 ? oldExp : DEFAULT_EXPIRATION );
purgeMessage(messageSend);
super.send(producerExchange, messageSend);
}

}

然后�Q�将�q�两个类打包为myplugin.jar�Q��ƈ攑֜�activemq启动目录下的lib目录�?/p>

最后，在activemq.xml文�g中增加一个简单的spring配置��：

class="com.alibaba.napoli.plugins.MessageControlBrokerPlugin">

然后�Q�重启activemq�Q�就会发现这个插件已�l�被加蝲�?/p>

井底青蛙,常望天空 2010-07-14 19:18 发表评论

btrace使用实例

井底青蛙,常望天空 — Wed, 14 Jul 2010 11:18:00 GMT

�? BTrace 说明�? http://kenai.com/projects/btrace
是一个实时监控工��P��使用�? java agent �? jvm attach 技术，可以在不停机的情况下实时监控�U�上�E�序的运行情况，另外�Q�对 btrace 脚本�Q�实际上��是 java �E�序�Q�做了非�怸�格的安全限制�Q�安全性很高，对应用程序基本没有媄响。在性能斚w��Q? cobar �q�行�q�测试，�Ҏ��法进行调用耗时�l�计的时候，基本消费在微�U��别，可以说微不��道�?

【背景�?/span>

在中文站 napoli 上线�q�程后，发现了一个奇怪的现象�Q�尽��?已知"�? offer 发送端都已�l�迁�U�d��
napoli �pȝ��中，但是老的 mq �pȝ��仍然有新�? offer 消息�q�来�Q�因��? mq 的服务器非常多，定位消息来源成了一个非常大的问题。这�U�情况，惛_��了��? BTrace 在某一台服务器�q�行�U�上监控�q�而期望发现这个幽��c�?

【过�E��?/span>

首先�Q�我们需要知道两个基本信息：消息�c�d��和来�? ip �Q�这��h��可以定位 offer 消息的来源�?

要知道来�? ip �Q�需要找到服务器�? ��理的类�Q�只有在建立 socket 的地方，才可以抓到具�? ip �Q�经�q�分�? amq 代码�Q�发�? tcp �q�接基本是由下面�q�个�c�L��服务所有消息的接收的：

public class TcpTransport extends TransportThreadSupport implements Transport, Service, Runnable {

private static final Log LOG = LogFactory.getLog(TcpTransport.class);

private static final ThreadPoolExecutor SOCKET_CLOSE;

protected final URI remoteLocation;

protected final URI localLocation;

protected final WireFormat wireFormat;

protected int connectionTimeout = 30000;

protected int soTimeout;

protected int socketBufferSize = 64 * 1024;

protected int ioBufferSize = 8 * 1024;

protected boolean closeAsync=true;

protected Socket socket;

�q�个�c�M��包含一�? socket 对象的成员变量，所有我们只要监�? readCommand �Ҏ��Q�这个方法的�q�回值实际上��是一�? ActivemqObjectMessage 对象�Q�这样就可以在一个方法上加拦截器��可以同时捕获到 ip 和消息对象，两全其美�Q�！�Q?

protected Object readCommand() throws IOException {

return wireFormat.unmarshal(dataIn);

}

因�ؓ原有 ESB 消息通道都是一个队�? ESBQueue �Q�所以无法通过队列名称来确定消息类型，必须通过
ESBTransferObject 对象来取得消息类型： destType �Q? offer 的区间是 1000-1008

public class ESBTransferObject implements Serializable {

private static final long serialVersionUID = -5975115234845303878L;

/**

* 消息体，原则上对象序列化后的XML数据(String) 注意使用XML1.1规范�?/p>

private Object content;

/**

* 用户自定义数�?/p>

private Object userDefineData;

/**

* 目的消息�c�d��

private int destType = -1;

但是�Q�在服务器端�q�没�? ESBTransferObject 对象�Q�无法反序列化（ BTrace 也不支持反序列化操作�Q�，所以没有方法简单取得消息类型信息！�Q�！

OK �Q�我不反序列化，直接拿二�q�制 byte[] �Q�类型信息应该是在固定位�|�的吧？但是发现�q�个对象
content 变长字符串定义在�c�d��之前�Q�类型位�|�不��定了，晕倒啊不死心，输出二进制数据，��x��花明啊，原来对象序列化的时候， primitive �? field 都是紧接着�c�d��信息写入的，所以，�c�d��信息是在固定位置�? �Q�类型信息始�l�是 255 �Q? 256 两个字节�Q�实际上�? 4 个字节，但是目前我们只占�? 2 个） Ok �Q�编写代码，��试环境�q�行一下，晕倒，竟然有数�l�溢出！

使用 BTrace �Q�把�q�个数组打印下来�Q�这个需要点技巧， btrace �q? for 都不允许�Q�，竟然发现 位置偏移�?/span> 205 �Q? 206 位置 �Q�这个真的不知道什么原因，估计是客��L��发送的时候压�~�了�Q�简单修改偏�U�量�Q�测试运行， ok �Q�所有的消息�c�d��? ip 的对照表打印出来了�?

package com.alibaba.btrace.script;

import static com.sun.btrace.BTraceUtils.*;

import com.sun.btrace.annotations.*;

@BTrace

public class AMQQueue2IP {

@OnMethod(clazz = "org.apache.activemq.transport.tcp.TcpTransport", //需要拦截的�c�d��

method = "readCommand", //需要拦截的�Ҏ��?/p>

location = @Location(Kind.RETURN)) //拦截位置�Q�方法返回时

public static void onTransportCommandExit(@Self Object transport, @Return Object command) { //捕获调用对象和返回�?/p>

String commandName = str(command);

boolean isObjectMessage = (indexOf(commandName, "org.apache.activemq.command.ActiveMQObjectMessage") >= 0);

if (isObjectMessage) {

Object msg = command;

Object content = get(field(getSuperclass(getSuperclass(classOf(msg))), "content", false), msg);//捕获消息内容byte[]

byte[] bs = (byte[]) get(field(classOf(content), "data", false), content);

if (bs.length >= 206) {

int off = getInt(field(classOf(content), "offset", false), content);

int code = (0xff00&bs[205]<<8)+(0xff&bs[206]); //转换205,206字节为消息类�?/p>

//println(str(code));

Object socket = get(field(classOf(transport), "socket"), transport);

String address = str(socket); //截取ip地址

int s = indexOf(address, "/");

int e = indexOf(address, ",");

int len = e - s;

String ip = substr(address, s + 1, e);

print(strcat(timestamp(),"---"));

println(strcat(strcat("ip: ", ip), strcat(" queueName: ", str(code))));

}

打印�l�果�Q?/span>

2/3/10 12:38 PM---ip: 172.22.2.34 queueName: 2001

2/3/10 12:38 PM---ip: 172.22.2.41 queueName: 5001

2/3/10 12:38 PM---ip: 172.22.2.22 queueName: 5001

2/3/10 12:38 PM---ip: 172.22.2.47 queueName: 2001

2/3/10 12:38 PM---ip: 172.22.2.31 queueName: 2001

2/3/10 12:38 PM---ip: 172.22.2.13 queueName: 5001

2/3/10 12:38 PM---ip: 172.22.2.6 queueName: 5001

2/3/10 12:38 PM---ip: 172.22.2.48 queueName: 2001

2/3/10 12:38 PM---ip: 172.22.2.39 queueName: 2001

【补充�?/span>

BTrace 是一个强大的工具�Q�但是，在线上检��的时候考虑时效性和安全性，必须有一个经�q�检验的脚本库才可以安全及时的定位系�l�问�?

井底青蛙,常望天空 2010-07-14 19:18 发表评论

井底青蛙,常望天空 — Wed, 14 Jul 2010 11:17:00 GMT

今天公司DNS切换�Q�结果napoli�q�边收到大量报警�Q�这��奇怪了�Q�数据都是正��的�Q�报警的�l�果��都是错误的�Q�调试了一些脚本，发现有这个奇怪的文本" Binary file (standard input) matches "原来grep把输入数据��时文件当成是二进制文件了�Q�这里加 -a ��可以解册��个问题�?/p>

但是�Q��ؓ什么文本文件会被当成是二进制文�Ӟ��和今天的DNS切换有什么关�p�？分析后发玎ͼ�因�ؓdns的问题，抓数据的脚本执行旉��明显变长�Q�这��P��在文件还在写入的时候，监控脚本��开始读取数据文�Ӟ��在这��L��q�发讉K��下，grep会认��己正在访问一个binary文�g�Q�导致监控误报警�?/p>

井底青蛙,常望天空 2010-07-14 19:17 发表评论

误解API�Q�后果很严重

井底青蛙,常望天空 — Wed, 14 Jul 2010 11:17:00 GMT

最�q�在�U�上部��v的ActiveMQ发生一�ơ故障，因�ؓ一台ActiveMQ故障��前台的关键应用全部�q�接挂住�Q�根本原因有两条�Q�session的timeout讄��不合理以及session池没有限制大��。这里说的不是这个问题，而是在后�l�设�|�client的timeout�q�程�?有同学发现AMQ有一个严重的bug�Q�timeout�Ҏ��不�v作用!!!

调试代码发现�Q?/p>

在Activemq的send response处理中，使用了一个BlockingQueue�Q�在有timeout的方法里�Q��用了poll�Ҏ��Q�这个方法的api说明中指出，当timeout发生�Ӟ��q�个�Ҏ��q�回null�Q�！�Q?/p>

我们在看AMQ�l�过层层调用后，在ActiveMQConnection�Ҏ��中如何处理这个返回��|��

对返回��gؓ�I�的情况没有做�Q何处理，即��消息发送超�Ӟ��amq也认��个消息发送成功！估计�q�哥们理解poll在timeout的时候会抛出异常吧�?/p>

解决办法很简单，在response为空的时候，抛出JMSException�Q�告知发生Timeout错误�?/p>

井底青蛙,常望天空 2010-07-14 19:17 发表评论