Archive for the ‘java’ category

如何保证jms消息的顺序性

June 3rd, 2009

JMS提供的queue和topic两种工作方式,其中queue能保证消息在传输中的顺序性,这是队列先入先出(first in first out)的特性。JMS本身不能保证多个队列里的消息的顺序性,比如 先放入queue1的消息m1,并不一定总是比后放入queue2的消息m2,先到达同样的目的地。

并发地发送和接收消息不能保证消息按正确顺序进入队列和被消费。比如,有两个线程分别发送创建订单和支付订单消息,由于线程运行的不确定性,即使我们按顺序先开始发送创建订单的线程,后开始支付订单的线程,如果两个线程开始时间间隔不够长,还是有可能后开始的线程先发送掉消息。同样的情况发生在并发的接收处理消息时。

那么如何保证消息的顺序性呢?

一种方案是,乱序接收,顺序处理。也就是说,消息在发送,传输和接收过程中可能是乱序的,但消费者在接收到消息之后,并不立即处理,而是先将消息排序,然后在处理。JMS消息头部的 JMSCorrelationID可以帮助我们完成这个工作。JMSCorrelationID存放了另一个消息的id。消息的发送者,如果要保证消息的顺序性,要将后发送的消息的JMSCorrelationID设置成前一个消息的id。消费者接收消息后,如果发现其头部有JMSCorrelationID,则查看该消息是否已被处理过,如果没有,则等待该消息,至到该消息被处理后,才处理这个消息。这一工作需要发送者和接收者都记住已经发送和接收过的消息,以便于给后来的消息参考。

另一种方案是,顺序发送,顺序传输,顺序接收,顺序处理。其中传输可以由queue来保证,但是发送接收和处理则需要应用程序来控制。简单的说,直到前一个消息发送成功,才能发送后一个消息,同样的,直到前一个消息被接受和处理结束,才能接收和处理后一个消息。这样的做法无疑会降低并发带来的好处。

以上所说的方案,是用来严格控制消息的顺序性的,然而,如果消息的发送的间隔时间足够长,不需要做过多控制,也可以控制消息的顺序性。假设,一个消息正常情况下,由发送,传输,接收到处理成功,最大时间耗费是2秒,那么只要我们保证消息发送的时间隔达不低于2秒,那么这两个消息就可以被正确的处理。这一条件咋听起来很苛刻,但事实上大部分的消息都满足了。比如,同一个订单的创建,和请求支付,最快也要数秒的时间,而退款的开始和结束,可能要数天。在典型的web应用中,操作人员不可能那么快的点击系统,而系统也不可能那么快的响应。进一步的,如果两个需要顺序处理的业务事件可能在极端的时间里连续发生,我们只要在程序上控制,人为将间隔拉开,就可以保证顺序性。

在系统的各各环节控制消息的顺序,代价高昂,而带来的好处却只是针对那极少数极端情况;通过业务或程序的方式,保证消息的有效时间间隔,代价较小,也能有效保证顺序。

如果系统中有很多的间隔极端,又需要保证顺序的消息,那你就要考虑是否将这两个消息合并成一个,或则不该采用jms了。

  • Share/Bookmark

为什么java没有php开发web容易?

June 2nd, 2009

为什么java没有php开发web容易?原因可能有很多种,就我这半年的php经验来看,主要有以下几点原因:

1. java没有php那样好用的map(在php里叫做array)

这一点很重要,直接看代码吧:
php的:

$values= array(
    'login_name'=>'sulong',
    'password'=>'',
    'login_result'=>array(
        'error_no'=>3,
        'msg'=> 'account disabled'
    )
);

java的:

Map values = new HashMap();
values.put("login_name", "sulong");
values.put("password", "");

Mapresult = new HashMap();
result.put("error_no", "3");
result. put("msg", "account disabled");

values.put("login_result", result);

很多时候,java程序员宁愿选择建一个新的类来做数据的载体,也就是常说的bean了。但是很多时候,我只想要一个简洁好用的Map而已。

最好的是groovy:

values = [
    login_name: "sulong",
    password: "",
    login_result: [
        error_no: "3",
        msg: "account disabled"
    ]
]

仅凭这一点,我就觉得在groovy克服其它问题后,必会成为java在web开发上的利器。

2. java经常要重启服务器

用java开发web,只要改动了java代码,就要重新启动服务器,至少要重新部署一下应用,才能看到新代码的效果,而php就不需要。所以,开发php的时候,经常是一边写,一边运行看效果,快速的迭代和开发。相比之下,java要不断的编译重新发布,重启服务器,比php慢多了。如果java开发也可以即时生效,不用不断的重启的话,那么java的开发效率必然会有很大的提升。

3. 动态类型

确实,动态类型意味这较弱的IDE支持,意味着要进行更多的测试,以避免意想不到的效果,但是,另一方面,动态类型将代码简化,让程序员关注于做什么,而不是怎么做,提升了生产率。比如,用动态类型语言的时候,我们只要说,dog.bark(),那么我们不用关心dog到底是不是dog,只要他能bark(),那bark()就好了。而在静态类型的语言中,我们一定要先搞清楚那是什么,能不能bark,如果不能bark怎么办?是不是要做一层包装?做类型的转换?等等。严谨固然有他的好处,但自由简明显然开发起来更加的快速。

  • Share/Bookmark

企业应用集成–引入ESB

May 11th, 2009

随着时间的推移,一个企业的业务会越来越复杂,企业应用越来越多,应用间交互越来越复杂。新的应用的开发,耗在集成的上的时间和精力越来越多,而且集成也成了bug最容易发生的地方。如果不能很好的处理好集成问题,开发将很难再进行下去。

如果每个应用之间直接通过jms或http连接,应用数为N,那么最坏情况下,共有N(N-1)/2个连接,随着N的增长,应用间的连接越来越多,集成越来越累。如下图所示:

struct_without_esb

这个时候使用ESB,可以是系统从网状结构改成总线结构。如下图所示:

esb

每个应用只要做好和ESB的连接,这将大大的降低系统结构的复杂度。ESB将负责路由应用间的消息。路由功能是ESB一个强项,不通过写代码,只要改改配置文件就可以实现简单的简单的路由规则。在网状结构中,每个应用负责决定消息是否发送到什么地方。比如,如果app1需要将消息发送到app2和app3,那么他要主动的和app2,app3连接,发送去消息。而在esb结构中,app1只需要把消息发送到esb上,由esb负责将这个消息路由到app2和app3。这样应用更关心和消息相关的创建和消费的业务功能,而不用关心消息的路由,而esb只关注消息的路由,却不用关注具体的业务逻辑。这样的关注点分离是很有益的。

另一方面,esb支持众多的协议,不仅支持jms, http,还支持比如corba, esb等协议,可以方便的和应用连接上。esb还内置的消息格式的转化内容的增强等功能。这样,app1, app2可以通过不同的协议连接到esb上,而且app1发送的可以是某种二进制报文,而app2接收的却是xml,不同协议的桥接,不同消息的格式和内容的差异,都可以在esb中弥补掉。这一能力对于集成遗留系统非常很有用。

可见esb让应用系统更关注于业务逻辑,而把路由,消息格式内容的转化和不同协议的支持等功能放到统一地方,几乎就是专门为应用集成而生的。

  • Share/Bookmark

企业应用集成–java

April 28th, 2009

java企业应用最终往往运行在某种应用服务器中,比如tomcat,jboss等。部署的单元是war, jar 或者 ear文件,开始的时候,我们可能会将多个应用放到一个单元里来开发管理和部署。随着应用的增多,为了能够让每个应用能够独立的运行不受干扰,也为了开发工作能很好的安排,往往会将各应用分开,于是会有多个war, jar,或ear文件。试想一下,假设你有订单系统,产品系统,客服系统,等,如果这些应用都被放在同一个部署单元里,当需要更新客服系统时,会短暂的导致订单系统不能正常工作,而这种情况往往是不能被接受的。另外,如果客服系统非常繁忙,由于部署在同一台物理服务器上,共享硬件资源,订单系统会受到干扰,而这也不是我们想要的。将单独的应用单独打包,单独部署成为必然。那么就面临着让这些应用通信,将它们集成的问题。


与java和php之间集成相比,java与java之间的集成,不仅可以使用共享数据库,soap,或基于http的简单的文档交换,还可以使用jms,rmi等多种方案。其中jms是j2ee众多的标准中最为成功的协议之一,很少有人针对它发表过不满意见。我们在工作中就采用了jms。和http相比,它有如下优势:

为java量身定做的

jms不仅可以传输普通的字符串,还可以直接传输java对象,并和java的其它服务结合起来,接口api也符合java的使用习惯。如果用http,我们还得要考虑如何把对象序列化等问题,比较麻烦。

使用长连接

http主要用在客户端和服务器交互上,为了能让服务器支持大量的客户端,http往往都以一种无状态和短连接的方式工作。而jms主要用在java应用之间的交互,不需要支持那么多的客户端,用长连接更加适合。典型的http服务器,可能同时要给数千数万人提供服务,如果服务器和每个客户端保持一个连接,那对服务器来说,显然是一个非常大的负担。所以,通常客户端和http的一次交互完成后,连接就断开,而下次访问时,还得要重新建立连接。jms服务器面对的客户端一般只有几个,至多几十个,和每个客户端保持连接的开销是可以接受的。典型的企业可能有如下系统:订单系统,产品系统,结算系统,等等,这些系统,每个都和集中的jms服务器保持一个连接,总连接数也是很少的,所以可以保持长连接。这客户端和jms服务器通信的时候,不必每次都建立连接,减少了网络操作,提升了性能。

异步

http操作的过程是同步的,如果要使用异步的方式工作,需要程序员再做些编码工作。而jms天生就以异步的方式来工作的,不必做过多的编码。消息的生产者一旦把消息发送出去,就可以立刻返回不必等待消息的消费结果,后续的消息消费可以自动的异步执行。将不必要立刻执行的动作异步执行,可以大大降低系统的响应时间。

可靠的消息传递

在使用http通信的过程中,如果发生了网络异常,是否要做重发,以及如何重发,会是一件很痛苦的事情。jms提供了persitent的传递模式,在这种模式时,客户端代理在发送消息之前,会先把消息持久,如果发生网络异常,客户端代理会自动处理重发,而不需要应用程序关心。jms消息的唯一编号,可以有效的阻止一个消息被重复处理的问题。

在java应用集成时,jms比http更适合。成熟的jms服务器软件很多,除了ibm的mq,jboss mq, apache activemq 都是很不错的选择。

  • Share/Bookmark