看过Servlet 3.0的规范和API后，可以看出来，所谓异步的HTTP，其实异步的不是HTTP，而是服务器端异步地处理HTTP请求，而HTTP客户端，仍旧是同步的等待服务端的处理结果。一般servlet容器会分配一个线程用来处理一个来自客户端的HTTP请求，在这个线程发送回HTTP响应之前，这个线程只属于这个HTTP请求不能离开处理其它请求。采用Servlet3.0之后，当前的线程可以开启异步处理，开启异步处理的时候会得到一个异步处理上下文对象，之后当前的线程就可以不生成HTTP响应而直接退出去处理其它的HTTP请求，其它线程可以在之后通过异步处理上下文来生成和发送那个HTTP响应。可见所谓的异步HTTP其实只是一种可以让当前的处理线程在不生成响应前就离开，而在之后再处理这个HTTP请求的机制。

从客户端看来，不论是哪种方式，浏览器都在发送完HTTP请求之后，都必须同步的等待服务器端的响应。假如浏览器发送完HTTP请求之后，可以在得到服务器处理结果之前转而处理其它事情，而在未来的某个时刻，当服务器处理完请求后，不需要客户端再发送请求，就可以发响应发回给浏览器，也许那才是真的异步HTTP了。但是这是违反HTTP的有请求才响应，无请求不响应的基本原则的。 HTTP长连接可以让客户端和服务器在同一个TCP连接中做多次请求响应，但是并不能改变客户端和服务器之间的同步请求响应模式。

尽管Servlet3.0的异步功能不能改变HTTP的协议，在本质上让浏览器和服务器之间异步的交互，但是这一功能还是有非常大的意义的。假设接受请求和发送响应的时间分别为Req和Resp，每个请求都要执行一个耗时P的操作O，并且O操作会让调用者阻塞，当在P时间内有n个请求发送过来时，用传统的处理方式，由于P时间内每个线程都不能处理完，servlet容器要分配F(n) = n个线程处理请求，如下图所示:

而用Servlet3.0的异步处理时，处理线程可以开启单一线程去做那个耗时P的操作，而把当前请求的异步处理上下文放入一个等待队列中，自己则接着处理其它的请求，假设这个开启异步，加入异步处理上下文的操作需要时间A，那么需要开启F(n) = n*(A+Req+Resp)/(P + Req + Resp) + 1个线程就可以在P时间内处理完所有请求。如下图所示：

假如执行操作O可以不阻塞，耗时C就返回, 那么n客户端每获得一次资源，需要发送f(n) = n*P / (Req + C + Resp) 次请求，而用异步处理的时候，只需要n次请求。可见当A足够小于P时，O阻塞访问时，异步可以用更少的线程处理更多的请求；O非阻塞访问时，异步可以减少请求次数。

以web QQ为例来看看。用户发送消息时，假设服务器分发消息耗时P远远大于开启异步和把消息放到待分发队列的耗时A，那么采用异步处理发送消息，可以用更少的线程处理更多的发送消息请求。用户接受消息，假设平均P时间内用户才有新消息到达，而检查一次新消息的耗时远小于P，那么采用异步则可以减少很多客户端请求。

什么是集群

计算机集群（以下简称集群）在维基百科上被定义为一组相互连接的计算机，紧密的工作在一起，以至于在很多方面看来，它们都像是一台机器。

集群的好处

集群可能能给我们带来很多好处，其中负载均衡(loadbalance)和故障恢复(failover)一般是最常用的。负载均衡是将系统的负载分派到集群内不同的计算机上，让每个节点都不至于太忙或太闲，通过增加集群中计算机的数量，可以提升整体的负载能力。故障恢复是指在集群中某个节点发生故障时，其它的节点代替它们继续工作，这样整个系统依旧能对外提供服务。

web服务器集群的特点

对于web服务器来说，集群就是让一组计算机对外像一台web服务器一样运行。web服务器的特点是它通过http协议与客户端交互，而http协议的工作机制是请求响应模式的。web服务器的集群要能把客户端的http请求发送到集群内各个节点上，实现loadbalance，并能探测到各节点的工作情况，在某个节点失效的时候，不再把http请求发送到该节点上。

有状态与无状态

web程序本身是否有状态对实现集群的方法和难以度有很大的影响。如果web程序和客户端交互的记录下了一些状态信息，并在处理之后的请求时需要知道这样的信息，那么这个程序就是有状态的。比如，登录功能，当用户正确登录后，web程序会记录下用户的登录状态，当用户访问其它的页面时，web程序会参照用户的登录信息做不同的处理。在实现集群的时候，有状态的程序要复杂些，因为必须保证处理请求的节点上能有该用户的状态信息。对于无状态的程序，则没有这个问题，请求被分发到任何节点都是一样的，没有额外的维护状态的工作。

为了保证处理请求的节点上能有状态信息，要么在多个节点上复制程序的状态，要么采用否种策略保证将请求正确的发送到具有相应状态的节点上。如上面的例子，要么把用户登录的信息复制到集群的所有节点上，以保证无论之后请求发送到哪个节点上，都能够找得到登录信息，要么每次都把这个用户的请求发送到同一个节点上，就像mod_jk的sticky_session那样。

多线程与多进程

php,ruby,python等脚本语言往往采用无状态的结构，而java往往采用有状态的结构。并非语言决定了它们的工作方式，更多的是一种习惯。

java web服务在运行时是一个常驻内存的进程，用不同的线程处理用户请求。当处理一个http请求的线程结束后，保留在该进程内的信息并没有消失，因为进程还在。因此，可以很方便的把一些交互信息放到java进程的内存中，在多个线程间共享。在加上又有好用的HttpSession类，这样在java ee里把用户信息保存到session中，是一件非常容易的事，程序员们也自然的就采用的，导致了java web程序成了有状态的。如果完全不用session等，java web程序也能做到无状态。

和java的单进程，多线程工作方式不同，php等脚本语言采用了多进程的工作方式。当有一个http请求到来时，web服务器开启一个新的进程，这个进程调用脚本语言的解释器来运行脚本处理请求，处理结束后进程退出。如果要在多个进程间共享信息，就得采用外部的介质，DB就成了最好的选择。

本质上来说，只要需要记录会话的状态，就肯定有状态，差别只是把状态放到什么地方。java ee里往往把它放到应用程序的内存里，而php等则往往放到db里。