主要内容：TCP的ACK发送方式，以及ACK发送状态转换机的实现。
内核版本：3.15.2
我的博客：http://blog.csdn.net/zhangskd
概述
TCP采用两种方式来发送ACK：快速确认和延迟确认。
在快速确认模式中，本端接收到数据包后，会立即发送ACK给对端。
在延迟确认模式中，本端接收到数据包后，不会立即发送ACK给对端，而是等待一段时间，如果在此期间：
1. 本端有数据包要发送给对端。就在发送数据包的时候捎带上此ACK，如此一来就节省了一个报文。
2. 本端没有数据包要发送给对端。延迟确认定时器会超时，然后发送纯ACK给对端。
在具体实现中，用pingpong来区分这两种模式：
icsk->icsk_ack.pingpong == 0，表示使用快速确认。
icsk->icsk_ack.pingpong == 1，表示使用延迟确认。
Q：那么问题来了，为什么用“乒乓球”来标志这两种模式？
A：我们知道打乒乓球时，球是双向来回跳动的。这比喻传输是双向的，你发送数据给我，我也发送数据给你，应用是交互型的。
在这种情况下，可以让数据包捎带ACK，以减少纯ACK的发送，降低不必要的流量开销。
如果不是“乒乓球模式”，即传输是单向的，一方只发送数据，另一方只接收数据。这种情况下，接收方因为没有数据要发送，
不能够捎带ACK，所以不能使用延迟确认，应该使用快速确认。
以上只是为了说明pingpong的含义，在实际中到底使用哪种模式，还会受到其它因素的影响。
总的来说，快速确认模式是用于比较紧急的场景，此时需要立即通知对端，比如收到异常的数据报、接收窗口显著增大了。
延迟确认模式则希望通过减少纯ACK的发送，来降低不必要的流量开销，所以此时要求数据的传输是双向的。
在实际的传输过程中，会根据当时的场景来判断是使用快速确认模式还是延迟确认模式，因此ACK的发送模式并不是
固定的，而是在这两种模式之间动态切换。
Q：什么时候进行快速确认？
(1) 接收到数据包，检查是否需要发送ACK时 (__tcp_ack_snd_check)：
1. 接收缓冲区中有一个以上的全尺寸数据段仍然是NOT ACKed，并且接收窗口变大了。
所以一般收到了两个数据包后，会发送ACK，而不是对每个数据包都进行确认。
2. 接收到数据包时，处于快速确认模式中。
3. 接收到数据包时，乱序队列不为空。
(2) 当接收队列中有数据复制到用户空间时，会判断是否要立即发送ACK (tcp_clean_rbuf)：
如果现在有ACK需要发送，满足以下条件之一，就可以立即发送：
1. icsk->icsk_ack.blocked为1，之前有Delayed ACK被用户进程阻塞了。
2. 接收缓冲区中有一个以上的全尺寸数据段仍然是NOT ACKed (所以经常是收到2个全尺寸段后发送ACK)
3. 本次复制到用户空间的数据量大于0，且满足以下条件之一：
3.1 设置了ICSK_ACK_PUSHED2标志
3.2 设置了ICSK_ACK_PUSHED标志，且处于快速确认模式中
如果原来没有ACK需要发送，但是现在的接收窗口显著增大了，也需要立即发送ACK通知对端。
这里的显著增大是指：新的接收窗口大小不为0，且比原来接收窗口的剩余量增大了一倍。
(3) 接收到数据包的事件处理 (tcp_event_data_recv)：数据包含有路由器的显式拥塞通知，进入快速确认模式。
(4) 设置TCP_QUICKACK选项之后：进入快速确认模式，并立即发送一个ACK。
(5) 如果接收到的段有负荷，且其中一部分之前已经接收过了，则认为是Delayed ACK丢失，进入快速确认模式。
Q：什么时候进行延迟确认？
1. 快速确认模式中的ACK额度用完了，一般在快速确认了半个接收窗口的数据后，进入延迟确认模式。
2. 发送ACK时，因为内存分配失败，启动延迟确认定时器。
3. 接收到数据包，检查是否需要发送ACK时(__tcp_ack_snd_check)，如果无法进行快速确认。
4. 使用TCP_QUICKACK选项禁用快速确认，设置的值为0。
数据结构
icsk->icsk_ack中的变量，用于控制快速确认和延迟确认。
struct inet_connection_sock {
...
struct {
/* ACK is pending.
* ACK的发送状态标志，可以表示四种情况：
* 1. ICSK_ACK_SCHED：目前有ACK需要发送
* 2. ICSK_ACK_TIMER：延迟确认定时器已经启动
* 3. ICSK_ACK_PUSHED：如果处于快速确认模式，允许立即发送ACK
* 4. ICSK_ACK_PUSHED2：无论是否处于快速确认模式，都可以立即发送ACK
*/
__u8 pending; /* Scheduled number of quick acks.
* 快速确认模式下，最多能够发送多少个ACK，额度用完以后就退出快速确认模式。
*/
__u8 quick; /* The session is interactive.
* 值为1时，为延迟确认模式；值为0时，为快速确认模式。
* 注意这个标志是不是永久性的，而是动态变更的。
*/
__u8 pingpong; /* Delayed ACK was blocked by socket lock.
* 如果延迟确认定时器触发时，发现socket被用户进程锁住，就把blocked置为1。
* 之后在接收到新数据、或者将数据复制到用户空间之后、或者再次超时时，会马上发送ACK。
*/
__u8 blocked; /* Predicted tick of soft clock.
* ACK的超时时间，是一个中间变量，根据接收到数据包的时间间隔来动态调整。
* 用来计算延迟确认定时器的超时时间timeout。
*/
__u32 ato; /* Currently scheduled timeout.
* 延迟确认定时器的超时时刻。
*/
unsigned long timeout; /* timestamp of last incoming segment.
* 最后一次收到带负荷的报文的时间点。
*/
__u32 lrcvtime;
__u16 last_seg_size; /* Size of last incoming segment */
__u16 rcv_mss; /* MSS used for delayed ACK decisions */
} icsk_ack;
...
};
icsk.icsk_ack.pending是ACK的发送状态标志，用于表示是否有ACK需要发送，以及发送的紧急程度。
enum inet_csk_ack_state_t {
ICSK_ACK_SCHED = 1, /* 有ACK需要发送 */
ICSK_ACK_TIMER = 2, /* 延迟确认定时器已经启动 */
ICSK_ACK_PUSHED = 4, /* 如果处于快速发送模式，允许立即发送ACK */
ICSK_ACK_PUSHED2 = 9 /* 无论是否处于快速发送模式，都可以立即发送ACK */
};
以下是ACK发送状态的转换图：
ACK的发送状态转换
接收到数据报后，会调用tcp_event_data_recv()，设置ICSK_ACK_SCHED标志来表明有ACK需要发送。
如果接收到了小包，说明对端很可能暂时没有数据需要发送了，此时会设置ICSK_ACK_PUSHED标志，
如果处于快速路径中，就允许马上发送ACK。如果不止一次接收到小包，就设置ICSK_ACK_PUSHED2
标志，不管是否处于快速路径中，都允许立即发送ACK，以强调发送ACK的紧急程度。
同时根据距离上次接收到数据报的时间间隔，来动态调整icsk->icsk_ack.ato：
1. delta <= TCP_ATO_MIN /2时，ato = ato / 2 + TCP_ATO_MIN / 2。
2. TCP_ATO_MIN / 2 < delta <= ato时，ato = min(ato / 2 + delta, rto)。
3. delta > ato时，ato值不变。
如果接收到的数据包的时间间隔变小，ato也会相应的变小。
如果接收到的数据包的时间间隔变大，ato也会相应的变大。
inet_csk_schedule_ack()用于设置ICSK_ACK_SCHED标志位，表示有ACK需要发送。
static inline void inet_csk_schedule_ack (struct sock *sk)
{
inet_csk(sk)->icsk_ack.pending |= ICSK_ACK_SCHED;
}
static void tcp_event_data_recv (struct sock *sk, struct sk_buff *skb)
{
struct tcp_sock *tp = tcp_sk(sk);
struct inet_connection_sock *icsk = inet_csk(sk);
u32 now; inet_csk_schedule_ack(sk); /* 设置有ACK需要发送的标志 */ /* 通过接收到的数据段，来估算对端的MSS。
* 如果接收到了小包，则设置ICSK_ACK_PUSHED标志。
* 如果之前接收过小包，本次又接收到了小包，则设置ICSK_ACK_PUSHED2标志。
*/
tcp_measure_rcv_mss(sk, skb); tcp_rcv_rtt_measure(tp); /* 没有使用时间戳选项时的接收端RTT计算 */ now = tcp_time_stamp; /* 如果是第一次接收到带负荷的报文 */
/* The first data packet received, initialize delayed ACK engine. */
if (! icsk->icsk_ack.ato) {
tcp_incr_quickack(sk); /* 设置在快速确认模式中可以发送的ACK数量 */
icsk->icsk_ato.ato = TCP_ATO_MIN; /* ato的初始值，为40ms */ } else {
int m = now - icsk->icsk_ack.lrcvtime; /* 距离上次收到数据报的时间间隔 */ /* The fastest case is the first. */
if (m <= TCP_ATO_MIN / 2) {
icsk->icsk_ack.ato = (icsk->icsk_ack.ato >> 1) + TCP_ATO_MIN / 2; } else if (m < icsk->icsk_ack.ato) {
icsk->icsk_ack.ato = (icsk->icsk_ack.ato >> 1) + m;
/* ato的值不能超过RTO */
if (icsk->icsk_ack.ato > icsk->icsk_rto)
icsk->icsk_ack.ato = icsk->icsk_rto; } else if (m > icsk->icsk_rto) {
/* Too long gap. Apparently sender failed to restart window,
* so that we send ACKs quickly.
*/
tcp_incr_quickack(sk); /* 更新在快速确认模式中可以发送的ACK数量 */
sk_mem_reclaim(sk);
}
} icsk->icsk_ack.lrcvtime = now; /* 更新最后一次接收到数据报的时间 */ TCP_ECN_check_ce(tp, skb); /* 如果发现显示拥塞了，就进入快速确认模式 */ /* 当报文段的负荷不小于128字节时，考虑增大接收窗口当前阈值 */
if (skb->len >= 128)
tcp_grow_window(sk, skb); /* 根据接收到的数据段的大小，来调整接收窗口的阈值rcv_ssthresh */
}
如果接收到路由器的显式拥塞通知，就进入快速确认模式。
static inline void TCP_ECN_check_ce (struct tcp_sock *tp, const struct sk_buff *skb)
{
/* 如果连接不支持ECN */
if (! (tp->ecn_flags & TCP_ECN_OK))
return; switch (TCP_SKB_CB(skb)->ip_dsfield & INET_ECN_MASK) {
case INET_ECN_NOT_ECT: /* IP层不支持ECN */
/* If ECT is not set on a segment, and we already seen ECT on a previous segment,
* it is probably a retransmit.
*/
if (tp->ecn_flags & TCP_ECN_SEEN)
tcp_enter_quickack_mode((struct sock *tp); / 进入快速确认模式 */
break; case INET_ECN_CE: /* 数据包携带拥塞标志 */
if (! (tp->ecn_flags & TCP_ECN_DEMAND_CWR)) {
/* Better not delay acks, sender can have a very low cwnd */
tcp_enter_quickack_mode((struct sock *) tp); /* 进入快速确认模式 */
tp->ecn_flags |= TCP_ECN_DEMAND_CWR; /* 用于让对端感知拥塞的标志 */
}
/* fallinto */
default:
tp->ecn_flags |= TCP_ECN_SEEN;
}
}
通过接收到的数据段长度，来估算对端的MSS。
如果接收到了小包，则设置ICSK_ACK_PUSHED标志。
如果之前接收过小包，本次又接收到了小包，则设置ICSK_ACK_PUSHED2标志。
static void tcp_measure_rcv_mss (struct sock *sk, const struct sk_buff *skb)
{
struct inet_connection_sock *icsk = inet_csk(sk);
const unsigned int lss = icsk->icsk_ack.last_seg_size; /* 上次收到的数据段大小 */
unsigned int len; icsk->icsk_ack.last_seg_size = 0; len = skb_shinfo(skb)->gso_size ?: skb->len; /* 本次接收到数据的长度 */ /* 如果本次接收到数据的长度，大于当前发送方的MSS */
if (len >= icsk->icsk_ack.rcv_mss) {
icsk->icsk_ack.rcv_mss = len; /* 更新发送方的MSS */ } else {
/* Otherwise, we make more careful check taking into account,
* that SACKs block is variable.
* "len" is invariant segment length, including TCP header.
*/
/* 之前的len表示数据的长度，现在加上TCP首部的长度，这才是总的长度 */
len += skb->data - skb_transport_header(skb); /* 满足以下条件时，说明接收到的数据段还是比较正常的，尝试更精确的计算MSS，
* 排除SACK块的影响，更新last_seg_size和rcv_mss。
*/
/* If PSH is not set, packet should be full sized, provided peer TCP is not badly broken.
* This observation (if it is correct 8)) allows to handle super-low mtu links fairly.
*/
if (len >= TCP_MSS_DEFAULT + sizeof(struct tcphdr) ||
(len >= TCP_MIN_MSS + sizeof(struct tcphdr) &&
! (tcp_flag_word(tcp_hdr(skb)) & TCP_PEMNANT))) {
/* Subtract also invariant (if peer is RFC compliant),
* tcp header plus fixed timestamp option length.
* Resulting len is MSS free of SACK jitter.
*/
/* 减去报头和时间戳选项的长度，剩下的就是数据和SACK块(如果有的话) */
len -= tcp_sk(sk)->tcp_header_len; icsk->icsk_ack.last_seg_size = len; /* 更新最近一次接收到的数据段的长度 */ /* 说明这次收到的还是full-sized，而不是小包 */
if (len == lss) {
icsk->icsk_ack.rcv_mss = len;
return;
}
} /* 如果之前已经收到了小包，则进入更紧急的ACK发送模式，接下来无论是否处于快速确认模式，
* 都可以马上发送ACK。
*/
if (icsk->icsk_ack.pending & ICSK_ACK_PUSHED)
icsk->icsk_ack.pending |= ICSK_ACK_PUSHED2; /* 如果收到小包，就允许在快速确认模式中，直接发送ACK */
icsk->icsk_ack.pending |= ICSK_ACK_PUSHED;
}
}#define TCP_MSS_DEFAULT 536U
#define TCP_MIN_MSS 88U /* Minimal accepted MSS. It is (60+60+8) - (20+20). */
ACK的发送状态清除
当成功发送ACK时，会删除延迟确认定时器，同时清零ACK的发送状态标志icsk->icsk_ack.pending。
static int tcp_transmit_skb (struct sock *sk, struct sk_buff *skb, int clone_it, gfp_t gfp_mask)
{
...
if (likely(tcb->tcp_flags & TCPHDR_ACK))
tcp_event_ack_sent(sk, tcp_skb_pcount(skb)); /* ACK发送事件的处理 */
...
}
ACK发送事件主要做了：更新快速确认模式中的ACK额度，删除ACK延迟定时器，清零icsk->icsk_ack.pending。
/* Account for an ACK we sent. */
static inline void tcp_event_ack_sent (struct sock *sk, unsigned int pkts)
{
tcp_dec_quickack_mode(sk, pkts); /* 更新快速确认模式的ACK额度 */
inet_csk_clear_xmit_timer(sk, ICSK_TIME_DACK); /* 删除ACK延迟定时器 */
}
在快速确认模式中，可以发送的ACK数量是有限制的，具体额度为icsk->icsk_ack.quick。
当额度用完时，就进入延迟确认模式。
static inline void tcp_dec_quickack_mode (struct sock *sk, const unsigned int pkts)
{
struct inet_connection_sock *icsk = inet_csk(sk); if (icsk->icsk_ack.quick) { /* 如果额度不为0 */
if (pkts >= icsk->icsk_ack.quick) {
icsk->icsk_ack.quick = 0;
/* Leaving quickack mode we deflate ATO. */
icsk->icsk_ack.ato = TCP_ATO_MIN;
} else
icsk->icsk_ack.quick -= pkts;
}
}
