內核版本：2.6.34
在前一篇”IP協議”中對報文接收時IP層的處理進行了分析，本篇分析將針對報文發送時IP層的處理。
傳輸層處理完後，會調用ip_push_pending_frames()將報文傳遞給IP層：
ip_push_pending_frames() -> ip_local_out() -> __ip_local_out()
在ip_push_pending_frames()中，會設置第一個IP分片的報頭字段，tot_len和 check不會設置。
int ip_local_out(struct sk_buff *skb)
{
int err;
err = __ip_local_out(skb);
if (likely(err == 1))
err = dst_output(skb);
return err;
}
__ip_local_out()：設置IP報頭字節總長度tot_len，校驗和check。
iph->tot_len = htons(skb- >len); ip_send_check(iph);
最後調用dst_output()發送數據給IP層，dst_output()實際調用skb_dst(skb)->output(skb) ，skb_dst(skb)就是skb所對應的路由項。skb_dst(skb)指向的是路由項dst_entry，它的input在收到報文時賦值 ip_local_deliver()，而output在發送報文時賦值ip_output()。
return nf_hook(PF_INET, NF_INET_LOCAL_OUT, skb, NULL, skb_dst(skb)->dev, dst_output);
在IP層的調用過程如下：
ip_output() -> ip_finish_output() - > ip_finish_output2() -> hh->hh_output()
在ip_output()中，設置了dev與協議號，從IP層往下，就是以dev驅 動數據傳輸了。
skb->dev = dev; skb->protocol = htons(ETH_P_IP);
在ip_finish_output()中，判斷如果報文過大，則先調用ip_fragment()進行 分片(後面會對這個函數進行分析)，然後調用ip_finish_output2()發送。
if (skb->len > ip_skb_dst_mtu (skb) && !skb_is_gso(skb)) return ip_fragment(skb, ip_finish_output2); else return ip_finish_output2(skb);
情況一：ip_fragment()
ip_fragment()與ip_append_data()是IP層傳送報文很重要的 兩個函數，弄清它們之間的關系很重要。
ip_append_data()是上層構造向IP層傳送數據的skb使用的，它會根據MTU值對傳送 數據進行分片，後續分片鏈在第一個分片的frag_list上；如果設備支持SG，那麼同一個分片內容(當分片內容是多次輸入得到的 )不一定在一個線性空間上，後續輸入的分片內容存在分片的frags數組中。只有第一個分片才有frag_list，而每個分片都能擁 有frags。由ip_append_data()構造好的skb大致如下圖所示：
ip_fragments()字面 意思是分片，但實際上分片工作已經由ip_append_data()完成了，它只在上層分片出現問題時重新進行分片。它的主要作用還是 完成分片的後續工作。假設一個報文被分成了三份skb1, skb2, skb3，它們將獨立的傳遞到網絡上，但顯然ip_append_data()得 到的skb還不是獨立的，skb1包含了整個報文的信息，分片報文也鏈在frag_list上；而skb2, skb3則缺少IP報頭的信息，如分片 的偏移，分片的標識，校驗和等。ip_fragments()做的主要工作就是將skb拆分成能獨立發送的報文。由ip_fragments()處理後 的skb如圖所示：
兩張圖只列出了IP報頭tot_len字段的不同，其它諸如check, frag_list, frag_off等字段也是不同的。
先是對第 一個分片的更新，讓它脫離後續分片，成為獨立包。frag_list置為空，當然frag_list得保存下來(到frag)中，後續分片要從 frag_list中取出。更新skb_datalen和skb->len為第一個分片自身的值，在之前ip_append_data()處理後它是代表全部分片 的值。ip報頭的tot_len， frag_off和check分別設置。關於first_len的值，下面這張圖可以清晰的解釋(frags是支持SG的設備 可能會出現的，不支持的話，skb->data_len=0)：
frag = skb_shinfo(skb)->frag_list; skb_frag_list_init(skb); skb->data_len = first_len - skb_headlen(skb); skb->truesize -= truesizes; skb->len = first_len; iph->tot_len = htons(first_len); iph->frag_off = htons(IP_MF); ip_send_check(iph);
下面是循環每個分片的代碼，中間省略了每個分片的處理，這部分單獨拿出來說明，frag是從 skb中取出的skb_shinfo(skb)->frag_list。
for (;;) {
if (frag) {
…… // 分片處理
if (err || !frag)
break;
skb = frag;
frag = skb->next;
skb->next = NULL;
}
}
對於後續分片，要生成它的IP報頭，設置好其中字段，這裡根據分片的排列設置了片偏移iph->frag_off，以及 偏移標識(前續分片打上IP_MF標簽)。ip_copy_metadata()從前一個分片中拷貝些數據，比如pkt_type, protocol, dev, priority, mark, flags等。ip_options_fragment()處理分片的IP選項部分，因為很多選項只要第一個分片有就可以了，後續分 片可以去除。
frag->ip_summed = CHECKSUM_NONE; skb_reset_transport_header(frag); __skb_push(frag, hlen); skb_reset_network_header(frag); memcpy(skb_network_header(frag), iph, hlen); iph = ip_hdr(frag); iph->tot_len = htons(frag->len); ip_copy_metadata(frag, skb); if (offset == 0) ip_options_fragment(frag); offset += skb->len - hlen; iph->frag_off = htons(offset>>3); if (frag->next != NULL) iph->frag_off |= htons(IP_MF); /* Ready, complete checksum */ ip_send_check(iph);
對於每一個分片，在處理完後，調用發送函數向下發送，這裡output就是ip_finish_output2() 。
err = output(skb);
情況二：ip_finish_output2()
調用相應發送函數發送給下一層。有關hh和neighbour 參考”ARP模塊”。
if (dst->hh) return neigh_hh_output(dst->hh, skb); else if (dst->neighbour) return dst->neighbour->output(skb);
在創建鄰居表項時neighbour->output()被賦值，比如收到arp報文 ，在arp_process() -> neigh_event_ns()中創建報文相應的鄰居表項，而neigh->ops和neigh->output根據情況賦予 不同的值。
if (dev->header_ops->cache) neigh->ops = &arp_hh_ops; else neigh->ops = &arp_generic_ops; if (neigh->nud_state&NUD_VALID) neigh->output = neigh->ops->connected_output; else neigh->output = neigh->ops->output;
鄰居表項創建後，相應的hh緩存項並沒有創建，當向鄰居表項中的 主機發送報文時，先調用neigh->output()，假設neigh->ops被賦值arp_generiv_ops，則neigh->output= neigh_resolve_output，而在neigh_resolve_output()函數中，會創建hh緩存項，其中hh->output= dev_queue_xmit()。
所以，無論哪種情況，hh->output還是neigh->output，最終都是調用dev_queue_xmit()向下層傳送報文的。這也是IP層 下傳送報文的統一方式-dev_queue_xmit()。雖然調用接口相同，但IP層下的各個協議模塊都是有設備的概念的，因此每個模塊 的設備都不相同，在每個模塊中都會更換skb->dev為下層的設備，而dev_queue_xmit()最終使用的是skb->dev特定的函數 進行發送的，這樣實現了各模塊的接口一致。
dev_queue_xmit() 發送函數
skb_needs_linearize()判斷是否要對報文 進行線性處理，如果需要，它返回1，由__skb_linearize()完成線性處理。線性處理就是將報文的所有內容放到線性地址空間， 不能有分片的存在。在發送報文時，ip_append_data()對過長的報文進行了分片frag_list，多次添加時使用了SG特性frags(如 果支持)。skb_needs_linearize()就是判斷設備能否處理ip_append_data()所做的分片工作。判斷條件很簡單：skb有分片即 frag_list，但設備不支持分片NETIF_F_FRAGLIST；skb應用了SG但設備不支持NETIF_F_SG或者是有一個分片在highmem中。最後 的線性化函數__skb_linearize()也很簡單，它調用__pskb_pull_tail(skb, skb->data_len)，data_len就是非線性空間的長 度，__pskb_pull_taill會將這部分數據拷貝到skb->data，從而完成線性化。明顯看到，不支持分片的設備在做線性化處理 時會多一次數據拷貝操作。
if (skb_needs_linearize(skb, dev) && __skb_linearize(skb)) goto out_kfree_skb;
ip_summed==CHECKSUM_PARTIAL表示協議棧並沒有計算完校驗和，只計算了IP頭，偽頭等，將傳 輸層的數據部分留給了硬件進行計算。dev_can_checksum()判斷設備是否能計算校驗和，如果不能的話，則skb_checksum_help ()軟件的計算校驗和。
if (skb->ip_summed == CHECKSUM_PARTIAL) {
skb_set_transport_header(skb, skb->csum_start - skb_headroom(skb));
if (!dev_can_checksum(dev, skb) && skb_checksum_help(skb))
goto out_kfree_skb;
}
每個設備在創建時都會新建傳送隊列，dev->_tx。以B4401網卡創建為例，alloc_etherdev()創建的隊列_tx數為1 ，即單隊列的，dev_pick_tx()取出這個隊列dev->_tx[0] -> txq中。其它支持多隊列的網卡會根據skb- >sk_tx_queue_mapping來選擇_tx隊列。
txq = dev_pick_tx(dev, skb); q = rcu_dereference_bh(txq->qdisc);
支持queue discipline(隊列排序)會由q->enqueue和q->dequeue來 管理隊列，發送報文。支持的網卡設備則由其後的代碼來處理報文發送。B4401不支持，其q->enqueue為空。
if
(q->enqueue) {
rc = __dev_xmit_skb(skb, q, dev, txq);
goto out;
}
下面是不支持qdisc的網卡設備發送數據的代碼段：dev->falgs & IFF_UP判斷網卡是否UP狀態， netif_tx_queue_stopped()判斷傳送隊列是否在運行狀態。兩者滿足的話，調用dev_hard_start_xmit()向下傳輸報文。 dev_xmit_complete()檢查傳輸結果。
if (dev->flags & IFF_UP) {
……
if (!netif_tx_queue_stopped(txq)) {
rc = dev_hard_start_xmit(skb, dev, txq);
if (dev_xmit_complete(rc)) {
HARD_TX_UNLOCK(dev, txq);
goto out;
}
}
……
}
dev_hard_start_xmit()核心語句如下，ops->nod_start_xmit()調用設備skb->dev特定的發送操作將skb向下 傳送，緊接檢查發送值rc，更新發送狀態計數。如果此時dev指向vlan設備，則ops->ndo_start_xmit()指向 vlan_dev_hard_start_xmit()，它生成vlan報文，更換skb->dev，更新計數，再次調用dev_queue_xmit()；如果此時dev指向 網卡設備(如b4401)，則ops->ndo_start_xmit()指向b44_start_xmit()，它會將數據發送物理介質。
rc = ops- >ndo_start_xmit(skb, dev); if (rc == NETDEV_TX_OK) txq_trans_update(txq);
簡單總結下，在不支持QDISC的網卡上，從IP層向下的傳輸，循環的調用dev_queue_xmit() 向下層傳輸報文，直到最後真正的網卡設備將數據發送到物理介質上，完成報文的發送。其循環調用的圖示如下：
