我們可以在Linux上使用loopback接口來模擬兩個階段的路由抉擇，第一個階段是走一遍PRE/POST ROUTING流程，將NAT實施完畢，第二階段完成單純路由轉發。然而需要在Netfilter上掛鉤子，以便取消關聯在skb上的路由項，並且取消關聯在skb上的conntrack信息，因為在第二階段的單純路由流程裡面，我不希望再有什麼基於conntrack的動作，因此如果需要有基於conntrack的操作，務必在第一階段內和NAT一並完成。
回過頭來看loopback的實現，不是那麼完美，因為像在Netfilter上掛載鉤子完成的這種事完全可以在虛擬網卡的xmit操作中完成，因此有必要重新寫一個虛擬網卡，之所以最終還是考慮重新寫，是因為這個模塊超級簡單，基本可以照搬loopback.c的實現，所不同的是xmit的操作：
static netdev_tx_t nvi_xmit(struct sk_buff *skb,
struct net_device *dev)
{
int len;
//注意，我把原始的數據包入接口寫在了skb的mark中了，為何能這麼做呢？因為...
struct net_device * real_dev = dev_get_by_index(dev_net(dev), skb->mark);
skb_orphan(skb);
skb->protocol = eth_type_trans(skb, real_dev);
//取消關聯的路由項，以便可以在ip_input的時候重新policy routing
skb_dst_drop(skb);
//取消conntrack，因為它的任務在第一階段已經完成了
skb->nfct = &nf_conntrack_untracked.ct_general;
skb->nfctinfo = IP_CT_NEW;
nf_conntrack_get(skb->nfct);
len = skb->len;
if (likely(netif_rx(skb) == NET_RX_SUCCESS)) {
...//做點什麼好呢？統計？
} else {
...//...
}
return NETDEV_TX_OK;
}
對NVI接口的注冊也非常簡單：
dev = alloc_netdev(0, "nvi", nvi_setup);
為何可以使用skb的mark來保存入接口index呢？實際上在32位的機器上它完全可以保存原始入網卡dev的地址，強轉成net_device類型指針即可。我並不是一開始就直接把入網卡的index保存在mark中了，因為可能Netfilter鉤子還要用這個mark，我也沒有使用mark的掩碼掩去一些位來保存index，因為不知情者可能會誤用。我采用的方式是在“確認不可能有Netfilter鉤子使用mark的時候再將其覆蓋成入網卡的index，那麼何時合適呢？精通Netfilter的都知道，在POSTROUTING的最後做這件事比較合適，因此我就把這個HOOK安置於POSTROUTING的nf_confirm之後。是否會有流控用到mark我不管，畢竟流控是在物理網卡上做的，和第一輪的路由無關。然而問題是，到了POSTROUTING的時候我還能取到原始的入網卡的index嗎？Oh，NO！：
int ip_output(struct sk_buff *skb)
{
struct net_device *dev = skb_dst(skb)->dev;
IP_UPD_PO_STATS(dev_net(dev), IPSTATS_MIB_OUT, skb->len);
//在此處，POSTROUTING前替換了skb的dev...
skb->dev = dev;
skb->protocol = htons(ETH_P_IP);
return NF_HOOK_COND(PF_INET, NF_INET_POST_ROUTING, skb, NULL, dev,
ip_finish_output,
!(IPCB(skb)->flags & IPSKB_REROUTED));
}
所以，到了POSTROUTING，就再也取不到原始網卡的index了！那麼變通的辦法就是將Linux協議棧的這段代碼改了：
int ip_output(struct sk_buff *skb)
{
struct net_device *orig_dev
struct net_device *dev = skb_dst(skb)->dev;
IP_UPD_PO_STATS(dev_net(dev), IPSTATS_MIB_OUT, skb->len);
//保存原始入網卡的dev(反正都是forward包...)
orig_dev = skb->dev
skb->dev = dev;
skb->protocol = htons(ETH_P_IP);
//在HOOK調用的時候傳入indev
if (orig_dev && orig_dev->flags & IFF_LOOPBACK) {
orig_dev = NULL;
}
return NF_HOOK_COND(PF_INET, NF_INET_POST_ROUTING, skb, orig_dev, dev,
ip_finish_output,
!(IPCB(skb)->flags & IPSKB_REROUTED));
}
我個人覺得，對於將Linux作為路由BOX來用的人來講，對於FORWARDING的數據包，在POSTROUTING的時候能取到數據包從哪個網卡進入，可以實施更多的控制策略，這難道不更好嗎？好吧，如果非要說這樣改不好，我還有更加標准的做法，那就是在conntrack結構體中注冊一個新的extend，其實就是一個結構體，將原始的入網卡作為一個字段放進去，在NVI接口的xmit中，conntrack重置為nf_conntrack_untracked之前，取出這個網卡，調用eth_type_trans接口即可，這樣好了吧，我沒有觸動Linux kernel的主協議棧，還是基於Netfilter來做擴展！事實上，Netfilter的擴展能力是無限的！
