Linux 系统是如何收发网络包的？

首页
linux
正文

本文介绍: 1.Linux收包：网卡收到网络包之后会通过 DMA 技术将网络包写入Rin gBuf fe r 环形缓冲区，接着网卡向 CPU 发起硬件中断，当 CPU 收到硬件中断请求后，根据中断表，调用已经注册的中断处理函数。

一、Linux 网络协议栈

二、Linux 接收网络包的流程

1.网卡是计算机里的一个硬件，专门负责接收和发送网络包，当网卡接收到一个网络包后，会通过 DMA （Di rect Memo ry Acc es s，直接内存访问）技术，将网络包写入到指定的内存地址，也就是写入到 Ring Buf fe r (环形缓冲区)，接着就会告诉操作系统这个网络包已经到达。

2.告诉操作系统这个网络包已经到达最简单的一种方式就是触发中断，也就是每当网卡收到一个网络包，就触发一个中断告诉操作系统，但一旦网络包多起来，不停的打断会影响系统的整体效率。

为了解决频繁中断带来的性能开销，Linux 内核在 2.6 版本中引入了 NAPI 机制，它是混合「中断和轮询」的方式来接收网络包，它的核心概念就是不采用中断的方式读取数据，而是首先采用中断唤醒数据接收的服务程序，然后 poll 的方法来轮询数据。

因此，当有网络包到达时，会通过 DMA 技术，将网络包写入到指定的内存地址，接着网卡向 CPU 发起硬件中断，当 CPU 收到硬件中断请求后，根据中断表，调用已经注册的中断处理函数。

硬件中断处理函数会做如下的事情：

需要先「暂时屏蔽中断」，表示已经知道内存中有数据了，告诉网卡下次再收到数据包直接写内存就可以了，不要再通知 CPU 了，这样可以提高效率，避免 CPU 不停的被中断。
接着，发起「软中断」，然后恢复刚才屏蔽的中断。

至此，硬件中断处理函数的工作就已经完成。

(硬件中断处理函数做的事情很少，主要耗时的工作都交给软中断处理函数了。)

3.内核中的 k soft i rqd 线程专门负责软中断的处理，当 k soft i rqd 内核线程收到软中断后，就会来轮询处理数据。

k soft i rqd 线程会从 Ring Buf fe r 中获取一个数据帧，用 sk _buff (socket_buffer，一种数据结构)表示，从而可以作为一个网络包交给网络协议栈进行逐层处理。

4.首先，会进入到网络接口层，在这一层会检查报文的合法性，如果不合法则丢弃，合法则会找出该网络包的上层协议的类型，比如是 IPv4，还是 IPv6，接着再去掉帧头和帧尾，然后交给网络层。

5.到了网络层，则取出 IP 包，判断网络包下一步的走向，比如是交给上层处理还是转发出去。当确认这个网络包要发送给本机后，就会从 IP 头里看看上一层协议的类型是 TCP 还是 UDP，接着去掉 IP 头，然后交给传输层。

6.传输层取出 TCP 头或 UDP 头，根据四元组「源 IP、目的 IP、源端口、目的端口」作为标识，找出对应的 Soc k e t，并把数据放到 Soc k e t 的接收缓冲区。

7.最后，应用层程序调用 Soc k e t 接口，将内核的 Soc k e t 接收缓冲区的数据「拷贝」到应用层的缓冲区，然后唤醒用户进程。

下图左边部分看到网络包接收的流程，右边部分刚好反过来，它是网络包发送的流程。

三、Linux 发送网络包的流程

发包是收包的逆过程。

1.首先，应用程序会调用 Soc k e t 发送数据包的接口，由于这个是系统调用，所以会从用户态陷入到内核态中的 Socke t 层，内核会申请一个内核态的 sk_buff 内存，将用户待发送的数据拷贝到 sk_buff 内存，并将其加入到发送缓冲区。

2.接下来，网络协议栈从 Socke t 发送缓冲区中取出 sk_buff，并按照 TCP/IP 协议栈从上到下逐层处理。

如果使用的是 TCP 传输协议发送数据，那么先拷贝一个新的 sk_buff 副本 ，这是因为 sk_buff 后续在调用网络层，最后到达网卡发送完成的时候，这个 sk_buff 会被释放掉。而 TCP 协议是支持丢失重传的，在收到对方的 ACK(ack no wledgement，代表接收方已接收并理解发送的信息) 之前，这个 sk_buff 不能被删除。所以实际上网卡发送的是 sk_buff 的一个拷贝。

接着，对 sk_buff 填充 TCP 头。

sk_buff 可以表示各个层的数据包，在应用层数据包叫 data，在 TCP 层我们称为 segment，在 IP 层我们叫 packet，在数据链路层称为 frame。

3.然后交给网络层，在网络层里会做这些工作：选取路由（确认下一跳的 IP）、填充 IP 头、net filter 过滤、对超过 MTU 大小的数据包进行分片。处理完这些工作后会交给网络接口层处理。

4.网络接口层会通过 ARP 协议获得下一跳的 MAC 地址，然后对 sk_buff 填充帧头和帧尾，接着将 sk_buff 放到网卡的发送队列中。

5.这一些工作准备好后，会触发「软中断」告诉网卡驱动程序，这里有新的网络包需要发送，驱动程序会从发送队列中读取 sk_buff，将这个 sk_buff 挂到 RingBuf fe r 中，接着将 sk_buff 数据映射到网卡可访问的内存 DMA 区域，最后触发真实的发送。

6.当数据发送完成以后，还需要清理内存。发送完成的时候，网卡设备会触发一个硬中断来释放内存，主要是释放 sk_buff 内存和清理 RingBuffe r 内存。

最后，当收到这个 TCP 报文的 ACK 应答时，传输层就会释放原始的 sk_buff 。

发送网络数据的时候，涉及几次内存拷贝操作？

第一次：调用发送数据的系统调用的时候，内核会申请一个内核态的 sk_buff 内存，将用户待发送的数据拷贝到 sk_buff 内存，并将其加入到发送缓冲区。

第二次：在使用 TCP 传输协议的情况下，从传输层进入网络层的时候，每一个 sk_buff 都会被克隆一个新的副本出来。副本 sk_buff 会被送往网络层，等它发送完的时候就会释放掉，然后原始的 sk_buff 还保留在传输层，等收到这个数据包的 ACK 时，才会释放原始的 sk_buff 。

第三次：当 IP 层发现 sk_buff 大于 MTU 时才需要进行。会再申请额外的 sk_buff，并将原来的 sk_buff 拷贝为多个小的 sk_buff。

总结

1.Linux收包：网卡收到网络包之后会通过 DMA 技术将网络包写入RingBuffer环形缓冲区，接着网卡向 CPU 发起硬件中断，当 CPU 收到硬件中断请求后，根据中断表，调用已经注册的中断处理函数。硬件中断函数先暂时屏蔽中断(下一次就直接写入内存而不通知CPU)，再发起软中断，软中断调用ksoftirqd 线程从 Ring Buffer 中获取一个数据帧，用sk_buffer(socket_buffer，一种数据类型)表示，然后由网络协议栈处理，先进入网络接口层，去掉帧头和帧尾，再进入网络层，去掉IP头部，接着进入传输层去掉TCP 头或 UDP 头，根据四元组「源 IP、目的 IP、源端口、目的端口」作为标识，找出对应的 Socket，并把数据放到 Socket 的接收缓冲区。最后，应用层程序调用 Socket 接口，将缓冲区的数据「拷贝」到应用层的缓冲区，然后唤醒用户进程。

2.Linux发包：应用程序会调用 So cket 发送数据包的接口，内核会申请一个 sk_buff 内存，将用户待发送的数据拷贝到 sk_buff 内存，并将其加入到发送缓冲区，然后网络协议栈从 So cket 发送缓冲区中取出 sk_buff，先进入传输层，如果使用的是 TCP 协议发送数据，会先拷贝一个sk_buff 副本，然后为副本TCP头部，本来的sk_buff就留在传输层，接着sk_buff副本在网络层添加上IP头部，然后在网络接口层添加上MAC头部以及帧头和帧尾，最后将 sk_buff 放到网卡的发送队列中。随后会触发「软中断」告诉网卡驱动程序，驱动程序会从发送队列中读取 sk_buff，将这个 sk_buff 挂到 RingBuffer 中，接着将 sk_buff 数据映射到网卡可访问的内存 DMA 区域，最后触发真实的发送。当数据发送完成以后，网卡会触发一个硬中断来释放内存，主要是释放 sk_buff 内存和清理 RingBuffer 内存。