常用基础网络知识详解，值得收藏

   无论是软件开发人员，还是测试人员，亦或是运维人员，都需要掌握一些常用的基础网络知识，以用于日常网络问题的排查。这些基本的网络知识与概念，不仅日常工作会用到，跳槽时的笔试面试也会用到。本文结合多年来的工作实践，来详细讲述一下作为IT从业人员要掌握的一些基本网络知识。

1、概述

   当前的应用系统主要分两大类，一类是C/S（Client/Server）客户端/服务器架构的，一类是B/S（Browser/Server）浏览器/服务器架构的。无论是C/S架构，还是B/S架构，客户端都需要和远端的服务器进行网络通信，进行数据交互。不需要进行网络通信的纯单机版的程序已经很少了。

   PC上安装的QQ程序，就是典型的C/S架构中的客户端程序，需要和远端的服务器通信，发送和接收数据。通过在浏览器中输入淘宝的网址打开淘宝的主页，就是典型的B/S架构，浏览器通过网址向web服务器请求HTML网页在浏览器中展现出来，也是通过网络和远端的web服务器进行通信。

   不仅仅客户端和浏览器需要和远端平台侧的服务器进行网络通信，平台侧部署了多台服务器，比如web服务器、业务服务器、集群服务器、负载均衡服务器，这些服务器之间也要进行网络通信。**一旦通过网络进行通信，就会不可避免地出现各种网络问题或网络故障。**客户端与远端的服务器之间可能有多台服务器和网路设备，比如DNS服务器、路由器、交换机、集线器等，一旦客户端与服务器之间出现网络问题和数据交互问题，就可能是多个原因引起的，需要逐步地进行排查。

   我们这里讲的网络问题主要有两大类，**一类是客户端与服务器无法建立连接的问题，一类是建立连接后有网络延时或严重丢包问题。**至于建立通信连接后，客户端与服务器之间收发的数据内容不正确等问题，可能和网络有关，也可能是业务上存在的问题导致的。对于客户端无法和服务器建立连接，可能有多种原因，**可能是客户端与服务器之间的网络是不通的，也有可能是客户端使用了错误的地址或端口，也有可能服务器侧没有开启监听端口导致的，也有可能是中间的网络设备故障了或者中间网络设备启动了部分安全规则将数据包拦截了**。对于网络延时和丢包问题，可能是业务上的问题，也有可能是网络不稳定，也有可能是中间的网络设备拦截数据导致的。

   **对于网络不稳定的场景**，比如一般在家里或公司，我们尽量使用网线连接路由器，即使用有线网络，不使用无线网络。无线网络会因为距离、信号强弱等原因，会出现网络信号弱或网络不稳定，所以走无线网络可能会导致延时或丢包，与服务器频繁断链等问题。

   **对于网络设备拦截数据包的场景**，比如网络环境中的网络设备设置了安全规则，拦截了部分或全部数据包，再比如有些路由器会拦截SIP协议下的TCP包和UDP包。

   要排查网络通信过程中遇到的一系列网络问题，需要掌握一些基础的网络知识，了解一些常用的网络命令，必要时要使用wireshark进行抓包分析。接下来我们就来具体地讲解一下这些网络知识以及常用的网络命令。

2、OSI七层模型和TCPIP四层模型

    OSI七层模型和TCPIP四层模型的构成，以及它们的对应关系如下所示：

   OSI七层模型的全称为开放式系统互联通信参考模型（Open System Interconnection Reference Model），它是一种概念模型，由国际标准化组织提出，一个试图使各种计算机在世界范围内互连为网络的标准框架。**OSI参考模型分为7层，分别为应用层、表示层、会话层、传输层、网络层、数据链路层和物理层。**

   TCP/IP的全称为传输控制协议/网际协议（Transmission Control Protocol/Internet Protocol），它是一组用于实现网络互连的通信协议，是构建Internet互联网的基础，Internet网络体系结构是以TCP/IP为核心的。**基于TCP/IP的参考模型将协议分成四个层次，分别为应用层、传输层、网络层和物理链路层。**也可以将物理链路层拆为两层，一个是数据链路层，一个是物理层，这样TCPIP模型就变成了五层一般我们使用的四层模型。

   我们平时使用的都是TCPIP四层模型。从wireshark中抓到的数据包中能看到每一层的数据信息，如下所示：

3、数据进入TCPIP协议栈时的封装过程

   最上面的应用层的数据，进入TCPIP协议栈时的封装过程如下：(以TCP数据为例，与TCPIP四层模型相对应)

经过传输层时，会加上TCP头部；经过网络层时，会加上IP头；经过数据链路层时，会加上以太网头。对于数据接收端，会按照相反的方向，将各层的头部剥离掉，最终到上层的数据就是发送端应用层的数据。

   从数据发送到接收端的整个流程，可以用下图来说明（以QQ1给QQ2发一个“你好”的聊天内容为例）：

4、端口的概念

   此处讲的端口是TCP或UDP通信中数字端口号，属于传输层的概念，是软件中的端口。端口号用16位整型数据来表示，端口的范围为0-65535。要进行TCP或UDP通信时，除了要有IP，必须要有端口。

   操作系统会有很多默认端口，是留给指定的协议使用的，比如**21是ftp协议的默认端口**，**80是http协议的默认端口**，**443是https协议的默认端口**。作为接收客户端连接请求的服务器，可以设定自己的服务端口。

   对于TCP，需要先绑定目标端口（调用bind），再开启对目标端口的监听（调用listen），准备接收客户端的请求，如下所示：

   对于UDP，是无连接的，只需要绑定端口，不需要开启对端口的监听，如下所示：

如果端口已经被绑定了，即端口被占用了，再绑定这个端口会失败，除非设置了端口复用。

   对于TCP，通信前需要先建立连接，连接发起方向指定的IP和端口发起连接请求；被连接方，必须开启对该端口的监听（程序中调用listen接口开启对目标端口的监听），才能接收别人发来的请求。如果目标端口没有开启监听，是连接不上的。对于UDP，是无连接的，直接收发数据也是需要端口的。

   有时即使程序开启了端口，可能也连接不上，可能是路由器或者防火墙禁用了该端口，导致发给该端口的数据（包括连接请求）都被拦截了，此时需要在网络环境中放行该端口，即不再拦截与该端口相关的数据。比如在一些安全级别比较高的客户系统中，默认情况下很多端口都是被禁用的，我们需要给客户提供一下软件系统中使用的端口列表（包括客户端和服务器用到的所有端口），需要客户在其网络环境中放行这些端口。只有放行了这些端口，我们的软件系统才能正常的运行。

   如何判断远端服务器的端口有没有开启监听，有个简单的方法，只要使用Telnet命令去测试即可，比如**telnet 192.168.102.176 7800**。如果远端的7800端口没有开启监听，就是显示连接失败。如果cmd窗口中提示找不到Telnet，需要到控制面板->程序与功能->启用和关闭Windows功能中开启Telnet客户端，如下图所示：

5、TCP建立连接时的三次握手

   TCP建立连接时的三次握手是个重要的基础概念，同样也是面试时常问的一个知识点。

5.1、TCP头的构成

   TCP建立连接的过程就是三次握手的过程，三次握手成功完成，TCP连接就建立了。在看三次握手的完整过程之前，我们先来看一下TCP报文中的TCP头都由哪些部分构成。TCP头的构成如下所示：

上图中有几个字段需要重点说明一下：

1）源端口和目标端口：源端口是该包数据发送者的端口，目标端口是这包数据要发送到的目的端口。

2）（包）序号：当前数据包的包序号Seq序号，占4字节（32bit），用来标识从TCP源端向目的端已经发送了多少字节的数据，发起方发送数据时对此进行标记。包序号的最大值是65535，如果达到最大值，则会从0开始重新计数。

3）确认号：Ack序号，占4字节（32bit），只有ACK标志位为1时，该确认序号字段才有效。在TCP中，接收端收到发送端发来的 数据后会给客户端回一个ACK确认包，确认收到数据了，这就是TCP的ACK机制。

当客户端给服务器发送一包数据时，假设发送该包数据时设置的序号为seq1，本包要发送的数据长度为len1，服务器收到这包数据后，会回给客户端一个ACK包，表示我服务器收到你客户端发来的这包数据了，此ACK包的ACK号等于收到的这包数据的序号seq1，加上收到这包数据的长度len1，该ACK包的ACK号表示我服务器一共收到了你客户端发来的多少字节数据了。注意，这个含义只是一种理解方式，因为包序号达到65535后会再从0开始计数。此外，此处说到的数据长度都是不包含TCP头的数据长度。

4）标志位：
共6个，即URG、ACK、PSH、RST、SYN、FIN等，用来标记该包的类型如下：

a）URG：紧急指针（urgent pointer）有效。
b）ACK：确认序号有效。
c）PSH：接收方应该尽快将这个报文交给应用层。
d）RST：重置连接。
e）SYN：发起一个新连接。
f）FIN：释放一个连接。

   在我们使用wireshark抓包并分析数据包时，可以使用这些标记位作为过滤条件过滤出对应类型的包，比如使用tcp.syn==1过滤出发起三次握手的SYN包，使用tcp.rst==1过滤出RST包。

5.2、三次握手的流程说明

   TCP三次握手，是指建立一个TCP连接时，客户端和服务器一共发送3个包完成连接的建立。三次握手的目的是连接服务器指定端口，建立TCP连接，并同步连接双方的序列号和确认号并交换 TCP 窗口大小等信息。在socket编程中，客户端执行connect接口去连接目标IP和端口，触发三次握手。

   从wireshark的抓包来看，可以看出完整的三次握手的全过程：

三次握手的示意图如下：

** 第一次握手：**

客户端发送一个TCP的SYN标志位置1的包，指明客户打算连接的服务器的端口，并将包的序号设置1。

** 第二次握手:**

服务器收到客户端发来的SYN包，给客户端回ACK确认包，包中的SYN标志位和ACK标志位设置为1，并将ACK确认号设置为1。

** 第三次握手：**

客户端收到服务器的ACK包，客户端给服务器发送一个ACK确认包，包中的SYN标志位设置为0，ACK标志位设置为1，并把包中的SEQ号设置为1，把ACK号设置为1。

    服务器收到客户端发来的ACK包后，TCP连接建立了，连接就编程了established已建立状态。

   如果三次握手流程没有完成，则连接建立失败，遇到三次握手失败的情况，用wireshark抓包立马便能知道原因。比如有次我们的客户端登录后连不上某个业务服务器，我们第一反应就是先去ping一下该业务服务器地址，结果是能ping通，则说明网络是通的。于是直接使用wireshark抓包，发现当我们给业务服务器发三次握手的SYN包后，服务器直接回了一个RST包：

强行将三次握手终止了，可能是业务服务器的端口有问题。经平台侧核实，业务服务器出问题了，无故退出了，这样服务器的端口也就没有处于监听状态，所以就连接不上了。一般三次握手时直接回RST包，都是由端口问题引起的。

6、TCP与UDP的区别及使用场景

   这也是面试时经常问到的点，需要搞清楚他们的区别。此处根据日常工作实践，详细地阐述一下这个话题。

6.1、TCP与UDP的区别

   **TCP是面向连接的，需要建立连接后才能收发数据，TCP在收发数据时有ACK机制，即数据接收方收到数据后会给数据发送方回一个ACK确认包，表示已经收到你的数据，如果数据发送方没收到ACK包就会触发丢包重传机制，所以TCP是可靠的。**数据接收方收到的数据是顺序的。从网络通信的socket套接字编程上看，必须先connect去连ip和端口先建立连接，才能使用send和recv收发数据！对于接收连接的服务端，需要先使用bind函数给socket套接字绑定端口，紧接着调用listen开启端口的监听，然后调用accept接收客户端的连接。

  ** UDP不需要建立连接，可以直接收发数据，没有收发数据的ACK机制，所以UDP通信是不可靠的。**数据接收方收到的数据是乱序的。从网络通信的socket套接字编程上看，客户端直接给sendto函数设置ip和端口，不需要建立连接，直接将数据投递过去，不管数据受到与否。对于服务端，只需要使用bind绑定端口，然后调用recvfrom接收数据即可！

6.2、TCP与UDP的使用场景

  ** TCP收发数据时有ACK机制，是可靠的，所以控制信令都是使用TCP传输**，控制信令要保证准确无误地被投递到目的地。但也正因为接收到数据后每次都要ACK，所以实时性要差一些。

   **UDP没有数据的ACK，直接发送数据，实时性好，对实时性要求比较高的一般都要选择UDP。**比如通信中的音视频数据，数据量比较大，数据接收端要实时地看到视频听到声音，所以需要保证实时性，要有较低的延时，即使有少量的丢包也是没多大问题的。所以音视频数据都是通过UDP来传输的。比如QQ和微信中的视频聊天中的音视频数据都是用UDP传输的，腾讯会议等视频会议软件中的音视频数据也是用UDP传输的。

   上面讲述了TCP与UDP区别的关键点，很多同学可以留意一下，下次面试再被问到时一定要说到关键点上！

7、TCP的心跳检测机制与丢包重传机制

   TCP心跳检测和丢包重传机制是TCP的两个重要特性，也是要搞清楚的，下面我们就来大概的讲述一下。

7.1、TCP心跳检测机制

   TCP心跳检测是通过定时在链路上发心跳包去保持链路的活性（keepalive），这样链路中的网络设备就不会因为链路上有段时间没有数据在跑，将链路强行断开了。

   以上是TCPIP协议栈的心跳机制，有时我们应用层会添加一个应用层的心跳检测，比如客户端可以给服务器发心跳包，根据服务器的回应情况来判断服务器是否还活着，客户端和服务器之间的网络是否出现问题，如果心跳检测异常，客户端会主动断开与服务器的连接。

   大家经常使用的libwebsockets开源库支持设置心跳检测参数，默认情况下是不启用心跳检测的。libwebsockets内部的心跳检测，实际上使用的是TCPIP协议栈的心跳检测，将心跳检测参数设置给对应的socket，libwebsocktes内部相关的接口如下所示：（调用WSAIoctl接口给socket套接字设置心跳参数）

LWS_VISIBLE int
lws_plat_set_socket_options(struct lws_vhost *vhost, lws_sockfd_type fd)
{
    int optval = 1;
    int optlen = sizeof(optval);
    u_long optl = 1;
    DWORD dwBytesRet;
    struct tcp_keepalive alive;
    int protonbr;
#ifndef _WIN32_WCE
    struct protoent *tcp_proto;
#endif
 
    if (vhost->ka_time) {
        /* enable keepalive on this socket */
        // 先调用setsockopt打开发送心跳包（设置）选项
        optval = 1;
        if (setsockopt(fd, SOL_SOCKET, SO_KEEPALIVE,
                         (const char *)&optval, optlen) < 0)
            return 1;
 
        alive.onoff = TRUE;
        alive.keepalivetime = vhost->ka_time*1000;
        alive.keepaliveinterval = vhost->ka_interval*1000;
 
        if (WSAIoctl(fd, SIO_KEEPALIVE_VALS, &alive, sizeof(alive),
                          NULL, 0, &dwBytesRet, NULL, NULL))
            return 1;
    }
 
    /* Disable Nagle */
    optval = 1;
#ifndef _WIN32_WCE
    tcp_proto = getprotobyname("TCP");
    if (!tcp_proto) {
        lwsl_err("getprotobyname() failed with error %d\n", LWS_ERRNO);
        return 1;
    }
    protonbr = tcp_proto->p_proto;
#else
    protonbr = 6;
#endif
 
    setsockopt(fd, protonbr, TCP_NODELAY, (const char *)&optval, optlen);
 
    /* We are nonblocking... */
    ioctlsocket(fd, FIONBIO, &optl);
 
    return 0;
}

7.2、TCP丢包重传机制

   对于TCP连接，在数据发送方将数据发出去后，在指定的时间内没有收到ACK确认包，就会触发丢包重传机制。如果发送重传包后还是没收到ACK，下一次的重传时间间隔会加倍，当重传次数达到系统上限（**Windows默认的上限是5次，Linux默认的上限是15次**）后，协议栈就认为网络出故障了，协议栈会直接将对应的连接关闭了。          

   所以当网络出现故障时有数据交互，协议栈会在数十秒内检测到网路出现异常，就会直接将连接直接关闭掉。丢包重传机制的详细描述如下所示：

8、常用的网络命令

   这里主要介绍一下Windows系统下一些常用的网络相关命令。Linux系统也有对应的命令，后面会写一篇关于Linux命令文章，此处就不再就Linux系统的命令进行详细展开了。这些命令均是在命令行窗口中执行的，可使用“命令名 /?”去查看命令支持参数和使用上的说明，还会有使用范例。

8.1、ping命令

   当无法连接到远端的地址及端口时，我们最先想到的是，先ping一个远端的地址，看看网络是不是通的，如下：

   如果**软件系统在交互的过程中数据出现延时或抖动**，可以在ping指令后面加上一个-t的参数，比如ping 192.168.0.1 -t，查看连续的ping包，看网络是否存在明显的延迟或抖动，如下：

如果要停止持续的ping，按下Ctrl+C组合键就可以终止当前命令的执行。

8.2、telnet命令

   telnet命令其实对应的是telnet客户端程序（telnet.exe），该程序使用的是telnet协议。telnet协议是TCP/IP协议族中的一员，是远程登陆服务的标准协议和主要方式，它为用户提供了从本地计算机远程登录远程主机的能力。

   **使用该命令可以检查服务器上的端口有没有开启监听**，比如telnet 192.168.100.196 7800，如果7800端口没有开启监听，则会提示连接失败。

   如果远端开启了telnet服务器，可以使用telnet命令远程登录到该telnet服务器上。如果cmd窗口中提示找不到Telnet，需要到控制面板->程序与功能->启用和关闭Windows功能中开启Telnet客户端，如下所示：

8.3、ipconfig命令

   ipconfig命令主要用来查看网卡的配置信息，比如IP地址，子网掩码和默认网关等，一般使用ipconfig /all，如下所示：

还有比较常用的是ipconfig /flushdns命令，用来清除系统中的DNS缓存：

这样在发起新的域名解析请求时，会向域名服务器上去实时地查询最新的IP。比如某时某个域名对应的IP变更了，但Windows系统DNS缓存中有域名-IP对的记录，导致程序使用的还是老的IP，出现访问失败的问题。所以出现域名访问失败的时候，可以尝试使用ipconfig /flushdns命令刷新系统DNS缓存。

8.4、netstat命令

    netstat命令用来查看本机的网络连接与端口占用情况，如下：

netstat命令支持多个参数，具体使用netstat /?去查看详细说明：

这里就不再赘述了。

8.5、route相关命令

   route相关命令主要用来查看路由表、添加/删除路由等。首先来看看route print命令，该命令是将Windows系统中的路由表打印出来，如下图所示：

route add命令可以往路由表中添加一条路由，route delete命令可以删除一条路由。命令具体怎么使用可以使用route /?命令查看一下参数的说明以及范例：

   一般在处理Windows系统中的**多网卡问题**时，会用到这些路由相关的命令。比如以前我们遇到的一个场景，Windows系统中有两张网卡，一张是连接局域网的内网网卡，一张是连接外网的外网网卡：

Windows系统中只能设置一个默认网关，外网网卡的IP和默认网关是从路由器自动获取的，肯定是有默认网关的，所以内网的网卡不能设置默认网关。如果要通过内网的网卡访问局域网中的地址，则需要使用route add命令添加策略路由来控制ip的访问走向，即通过策略路由让访问内网地址的都走内网的网关。给内网的网卡添加策略路由的命令为：

route add 172.16.0.0 mask 255.255.0.0 172.16.30.186（172.16.30.186为内网中的网关）

该命令的含义是，所以访问172.16开头的地址时，都通过内网的网关172.16.30.186走出去。
服务器上一般都会配置多个网卡，有时也会通过添加策略路由去处理服务器之间无法访问的问题，这样的场景我们都遇到过。

8.6、arp命令

   该arp命令主要用来显示和修改地址解析协议(ARP)使用的“IP 到物理”地址转换表：

系统中会保存IP和MAC地址的映射表。其中ARP协议（Address Resolution Protocol），是根据IP地址获取物理地址的一个TCP/IP协议。主机发送信息时将包含目标IP地址的ARP请求广播到局域网络上的所有主机，并接收返回消息，以此确定目标的物理地址；收到返回消息后将该IP地址和物理地址存入本机ARP缓存中并保留一定时间，下次请求时直接查询ARP缓存以节约资源。

   可以使用arp -a的命令查看系统缓存的映射表，使用arp -s保存一个IP和MAC地址的映射对，使用arp -d删除符合条件的映射对，条件中支持使用通配符，比如：arp -d 192.168.*.*

8.7、traccert命令

   该命令可以追踪访问目标地址所经历的网络节点，如下所示：

通过该命令，可以看出数据包是从那个网卡发出去的（看默认网关），也可以看出从哪个运营商线路（联通线路、移动线路、电信线路）访问到目标地址的！

9、在Linux和Windows两个平台中抓包

   出现网络问题后，最直接最有效的办法就是抓包，对抓到的网络包进行分析，有时不仅要在客户端抓包，还要在服务器抓包，要综合分析。 服务器一般是运行在Linux系统之上的，所以此处也简单的介绍一下如何在服务器上使用tcpdump命令抓包。

9.1、在Windows系统中抓包

   Windows上抓包很简单，只要在系统中安装wireshark即可。启动wireshark后，选择要抓包的那个网卡：

开启抓包即可。抓完包之后，可以将抓包数据保存到文件中。接下来就是分析抓包文件，抓包文件中是抓取了整个网卡的数据包，而我们要分析的是我们软件中的数据包，所以要用过滤条件将要查看的包过滤出来。

    数据包的过滤条件很讲究，可以使用ip或端口进行过滤，也可以通过协议去过滤，比如如下的一些过滤条件：

1）用ip地址过滤，比如ip.addr==192.168.2.1、ip.src==192.168.2.1、ip.dst==192.168.2.1；

2）用端口来过滤，比如tcp.port==7800、tcp.srcport==7800、tcp.dstport==7800、udp.port==7800;

3）使用协议过滤，比如tcp、udp、http、websocket、xmpp、rtp等协议名称进行过滤，比如下图：

4）上面我们还说过，可以使用tcp.syn==1来过滤三次握手的SYN包；

5）使用数据包的字符串来过滤，比如http **contains **"destport"、xmpp **contains **“123”。

具体使用什么过滤条件，要具体问题具体分析吧。

9.2、在Linux系统中抓包

   服务器中一般使用的是Linux操作系统，比如最常用的是CentOS系统。当然CentOS开发商Red Hat(红帽)公司已经宣布不再对CentOS进行维护更新了，对于大多数国产IT厂商是个很不好的消息。好在华为、阿里和腾讯快速地推出了CentOS的替代服务器操作系统，华为发布了欧拉系统、阿里发布了龙蜥系统、腾讯发布了TencentOS系统，这些服务器操作系统都是在开源的Linux系统演化而来的，也都开源了，大家都可以使用。鉴于华为在鸿蒙手机操作系统上的卓越表现，很多厂商都选择了使用华为的欧拉系统，有的厂商则选择继续使用国外的Linux系统，比如Ubuntu、Debian等。

   好像扯的有点远了，还是回到本文的主题上来。在Linux上抓包之前，我们需要使用SSH工具远程登录到Linux系统中，登录到Linux系统的命令行上，然后在Linux命令行中使用tcpdump命令启动抓包，比如使用如下的命令：

tcpdump****–i eth1 –s 0 –w dsvserver.pcap

该命令中使用-i指定在哪个网卡上抓包，eth1是网卡名称，如果要抓所有网卡上的包，则使用-i any；-s指定生成的抓包文件的大小，以字节为单位，0表示不限制；-w指定抓包文件的名称。

   开启该命令后，服务器上一直在抓包，可以按下Ctrl+C停止抓包命令的执行。然后使用sz命令：

sz dsvserver.pcap

将刚才生成的抓包下载到当前的Windows系统中，最后在Windows系统中使用WireShark打开抓包文件分析即可。

   sz命令（Send ZMODEM）通过ZMODEM协议，可将文件从远程的服务器下载到本地来。比如我们要取日志文件，也可以使用sz命令下载到本地来。关于下载的保存路径，可以在SSH工具的远程连接会话好配置选项中设置，如上图所示。