0
0

【在Linux世界中追寻伟大的One Piece】多路转接select

1 -> I/O多路转接之select

1.1 -> 初识select

系统提供select函数来实现多路复用输入/输出模型。

  • select系统调用是用来让我们的程序监视多个文件描述符的状态变化的。
  • 程序会停在select这里等待，直到被监视的文件描述符有一个或多个发生了状态改变。

1.2 -> select函数原型

select函数原型如下：

  1. #include <sys/select.h>
  3. int select(int nfds, fd_set* readfds, fd_set* writefds, fd_set
  4.     * exceptfds, struct timeval* timeout);

参数解释：

  • 参数nfds是需要监视的最大的文件描述符值+1。
  • rdset，wrset，exset分别对应于需要检测的可读文件描述符的集合，可写文件描述符的集合及异常文件描述符的集合。
  • 参数timeout为结构timeval，用来设置select()的等待时间。

参数timeout取值：

  • NULL：则表示 select()没有timeout，select将一直被阻塞，直到某个文件描述符上发生了事件。
  • 0：仅检测描述符集合的状态，然后立即返回，并不等待外部事件的发生。
  • 特定的时间值：如果在指定的时间段里没有事件发生，select将超时返回。

1.3 -> 关于fd_set结构

其实这个结构就是一个整数数组，更严格的说，是一个"位图"。使用位图中对应的位来表示要监视的文件描述符。

提供了一组操作fd_set的接口，来比较方便的操作位图。

  1. void FD_CLR(int fd, fd_set* set); // 用来清除描述词组 set 中相关fd的位
  2. int FD_ISSET(int fd, fd_set* set); // 用来测试描述词组 set 中相关fd的位是否为真
  3. void FD_SET(int fd, fd_set* set); // 用来设置描述词组 set 中相关fd的位
  4. void FD_ZERO(fd_set* set); // 用来清除描述词组 set 的全部位

1.4 -> 关于timeval结构

timeval结构用于描述一段时间长度，如果在这个时间内，需要监视的描述符没有事件发生则函数返回，返回值为0。

函数返回值：

  • 执行成功则返回文件描述词状态已改变的个数。
  • 如果返回0代表在描述词状态改变前已超过timeout时间，没有返回。
  • 当有错误发生时则返回-1，错误原因存于errno，此时参数readfds，writefds，exceptfds和timeout的值变成不可预测。

错误值可能为：

  • EBADF文件描述词为无效的或该文件已关闭。
  • EINTR此调用被信号所中断。
  • EINVAL参数n为负值。
  • ENOMEM核心内存不足。

常见的程序片段如下：

  1. fs_set readset；
  2. FD_SET(fd, &readset);
  3. select(fd + 1, &readset, NULL, NULL, NULL);
  4. if (FD_ISSET(fd, readset)) { …… }

2 -> 理解select执行过程

理解select模型的关键在于理解fd_set，为说明方便，取fd_set长度为1字节，fd_set中的每一bit可以对应一个文件描述符fd。则1字节长的fd_set最大可以对应8个fd。

  1. 执行fd_set set，FD_ZERO(&set)；则set用位表示是0000,0000。
  2. 若fd＝5，执行 FD_SET(fd,&set)；后set变为 0001,0000(第5位置为1) 。
  3. 若再加入fd＝2，fd=1，则set变为0001,0011。
  4. 执行select(6,&set,0,0,0)阻塞等待。
  5. 若fd=1，fd=2上都发生可读事件，则select返回，此时set变为0000,0011。注意：没有事件发生的fd=5被清空。

2.1 -> Socket就绪条件

读就绪

  • socket内核中，接收缓冲区中的字节数，大于等于低水位标记SO_RCVLOWAT。此时可以无阻塞的读该文件描述符，并且返回值大于0。
  • socket TCP通信中，对端关闭连接，此时对该socket读，则返回0。
  • 监听的socket上有新的连接请求。
  • socket上有未处理的错误。

写就绪

  • socket内核中，发送缓冲区中的可用字节数(发送缓冲区的空闲位置大小)，大于等于低水位标记SO_SNDLOWAT，此时可以无阻塞的写，并且返回值大于0。
  • socket的写操作被关闭(close或者shutdown)。对一个写操作被关闭的socket进行写操作，会触发SIGPIPE信号。
  • socket使用非阻塞connect连接成功或失败之后。
  • socket上有未读取的错误。

2.2 -> select特点

  • 可监控的文件描述符个数取决于sizeof(fd_set)的值。我这边服务器上sizeof(fd_set)＝512，每bit表示一个文件描述符，则我服务器上支持的最大文件描述符是512*8=4096。
  • 将fd加入select监控集的同时，还要再使用一个数据结构array保存放到select监控集中的fd。- 一是用于再select返回后，array作为源数据和fd_set进行FD_ISSET判断。- 二是select返回后会把以前加入的但并无事件发生的fd清空，则每次开始select前都要重新从array取得fd逐一加入(FD_ZERO最先)，扫描array的同时取得fd最大值maxfd，用于select的第一个参数。

2.3 -> select缺点

  • 每次调用select，都需要手动设置fd集合，从接口使用角度来说也非常不便。
  • 每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大。
  • 同时每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多时也很大。
  • select支持的文件描述符数量太小。

3 -> select使用示例

3.1 -> 只检测标准输入

  1. #include <stdio.h>
  2. #include <unistd.h>
  3. #include <sys/select.h>
  5. int main() 
  6. {
  7.     fd_set read_fds;
  8.     FD_ZERO(&read_fds);
  9.     FD_SET(0, &read_fds);
  10.     for (;;) 
  11.     {
  12.         printf("> ");
  13.         fflush(stdout);
  14.         int ret = select(1, &read_fds, NULL, NULL, NULL);
  15.         if (ret < 0) 
  16.         {
  17.             perror("select");
  19.             continue;
  20.         }
  22.         if (FD_ISSET(0, &read_fds)) 
  23.         {
  24.             char buf[1024] = { 0 };
  25.             read(0, buf, sizeof(buf) - 1);
  27.             printf("input: %s", buf);
  28.         }
  29.         else 
  30.         {
  31.             printf("error! invaild fd\n");
  33.             continue;
  34.         }
  36.         FD_ZERO(&read_fds);
  37.         FD_SET(0, &read_fds);
  38.     }
  40.     return 0;
  41. }

说明：

当只检测文件描述符0(标准输入)时，因为输入条件只有在你有输入信息的时候，才成立，所以如果一直不输入，就会产生超时信息。

3.2 -> 实现字典服务器

tcp_select_server.hpp

  1. #pragma once
  3. #include <vector>
  4. #include <unordered_map>
  5. #include <functional>
  6. #include <sys/select.h>
  7. #include "tcp_socket.hpp"
  9. // 必要的调试函数
  10. inline void PrintFdSet(fd_set* fds, int max_fd) 
  11. {
  12.     printf("select fds: ");
  13.     for (int i = 0; i < max_fd + 1; ++i) 
  14.     {
  15.         if (!FD_ISSET(i, fds)) 
  16.         {
  17.             continue;
  18.         }
  20.         printf("%d ", i);
  21.     }
  23.     printf("\n");
  24. }
  26. typedef std::function<void(const std::string& req, std::string*
  27.     resp)> Handler;
  29. // 把 Select 封装成一个类. 这个类虽然保存很多 TcpSocket 对象指针, 但是不管理内存
  30. class Selector 
  31. {
  32. public:
  33.     Selector() 
  34.     {
  35.         // [注意!] 初始化千万别忘了!!
  36.         max_fd_ = 0;
  37.         FD_ZERO(&read_fds_);
  38.     }
  40.     bool Add(const TcpSocket& sock) 
  41.     {
  42.         int fd = sock.GetFd();
  43.         printf("[Selector::Add] %d\n", fd);
  44.         if (fd_map_.find(fd) != fd_map_.end()) 
  45.         {
  46.             printf("Add failed! fd has in Selector!\n");
  48.             return false;
  49.         }
  51.         fd_map_[fd] = sock;
  52.         FD_SET(fd, &read_fds_);
  53.         if (fd > max_fd_) 
  54.         {
  55.             max_fd_ = fd;
  56.         }
  58.         return true;
  59.     }
  61.     bool Del(const TcpSocket& sock) 
  62.     {
  63.         int fd = sock.GetFd();
  64.         printf("[Selector::Del] %d\n", fd);
  65.         if (fd_map_.find(fd) == fd_map_.end()) 
  66.         {
  67.             printf("Del failed! fd has not in Selector!\n");
  69.             return false;
  70.         }
  72.         fd_map_.erase(fd);
  73.         FD_CLR(fd, &read_fds_);
  75.         // 重新找到最大的文件描述符, 从右往左找比较快
  76.         for (int i = max_fd_; i >= 0; --i) 
  77.         {
  78.             if (!FD_ISSET(i, &read_fds_)) 
  79.             {
  80.                 continue;
  81.             }
  82.             max_fd_ = i;
  84.             break;
  85.         }
  87.         return true;
  88.     }
  90.     // 返回读就绪的文件描述符集
  91.     bool Wait(std::vector<TcpSocket>* output) 
  92.     {
  93.         output->clear();
  95.         // [注意] 此处必须要创建一个临时变量, 否则原来的结果会被覆盖掉
  96.         fd_set tmp = read_fds_;
  98.         // DEBUG
  99.         PrintFdSet(&tmp, max_fd_);
  100.         int nfds = select(max_fd_ + 1, &tmp, NULL, NULL, NULL);
  101.         if (nfds < 0) 
  102.         {
  103.             perror("select");
  105.             return false;
  106.         }
  108.         // [注意!] 此处的循环条件必须是 i < max_fd_ + 1
  109.         for (int i = 0; i < max_fd_ + 1; ++i) 
  110.         {
  111.             if (!FD_ISSET(i, &tmp)) 
  112.             {
  113.                 continue;
  114.             }
  116.             output->push_back(fd_map_[i]);
  117.         }
  119.         return true;
  120.     }
  122. private:
  123.     fd_set read_fds_;
  124.     int max_fd_;
  126.     // 文件描述符和 socket 对象的映射关系
  127.     std::unordered_map<int, TcpSocket> fd_map_;
  128. };
  130. class TcpSelectServer 
  131. {
  132. public:
  133.     TcpSelectServer(const std::string& ip, uint16_t port) : ip_(ip),
  134.         port_(port) 
  135.     {
  136.     }
  138.     bool Start(Handler handler) const 
  139.     {
  140.         // 1. 创建 socket
  141.         TcpSocket listen_sock;
  142.         bool ret = listen_sock.Socket();
  143.         if (!ret) 
  144.         {
  145.             return false;
  146.         }
  148.         // 2. 绑定端口号
  149.         ret = listen_sock.Bind(ip_, port_);
  150.         if (!ret) 
  151.         {
  152.             return false;
  153.         }
  155.         // 3. 进行监听
  156.         ret = listen_sock.Listen(5);
  157.         if (!ret) 
  158.         {
  159.             return false;
  160.         }
  162.         // 4. 创建 Selector 对象
  163.         Selector selector;
  164.         selector.Add(listen_sock);
  166.         // 5. 进入事件循环
  167.         for (;;) 
  168.         {
  169.             std::vector<TcpSocket> output;
  170.             bool ret = selector.Wait(&output);
  171.             if (!ret) 
  172.             {
  173.                 continue;
  174.             }
  176.             // 6. 根据就绪的文件描述符的差别, 决定后续的处理逻辑
  177.             for (size_t i = 0; i < output.size(); ++i) 
  178.             {
  179.                 if (output[i].GetFd() == listen_sock.GetFd()) 
  180.                 {
  181.                     // 如果就绪的文件描述符是 listen_sock, 就执行 accept, 并加入到 select 中
  182.                     TcpSocket new_sock;
  183.                     listen_sock.Accept(&new_sock, NULL, NULL);
  184.                     selector.Add(new_sock);
  185.                 }
  186.                 else 
  187.                 {
  188.                     // 如果就绪的文件描述符是 new_sock, 就进行一次请求的处理
  189.                     std::string req, resp;
  190.                     bool ret = output[i].Recv(&req);
  191.                     if (!ret) 
  192.                     {
  193.                         selector.Del(output[i]);
  195.                         // [注意!] 需要关闭 socket
  196.                         output[i].Close();
  197.                         continue;
  198.                     }
  200.                     // 调用业务函数计算响应
  201.                     handler(req, &resp);
  203.                     // 将结果写回到客户端
  204.                     output[i].Send(resp);
  205.                 }
  207.             } // end for
  208.         } // end for (;;)
  210.         return true;
  211.     }
  213. private:
  214.     std::string ip_;
  215.     uint16_t port_;
  216. };

感谢各位大佬支持！！！

互三啦！！！

标签： 数据库 运维 linux
本文转载自: https://blog.csdn.net/weixin_74809706/article/details/143575865
版权归原作者 枫叶丹4 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【在Linux世界中追寻伟大的One Piece】多路转接select”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？