Linux 进程间通信1: 匿名和命名管道以及进程池的实现
一.进程间通信的介绍
1.为什么要进程进程间通信?
因为有些情况下需要进程完成以下任务:
而我们知道进程之间是不能进行"数据"的直接传递的,因为进程具有独立性
因此才有了我们今天要谈论的进程间通信
2.什么是进程间通信
通俗点讲,进程间通信就是一个进程能够把自己的数据交给另一个进程
进程间进程通信就是进行数据的交互,那么数据存放在哪里呢?
下面我们来分析一下
因此,关于进程间通信的一个非非非非非非常重要的结论就得出了:
进程间通信的本质是让不同的进程,看到同一份资源(一般都是要由OS提供)
3.进程间通信的具体做法
因为OS提供的"数据存放的空间"有着你不同的样式,就决定了进程间通信有着不同的通信方式
二.管道
管道的本质就是一个内存级文件,不存储在磁盘上,只存储在内存当中
1.从文件的角度理解什么是管道?
创建子进程之后log.txt的struct file对象的引用计数++
此时父子进程都对log.txt这个文件同时具有读写权限
也就是说父子进程看到了同一份资源(log.txt),这就是进程间通信
此时如果子进程对log.txt进行写入,父进程对log.txt进行读取
这不就完成了进程间通信了吗?
因此,这种
基于文件,让不同进程看到同一份资源的方式,就叫做管道!
如果让父子进程同时对log.txt既有读权限,又有写权限,那不就容易发生混乱吗?
因此设计管道的工程师规定:
管道只能被设计为单向通信!
那么我们如何把刚才的情况改为只能进行单向通信呢?
比方说我们要求父进程作为读端,子进程作为写端
只需要关闭父进程的’w’权限和子进程的’r’权限即可
log.txt的struct file对象的引用计数–
只有当引用计数减为0时,才会释放该struct file对象和其内核缓冲区
此时,父子进程的通信方式就叫做管道!!
回想一下,刚才我们是如何让不同的进程看到同一份资源的呢?
通过创建子进程,子进程会继承父进程的相关属性信息
子进程继承了父进程的相关信息,子进程的子进程也会继承子进程的相关信息
那么子进程的子进程不就也能跟父进程进行进程间通信了吗?
是的,因此进程之间只要具有血缘关系,那么就可以利用管道来进行进程间通信
而如果没有血缘关系,那么就无法利用管道来进行进程间通信了
三.匿名管道
如果此时我们想要让两个进程之间进行通信,但是不想在磁盘当中建立单独的文件,怎么办呢?
此时就可以使用匿名管道了
匿名管道:只能让具有血缘关系的进程之间进行进程间通信(常用于父子进程)
(祖先跟后代可以,兄弟之间也可以哦)
如何利用呢?
pipe这个函数就是用来创建匿名管道的,传入的参数是一个数组,是一个输出型参数
执行该函数后,会得到2个fd,分别存储在pipefd[0]和pipefd[1]的位置
pipefd[0]存储的是负责r(读)的fd,pipefd[1]存储的是负责w(写)的fd
pipe所创建的匿名管道是一个内存级的文件,并不存在于磁盘当中!!
创建成功返回值为0,创建失败返回值小于0
1.验证代码
下面我们来写一个验证代码
这份代码的含义是:
1.创建管道
2.创建子进程
3.子进程死循环向管道当中写入数据
4.父进程死循环从管道当中读取数据
然后我们编译生成可执行程序,开始运行
至此我们验证完毕
2.四种情况
经过刚才的演示,我们知道父子进程是如何通过管道来进行通信的了
但是还是不够细节,因为有些情况没有涉及到,下面我们来一一看看这4种情况吧
为了方便演示,我们改一下代码,让子进程发送消息时每次少发一些
不着急,我们一一分析
1.写端不写,且不退
2.读端不读,且不退
补充一点:
PIPE_BUF:管道的缓存大小是4096字节
当要写入的数据量不大于PIPE_BUF时，Linux将保证写入的原子性
当要写入的数据量大于PIPE_BUF时，Linux将不再保证写入的原子性
关于原子性我们以后会还会见到的
3.写端不写,退了
4.读端不读,退了
其实发送的是13号信号:
SIGPIPE
验证:
5.小小总结
3.五种特性
4.理解命令行管道
我们之前在Linux常见指令2当中介绍过命令行管道的使用
而今天我们学习了管道之后,我们再回过头来重新认识一下命令行管道
ps ajx |head-1&&ps ajx |grep 可执行程序名字 |grep-vgrep
还记得我们的监控脚本吗?
其实它就是一个命令行管道的典型应用
四.命名管道
匿名管道挺好的,只不过只能由具有血缘关系的进程才能够使用,还是有些局限性的
能不能让没有血缘关系的进程之间也能使用管道来通信呢?
是可以的,不过需要使用我们接下来要介绍的命名管道
1.理论
1.回顾匿名管道的原理
2.命名管道理论
2.系统调用接口的介绍与使用
1.介绍
跟匿名管道一样,这件事情OS不放心让用户完成,也是为了给用户一个良好的使用体验,因此OS提供了系统调用接口
mkfifo
2.使用
我们知道|是命令行当中的匿名管道,说明Linux支持在命令行当中创建匿名管道,那么命名管道呢?
如果不允许的话,Linux是不是就有点偏心了啊
Linux也允许在命令行当中使用mkfifo来创建命名文件
曾记否:我们之前在介绍Linux下的文件类型的时候见过这个管道文件哦
今天我们想说的是:创建了一个命名管道之后,就不能再创建同名的命名管道了
因此我们在创建了命名管道之后,当本次客户端和服务端通信结束之后,为了让下一次对应的代码还能正常运行(也就是创建命名管道成功)
而且肯定是客户端先退出,所以我们要在服务端退出时将这个命名管道删掉
如何删呢?总不能进程程序替换执行个rm -f xxx命名管道吧,那也太挫了吧
OS肯定要提供系统调用接口
同样的unlink也是一个指令哦
介绍完我们需要使用的新增的系统调用接口之后,下面我们来搞代码啦
3.代码编写
这里unlink,read,write,open等等都要判断是否成功,这里为了让代码更加简洁,就没怎么判断,大家可以加上,返回错误码是真的难受…
还是异常香
1.Common.hpp
命名管道是不是只有一份呢?
不是,可以同时有很多份,OS要不要管理,要
如何管理?先描述,在组织
走起
2.pipeServer.cpp
注意:
命名管道创建之后
如果只有读端被打开了,写端还没有被打开,那么读端会阻塞在open函数当中
如果只有写端被打开了,读端还没有被打开,那么写端会阻塞在open函数当中
3.pipeClient.cpp
4.makefile
因为要生成2个可执行程序,因此需要用一个伪目标
(当然你make xxx两次也可以,主要是不优雅)
4.动图演示
此时就能够随便玩了
当然你要是想换一下读写端的话,两个人约定一些暗号等等的信息,输入之后就先暂时退出,然后各自换一种权限打开该文件等等,
这一点上面比匿名管道好玩总之,你想怎么玩就怎么写
随意~
五.自定义shell当中添加命令行管道的功能
1.前言
前言 : 有些内建命令的确可以跟命令行管道一起使用,例如echo,不过某些内建命令无法跟命令行管道一起使用:比如cd
命令行管道可以跟重定向>>,>,<一起使用
拿出我们实现完重定向的shell,(我今天是由自己写了一遍,所以跟上一次的有些不同,但功能是一样的,大家知道能这么玩就行,有空的时候可以自己玩一下)
(还有就是那个echo $?返回最近一次错误码,因为最近刚学了异常,所以看到这种错误码就浑身难受,所以没有搞这个,不过不妨碍我们今天要实现的重定向)
这是一个cpp文件(因为如果用C添加命令行管道[太麻烦了,连个顺序表都没有]…写C++写惯了,不想用C…)
为了方便实现,我们把main函数中的代码拿出去了两部分
代码:
#include<stdio.h>#include<stdlib.h>#include<string.h>#include<unistd.h>#include<sys/wait.h>#include<sys/types.h>#include<sys/stat.h>#include<ctype.h>#include<fcntl.h>#include<vector>#include<iostream>#defineNoneRedir0#defineOutputRedir1#defineInputRedir2#defineAppendRedir3usingnamespace std;int lastcode=0;//上一次进程退出时的退出码int redir=NoneRedir;char* filename=NULL;char cwd[1024]={'\0'};char env[1024][1024]={'\0'};int my_index=0;//将字符串s按照空格作为分割符拆分后添加到vs当中(不过: 空格可能会连续出现)voidCommandLineSplit(char* command,char* commandV[]){char* s=strtok(command," ");
commandV[0]=s;int i=1;while(commandV[i++]=strtok(NULL," ")){}}#defineSkipSpace(pos)do{while(isspace(*pos)){pos++;}}while(0)voidCheckRedir(char* command){int len=strlen(command);char* pos;for(int i=len-1;i>=0;){if(command[i]=='>'){if(i>0&& command[i-1]=='>')//追加{
redir=AppendRedir;
command[i-1]='\0';}else//输出{
redir=OutputRedir;
command[i]='\0';}
pos=command+i+1;SkipSpace(pos);
filename=pos;break;}elseif(command[i]=='<')//输入{
redir=InputRedir;
command[i]='\0';
pos=command+i+1;SkipSpace(pos);
filename=pos;break;}else{
i--;}}}voidExec(char* commandV[]){
pid_t id=fork();if(id==0){if(redir==InputRedir){int fd=open(filename,O_RDONLY);dup2(fd,0);}elseif(redir==OutputRedir){int fd=open(filename,O_WRONLY | O_CREAT | O_TRUNC,0666);dup2(fd,1);}elseif(redir==AppendRedir){int fd=open(filename,O_WRONLY | O_CREAT | O_APPEND,0666);dup2(fd,1);}execvp(commandV[0],commandV);}wait(NULL);}voidcd(char* path){chdir(path);char tmp[1024]={'\0'};getcwd(tmp,sizeof(tmp));sprintf(cwd,"PWD=%s",tmp);putenv(cwd);}voidExport(char* s){strcpy(env[my_index],s);putenv(env[my_index++]);}intecho(char* commandV[]){//1.echo后面什么都没有,相当于'\n'if(commandV[1]==NULL){printf("\n");
lastcode=0;return1;}//2.echo $? echo $PWD echo $char* cmd=commandV[1];int len=strlen(cmd);if(cmd[0]=='$'&& len>1){//echo $?if(cmd[1]=='?'){printf("%d\n",lastcode);
lastcode=0;}//echo $PWDelse{char* tmp=cmd+1;constchar* env=getenv(tmp);//找不到该环境变量,打印'\n',退出码依旧为0if(env==NULL){printf("\n");}else{printf("%s\n",env);}
lastcode=0;}}else{if(cmd[0]=='"'&& cmd[len-1]=='"'){
cmd[len-1]='\0';printf("%s\n",cmd+1);}elseprintf("%s\n",cmd);}return1;}intdoBulidIn(char* commandV[]){int ret=0;if(strcmp(commandV[0],"cd")==0){cd(commandV[1]);
ret=1;}elseif(strcmp(commandV[0],"export")==0){Export(commandV[1]);
ret=1;}elseif(strcmp(commandV[0],"echo")==0){echo(commandV);
ret=1;}return ret;}//打印提示符和修正redir,filename的函数voidstep1(){
redir=NoneRedir;
filename=NULL;//1.打印提示符wzs@VM-16-10-ubuntu:~/ubuntucode/shell$ printf("%s@VM-16-10-ubuntu:%s$ ",getenv("USER"),getenv("PWD"));}//具体执行指令的函数voidstep3(char* command){//3.检查重定向CheckRedir(command);//4.解析字符串char* commandV[1024]={NULL};CommandLineSplit(command,commandV);//5.分析内建命令int ret=doBulidIn(commandV);if(ret==0){//6.进程程序替换Exec(commandV);}}intmain(){while(1){step1();char command[1024]={'\0'};fgets(command,sizeof(command),stdin);int len=strlen(command);
command[len-1]='\0';step3(command);}return0;}
2.思路
1.如何创建管道与进程
因此,我们只需要边创建管道,边创建进程,(最后一个进程单独创建)
并且用
vector<pair<int,int>>
存储所有的管道的读写端方便后续管道对其进行关闭
(因为管道的特点是读/写端没有全都退出,另一端就会一直阻塞等待,如果不关闭读写端的话父进程回收时就必须要逆序回收)
又因为我们要让父进程回收子进程,所以在用一个
vector<int>
存储所有的子进程pid,后续还要waitpid回收他们呢
2.预处理
在检查是否需要重定向之前,我们需要先检查整个字符串有多少个’|‘命令行管道,并且
[1]用一个
vector<int>
保存它们的位置,并且将对应位置改为’\0’,方便后续把每一块指令传递给子进程去处理
[2]因为第一个指令左侧没有’|',所以我们在初始化
vector<int>
的时候,可以先存上一个-1,然后分配任务时就好分配了
3.实现
只有刚才的这两步,搞清楚这两点之后代码就能够很好的写出来了
4.演示
5.代码
#include<stdio.h>#include<stdlib.h>#include<string.h>#include<unistd.h>#include<sys/wait.h>#include<sys/types.h>#include<sys/stat.h>#include<ctype.h>#include<fcntl.h>#include<vector>#include<iostream>#defineNoneRedir0#defineOutputRedir1#defineInputRedir2#defineAppendRedir3usingnamespace std;int lastcode=0;//上一次进程退出时的退出码int redir=NoneRedir;char* filename=NULL;char cwd[1024]={'\0'};char env[1024][1024]={'\0'};int my_index=0;//将字符串s按照空格作为分割符拆分后添加到vs当中(不过: 空格可能会连续出现)voidCommandLineSplit(char* command,char* commandV[]){char* s=strtok(command," ");
commandV[0]=s;int i=1;while(commandV[i++]=strtok(NULL," ")){}}#defineSkipSpace(pos)do{while(isspace(*pos)){pos++;}}while(0)voidCheckRedir(char* command){int len=strlen(command);char* pos;for(int i=len-1;i>=0;){if(command[i]=='>'){if(i>0&& command[i-1]=='>')//追加{
redir=AppendRedir;
command[i-1]='\0';}else//输出{
redir=OutputRedir;
command[i]='\0';}
pos=command+i+1;SkipSpace(pos);
filename=pos;break;}elseif(command[i]=='<')//输入{
redir=InputRedir;
command[i]='\0';
pos=command+i+1;SkipSpace(pos);
filename=pos;break;}else{
i--;}}}voidExec(char* commandV[]){
pid_t id=fork();if(id==0){if(redir==InputRedir){int fd=open(filename,O_RDONLY);dup2(fd,0);}elseif(redir==OutputRedir){int fd=open(filename,O_WRONLY | O_CREAT | O_TRUNC,0666);dup2(fd,1);}elseif(redir==AppendRedir){int fd=open(filename,O_WRONLY | O_CREAT | O_APPEND,0666);dup2(fd,1);}execvp(commandV[0],commandV);}wait(NULL);}voidcd(char* path){chdir(path);char tmp[1024]={'\0'};getcwd(tmp,sizeof(tmp));sprintf(cwd,"PWD=%s",tmp);putenv(cwd);}voidExport(char* s){strcpy(env[my_index],s);putenv(env[my_index++]);}intecho(char* commandV[]){//1.echo后面什么都没有,相当于'\n'if(commandV[1]==NULL){printf("\n");
lastcode=0;return1;}//2.echo $? echo $PWD echo $char* cmd=commandV[1];int len=strlen(cmd);if(cmd[0]=='$'&& len>1){//echo $?if(cmd[1]=='?'){printf("%d\n",lastcode);
lastcode=0;}//echo $PWDelse{char* tmp=cmd+1;constchar* env=getenv(tmp);//找不到该环境变量,打印'\n',退出码依旧为0if(env==NULL){printf("\n");}else{printf("%s\n",env);}
lastcode=0;}}else{if(cmd[0]=='"'&& cmd[len-1]=='"'){
cmd[len-1]='\0';printf("%s\n",cmd+1);}elseprintf("%s\n",cmd);}return1;}intdoBulidIn(char* commandV[]){int ret=0;if(strcmp(commandV[0],"cd")==0){cd(commandV[1]);
ret=1;}elseif(strcmp(commandV[0],"export")==0){Export(commandV[1]);
ret=1;}elseif(strcmp(commandV[0],"echo")==0){echo(commandV);
ret=1;}return ret;}voidstep1(){
redir=NoneRedir;
filename=NULL;//1.打印提示符wzs@VM-16-10-ubuntu:~/ubuntucode/shell$ printf("%s@VM-16-10-ubuntu:%s$ ",getenv("USER"),getenv("PWD"));}voidstep3(char* command){//3.检查重定向CheckRedir(command);//4.解析字符串char* commandV[1024]={NULL};CommandLineSplit(command,commandV);//5.分析内建命令int ret=doBulidIn(commandV);if(ret==0){//6.进程程序替换Exec(commandV);}}intCheckPipe(char* command,vector<int>& v)//返回管道个数,并且把|的位置填到数组当中{int len=strlen(command);for(int i=0;i<len;i++){if(command[i]=='|'){
v.push_back(i);
command[i]='\0';//直接截断}}return v.size();}voidExecpipe(char* command){
vector<int>pos(1,-1);//为了后续分割方便int sz=CheckPipe(command,pos);if(sz==1){step3(command);return;}
vector<int> child_id;
vector<pair<int,int>> v;//v[i].first:i号管道的读 second:写for(int i=0;i<sz-1;i++)//创建sz个进程,sz-1个管道{int pipefd[2];int n=pipe(pipefd);
pid_t id=fork();if(id==0){close(pipefd[0]);//关闭当前管道的读int prev_fd_sz=v.size();for(int j=0;j<prev_fd_sz;j++){if(j<prev_fd_sz-1){//把前面打开的读都关上(除了最近的那一个管道)close(v[j].first);}//把前面打开的管道的写都关上close(v[j].second);}dup2(pipefd[1],1);//当前管道的写重定向到我的1if(!v.empty())dup2(v.back().first,0);//上一个管道的读重定向到我的0step3(command+pos[i]+1);exit(0);}else{
v.push_back({pipefd[0],pipefd[1]});
child_id.push_back(id);}}//最后一个进程:
pid_t id=fork();if(id==0){int prev_fd_sz=v.size();for(int j=0;j<prev_fd_sz;j++){if(j<prev_fd_sz-1){//把前面打开的读都关上(除了最近的那一个管道)close(v[j].first);}//把前面打开的管道的写都关上close(v[j].second);}dup2(v.back().first,0);step3(command+pos[sz-1]+1);exit(0);}
child_id.push_back(id);for(auto& e:v){//最后的时候父亲关闭所有的读写端close(e.first);close(e.second);}for(auto& e:child_id){
pid_t rid=waitpid(e,nullptr,0);if(rid>0) cout<<"wait success, pid: "<<rid<<endl;}}intmain(){while(1){step1();char command[1024]={'\0'};fgets(command,sizeof(command),stdin);int len=strlen(command);
command[len-1]='\0';Execpipe(command);}return0;}
以上就是Linux 进程间通信 管道系列: 匿名和命名管道,自定义shell当中命令行管道的模拟实现的全部内容,希望能对大家有所帮助!!
版权归原作者 program-learner 所有， 如有侵权，请联系我们删除。