重定向+缓冲区
自我名言：只有努力，才能追逐梦想，只有努力，才不会欺骗自己。
喜欢的点赞，收藏，关注一下把！
1.重定向
1 #include<stdio.h>2 #include<string.h>3 #include<sys/types.h>4 #include<sys/stat.h>5 #include<fcntl.h>6 #include<unistd.h>7 #include<stdlib.h>89intmain()10{11// close(0);12// close(2);13close(1);14umask(0);15int fd=open("log.txt",O_WRONLY|O_CREAT|O_TRUNC,0666);16if(fd ==-1)17{18perror("open");19exit(1);20}21printf("fd:%d\n",fd);2223close(fd);2425return0;26}
close(1)，为什么没有打印新建文件fd呢？
printf(“%d\n”,fd); printf会把内容打印到stdout文件中。
但是close(1)关闭标准输出stdout—>显示器，int fd=open()；新打开的文件fd是1。
stdout–>fd–>1，虽然我们手动关闭了stdout，但是系统并不知道，还以为fd为1的位置是stdout，但是这个位置现在已经被新打开的文件占用了，所以打印到了新打开的文件里。
1 #include<stdio.h>2 #include<string.h>3 #include<sys/types.h>4 #include<sys/stat.h>5 #include<fcntl.h>6 #include<unistd.h>7 #include<stdlib.h>89intmain()10{11// close(0);12// close(2);13close(1);14umask(0);15int fd=open("log.txt",O_WRONLY|O_CREAT|O_TRUNC,0666);16if(fd ==-1)17{18perror("open");19exit(1);20}21printf("fd:%d\n",fd);2223//这里必须刷新一下，不然log.txt里面没有内容，这里和缓冲区有关，下面讲 24fflush(stdout);25close(fd);2627return0;28}
本来应该打印到显示器文件中，但是却写到文件里了。------>重定向
1.1重定向本质
1.2重定向接口
这个主要介绍dup2函数。
intdup2(int oldfd,int newfd);
那怎么使用dup2来实现刚才的效果，把打印到显示器内容，写入到"log.txt"
是上面那样写的，还是下面那样写的，我们分析分析。
画图分析
因此正确写法如下
4 #include<sys/stat.h>5 #include<fcntl.h>6 #include<unistd.h>7 #include<stdlib.h>89intmain()10{11// close(0);12// close(2);13// close(1);14umask(0);15int fd=open("log.txt",O_WRONLY|O_CREAT|O_TRUNC,0666);16if(fd ==-1)17{18perror("open");19exit(1);20}21//重定向 22dup2(fd,1);23printf("fd:%d\n",fd);2425//这里必须刷新一下，不然log.txt里面没有内容 26fflush(stdout);27close(fd);2829return0;30}
1.3重定向分类
1.3.1>输出重定向
上面内容就是输出重定向，把新打开文件的fd重定向到fd为1（默认为显示器）的位置。
1.3.2>>追加重定向
1 #include<stdio.h>2 #include<string.h>3 #include<sys/types.h>4 #include<sys/stat.h>5 #include<fcntl.h>6 #include<unistd.h>7 #include<stdlib.h>89intmain()10{11// close(0);12// close(2);13// close(1);14umask(0);15// int fd=open("log.txt",O_WRONLY|O_CREAT|O_TRUNC,0666);16int fd=open("log.txt",O_WRONLY|O_CREAT|O_APPEND,0666);17if(fd ==-1)18{19perror("open");20exit(1);21}22//重定向23dup2(fd,1);24printf("你好\n");25printf("吃了吗\n");2627//这里必须刷新一下，不然log.txt里面没有内容 28fflush(stdout);29close(fd);3031return0;32}
1.3.3<输入重定向
#include<stdio.h>#include<string.h>#include<sys/types.h>#include<sys/stat.h>#include<fcntl.h>#include<unistd.h>#include<stdlib.h>intmain(){// close(0); // close(2); // close(1); umask(0);// int fd=open("log.txt",O_WRONLY|O_CREAT|O_TRUNC,0666); // int fd=open("log.txt",O_WRONLY|O_CREAT|O_APPEND,0666); int fd=open("log.txt",O_RDONLY);if(fd ==-1){perror("open");exit(1);}//输入重定向 dup2(fd,0);char outbuffer[64];while(1){printf("<");if(fgets(outbuffer,sizeof(outbuffer),stdin)==NULL)break;printf("%s",outbuffer);}return0;}
2.理解 >， >>， <
在前面实现过一个自己的shell，现在我们给这个shell增加重定向功能来理解重定向。
//增加一个分割指令和文件名的函数 commandstrtok(lineCommand);
分割的时候，我们需要知道重定向是什么类型，文件是什么名字，因此增加两个全局变量来记录。
//重定向类型 //第一个为初始重定向 #defineDEFAULT_REDIR0#defineINPUT_REDIR1#defineOUTPUT_REDIR2#defineERROR_EDIRR3//重定向类型+文件名 int redirType=DEFAULT_REDIR;char* redirFile=NULL;
分割函数
//这里找文件名没有写成函数，而写个宏#definetrimSpace(start)do{\while(isspace(*start))++start;\}while(0)voidcommandstrtok(char* cmd){assert(cmd);char* start=cmd;char* end=cmd+strlen(cmd);while(start < end){if(*start =='<'){*start=0;++start;//这里可能 ls -a -l > log.txt,trimSpace(start);
redirType=INPUT_REDIR;
redirFile=start;break;}elseif(*start =='>'){*start=0;++start;if(*start =='>'){
redirType=APPEND_REDIR;++start;}else{
redirType=OUTPUT_REDIR;}trimSpace(start);
redirFile=start;break;}else{++start;}}
因为命令是子进程执行的，真正重定向的功能一定是由子进程来完成的，
但是如何重定向是父进程要告知给子进程的。
//创建子进程pid_t id =fork();assert(id !=-1);if(id ==0){switch(redirType){case INPUT_REDIR:{int fd=open("log.txt",O_RDONLY);if(fd <0){perror("open");return1;}//重定向文件已经打开了dup2(fd,0);}break;case OUTPUT_REDIR:case APPEND_REDIR:{umask(0);int flags=O_WRONLY|O_CREAT;if(redirType == OUTPUT_REDIR) flags|=O_CREAT;else flags|=O_APPEND;int fd=open("log.txt",flags,0666);if(fd <0){perror("open");return1;}dup2(fd,1);}break;default:printf("bug?\n");break;}//程序替换execvp(myargv[0],myargv);exit(1);}
shell完整代码
问：子进程重定向会影响父进程吗？
不会
问：指向程序替换的时候，会不会影响曾经进程打开的重定向文件呢？
不会
3.如何理解linux下一切皆文件
Linux下一切皆文件，那键盘，显示器，磁盘，网卡等硬件在linux下都是文件吗？
可以这样说的。
站在struct file上层看来，所有的设备和文件，统一都是struct file--------->Linux下一切皆文件。
这里可能有这样一个问题，如果同一个文件被多个指针指向，但是某个进程把这个文件关了，会不会影响其他进程对这个文件的操作呢？
其实并不会，一个被打开的文件有引用计数。
表明有几个指针指向这个文件，这样做是因为一个文件可能被多个指针指向。如果某个进程关闭文件，影响到其他进程，就不能保证进程的独立性。close关闭文件，其实并不是真正关闭文件，只是把引用计数减1，当只有一个指针指向这个文件，close关闭文件才是真正关闭这个文件。
4.缓冲区
先看一种现象。
1 #include<stdio.h>2 #include<string.h>3 #include<sys/types.h>4 #include<sys/stat.h>5 #include<fcntl.h>6 #include<unistd.h>7 #include<stdlib.h>89intmain()10{11printf("hello printf\n");12fprintf(stdout,"%s\n","hello fprintf");131415constchar* output="hello write\n";16write(1,output,strlen(output));171819return0;20}
1 #include<stdio.h>2 #include<string.h>3 #include<sys/types.h>4 #include<sys/stat.h>5 #include<fcntl.h>6 #include<unistd.h>7 #include<stdlib.h>89intmain()10{11printf("hello printf\n");12fprintf(stdout,"%s\n","hello fprintf");131415constchar* output="hello write\n";16write(1,output,strlen(output));1718fork();19return0;20}
对比两张图片，第二段代码补充fork（创建子进程），重定向之后，C接口的函数，被打印了两次，系统调用的接口前面都只是打印了一次。
这是什么原因？现在只是知道肯定是fork函数有关。
其实这里也和缓冲区有关。
4.1理解缓冲区问题
缓冲区本质就是一段内存！！！
4.1.1为什么要有缓冲区
这里讲一个小故事，帮助理解。
在四川的张三要给远在北京的李四送一个键盘。
张三为了节省时间，选择2；
现实中快递行业的意义？
节省发送者的时间。
进程把数据打包给磁盘，是一个很慢的过程，如果让进程一直等着显然不太好。因此我们也需要一个快速的方式----->缓冲区
缓冲区的意义是什么呢？
节省进程进行数据IO的时间。
但是我们在用文件写的接口时，并没有专门拷贝数据啊？（以fwrite为例）
其实与其理解fwrite是写入到文件的函数，倒不如理解fwrie是拷贝函数，将数据从进程拷贝到"缓冲区"或者“外设”中。
4.1.2缓冲区刷新策略的问题
把东西给顺丰之后，那顺丰什么时候发货呢？
张三第二天在想寄一个鼠标给李四，当走到快递站点发现自己昨天的快递还没有发走，就问快递人员，快递人员说，我们的快递都是用大货车和飞机发送的，就这一个快递不可能马上就发走，等到满足发送件货才发。
缓冲区的刷新策略：
不同外设IO访问速度是不同的。
缓冲区结合具体的设备，定制自己的刷新策略。（3策略，2特殊）
3策略
a.立即刷新 ----> 无缓冲
b.行刷新 ----> 行缓存 ----> 显示器 （显示器是给人看的，如果一次给很多信息，人看着不舒服）
c.缓冲区满 ----> 全缓存 ----> 磁盘文件（显示器除外）
2特例
1：用户强制刷新 （fflush）
2：进程退出 （进程退出要刷新缓冲区）
4.1.3缓冲区在哪里，指的是什么缓冲区
C接口打印了两次，系统调用接口打印了一次，这种现象一定和缓冲区有关。
虽然现在不知道缓冲区在哪里，但是我们知道缓冲区一定不在内核中。
因为C接口底层调用的是系统调用接口，如果缓冲区在内核中，write也应该打印两次。
那缓冲区到底在哪？
我们之前谈论的所有缓冲区，都指的是用户级语言层面给我们提供的缓冲区。
还记得C程序默认给我们打开stdin，stdout，stderr都是------->FILE*------>指向FILE结构体，结构体包含-------> fd，其实还包含一个缓冲区。
因此，缓冲区在FILE结构体中。
所以当我们自己要强制刷新：fflush（文件指针），关闭：fclose（文件指针）传的都是FILE*。因为缓存区在FILE结构体中。
4.1.4如何解释fork问题
代码结束之前，创建子进程。
1.我们没有进行>输出重定向，看到了三条信息。
stdout默认使用的是行刷新，在fork之前，两条C函数已经将数据打印输出到到显示器上，你的FILE内部，进程内部不存在对应的数据了。这时创建子进程，等到子进程，父进程退出的时，都要刷新缓冲区，但是这时缓冲区已经没有内容可以刷新了。因此C函数打印两条信息。
2.>输入重定向之后，C接口打印两次
当我们进行>，写入文件就不再是显示器，而是普通文件，采用的刷新策略是全缓存，之前2条C打印函数，虽然带了\n，但是不足与将stdout缓冲区写满，数据并没有被刷新。
fork的时候，stdout属于父进程，创建子进程紧跟着就是进程退出，谁先退出，一定要进行缓冲区刷新（缓存区刷新---->就是修改）
这时就有了写时拷贝！！ 因此C接口，数据最终会显示两份。
3.write为什么前后只打印一次
上面过程都是write无关，write没有FILE，而用的是fd，就没有C提供的缓冲区。
5.缓冲区该如何理解
自己写一个简易的缓冲区，来帮助理解"数据刷新策略"+“数据如何缓存”
5.1myStdio.h
1 #pragma once
2 #include<errno.h>3 #include<stdio.h>4 #include<string.h>5 #include<sys/types.h>6 #include<sys/stat.h>7 #include<fcntl.h>8 #include<unistd.h>9 #include<stdlib.h>1011 #define SIZE 102412 #define SYNC_NOW 113 #define SYNC_LINE 214 #define SYNC_FULL 31516typedefstruct_FILE{17int flags;//刷新方式 18int fileno;//文件描述符19int capacity;//buffer容量 20int size;//buffer当前使用量 21char buffer[SIZE];//缓冲区22}_FILE;232425 _FILE*_fopen(constchar* path_name,constchar* mode);26void_fwrite(constvoid* ptr,int num,_FILE* fp);27void_fclose(_FILE* fp);28void_fflush(_FILE* fp);
5.2myStdio.c
5.2.1_fopen
_FILE*_fopen(constchar* path_name,constchar* mode){assert(path_name);int flags=0;int defaultmode=0666;if(strcmp(mode,"r")==0){
flags|=O_RDONLY;}elseif(strcmp(mode,"w")==0){
flags|=(O_WRONLY|O_CREAT|O_TRUNC);}elseif(strcmp(mode,"a")==0){
flags|=(O_WRONLY|O_CREAT|O_APPEND);}int fd=0;if(flags & O_RDONLY){
fd=open(path_name,flags);}else{
fd=open(path_name,flags,defaultmode);}if(fd <0){constchar*err=strerror(errno);write(2,err,strlen(err));returnNULL;//这就是为什么创建文件失败，返回NULL}
_FILE* fp=(_FILE*)malloc(sizeof(_FILE));assert(fp);
fp->flags=SYNC_LINE;
fp->fileno=fd;
fp->capacity=SIZE;
fp->size=0;memset(fp->buffer,0,SIZE);return fp;}
5.2.2_fwrite
void_fwrite(constvoid* ptr,int num,_FILE* fp){//写到缓冲区里 memcpy(fp->buffer+fp->size,ptr,num);//这里没有考虑缓冲区溢出问题
fp->size+=num;//判断是否要刷新 if(fp->flags & SYNC_NOW){write(fp->fileno,fp->buffer,fp->size);
fp->size=0;//清空缓冲区 }elseif(fp->flags & SYNC_LINE){if(fp->buffer[fp->size-1]=='\n')//这里也没有考虑abc\ndef这种形式，如果是这样的可以用for循环 {write(fp->fileno,fp->buffer,fp->size);
fp->size=0;}}elseif(fp->flags & SYNC_FULL){if(fp->size == fp->capacity){write(fp->fileno,fp->buffer,fp->size);
fp->size=0;}}}
5.2.3_fflush
void_fflush(_FILE* fp){if(fp->size >0)write(fp->fileno,fp->buffer,fp->size);fsync(fp->fileno);//把数据强制从内核缓冲区刷新到磁盘
fp->size=0;}
这里引入了内核缓冲区，下面解释。
5.2.4_fclose
void_fclose(_FILE* fp){_fflush(fp);close(fp->fileno);}
5.3main.c
行刷新
1 #include"myStdio.h"234intmain()5{6 _FILE* fp=_fopen("log.txt","w");7if(fp ==NULL)8{9perror("_fopen");10return1;11}1213int cnt=10;14constchar* msg="hello linux\n";15while(1)16{17_fwrite(msg,strlen(msg),fp);18sleep(1);19printf("count:%d\n",cnt--);20if(cnt ==0)break;21}22_fclose(fp);2324return0;25}
退出刷新
1 #include"myStdio.h"234intmain()5{6 _FILE* fp=_fopen("log.txt","w");7if(fp ==NULL)8{9perror("_fopen");10return1;11}1213int cnt=10;14constchar* msg="hello linux";15while(1)16{17_fwrite(msg,strlen(msg),fp);18sleep(1);19printf("count:%d\n",cnt--);20if(cnt ==0)break;21}22_fclose(fp);2324return0;25}
立即刷新
1 #include"myStdio.h"234intmain()5{6 _FILE* fp=_fopen("log.txt","w");7if(fp ==NULL)8{9perror("_fopen");10return1;11}1213int cnt=10;14constchar* msg="hello linux";15while(1)16{17_fwrite(msg,strlen(msg),fp);18_fflush(fp);19sleep(1);20printf("count:%d\n",cnt--);21if(cnt ==0)break;22}23_fclose(fp);2425return0;26}
6.缓冲区和OS的关系
这里是由write函数，直接把数据写到磁盘上的文件中吗？
其实并不是这样的。
write并不是直接把缓冲区里的内容刷新到文件中，在打开文件对应的struct file{}结构体中其他有一个方法指针，还有一个指向内核缓冲区的指针，系统会把FILE结构体里面缓冲区内容通过struct file{}找到内核缓冲区，再由write()拷贝到内核缓冲区，然后再由这个内核缓冲区把内容刷新到文件中区，至于如何刷新和用户毫无关系，我们所知道的行刷新等，这是由语言层面所分类的，而内核缓冲区刷新由OS自主决定。
那么我们该如何证明有这个内核缓冲区呢？
超级大佬可以证明，这里证明不了，但是我们可以看到接口。
还有一个问题，如果OS突然宕机了会发生什么情况？
数据肯定会丢失。如果还是按照OS规定的内核缓冲区刷新策略肯定是不行的。
我们希望可以在用户层就告知OS，内核缓冲区不要再给我缓存了，赶紧把数据刷新到磁盘中。
这里介绍fsync函数
强制性把该文件对应的内核缓冲区数据持久到磁盘。就是OS不要给我缓存了，赶紧把数据给我更新到磁盘上。
版权归原作者 LuckyRich1 所有， 如有侵权，请联系我们删除。