Node.js的Buffer(缓冲区)和Stream

Node.js的Buffer缓冲区和Stream

Buffer 类

• JavaScript 语言自身只有字符串数据类型，没有二进制数据类型。 但在处理像TCP流或文件流时，必须使用到二进制数据。因此在 Node.js中，定义了一个 Buffer 类，该类用来创建一个专门存放二进制数据的缓存区。
• 在 Node.js 中，Buffer 类是随 Node 内核一起发布的核心库。
• Buffer 库为 Node.js 带来了一种存储原始数据的方法，可以让 Node.js 处理二进制数据，每当需要在 Node.js 中处理I/O操作中移动的数据时，就有可能使用 Buffer 库。
• 原始数据存储在 Buffer 类的实例中。一个 Buffer 类似于一个整数数组，但它对应于 V8 堆内存之外的一块原始内存。

8种编码方式

1. ascii - 仅支持 7 位 ASCII 数据。如果设置去掉高位的话，这种编码是非常快的。
2. utf8 - 多字节编码的 Unicode 字符。许多网页和其他文档格式都使用 UTF-8 。
3. utf16le - 2 或 4 个字节，小字节序编码的 Unicode 字符。支持代理对（U+10000 至 U+10FFFF）。
4. ucs2 - utf16le 的别名。
5. base64 - Base64 编码点击查看详情
6. latin1 - 一种把 Buffer 编码成一字节编码的字符串的方式。
7. binary - latin1 的别名。
8. hex - 将每个字节编码为两个十六进制字符。

实例：

const buf = Buffer.from('宁夏大学新华学院2019','ascii');
console.log(buf);
console.log(buf.toString('hex'));
console.log(buf.toString('base64'));

创建 Buffer 类

Buffer 提供了以下 API 来创建 Buffer 类：

1. Buffer.alloc(size[, fill[, encoding]])： 返回一个指定大小的 Buffer 实例，如果没有设置 fill，则默认填满 0
2. Buffer.allocUnsafe(size)： 返回一个指定大小的 Buffer 实例，但是它不会被初始化，所以它可能包含敏感的数据
3. Buffer.allocUnsafeSlow(size)
4. Buffer.from(array)： 返回一个被 array 的值初始化的新的 Buffer 实例（传入的 array 的元素只能是数字，不然就会自动被 0 覆盖）
5. Buffer.from(arrayBuffer[, byteOffset[, length]])： 返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。
6. Buffer.from(buffer)： 复制传入的 Buffer 实例的数据，并返回一个新的 Buffer 实例
7. Buffer.from(string[, encoding])： 返回一个被 string 的值初始化的新的

Buffer 实例

const buf1 = Buffer.alloc(10);
console.log(buf1);const buf2 = Buffer.alloc(10,1);
console.log(buf2);const buf3 = Buffer.allocUnsafe(10);
console.log(buf3);const buf4 = Buffer.from([1,2,3,4]);
console.log(buf4);const buf5 = Buffer.from('test');
console.log(buf5);const buf6 = Buffer.from('test','latin1');

写入缓冲区

buf.write(string[, offset[, length]][, encoding])

参数描述如下：

string 

• 写入缓冲区的字符串。

offset

• 缓冲区开始写入的索引值，默认为 0 。

length

• 写入的字节数，默认为 buffer.length

encoding

• 使用的编码。默认为 ‘utf8’ 。

返回值:返回实际写入的大小。
如果 buffer 空间不足， 则只会写入部分字符串。

const buf1 = Buffer.alloc(256);var a = buf1.write("www.baidu.com");
console.log(buf1);
console.log(a +'位');

从缓冲区读取数据

语法

读取 Node 缓冲区数据的语法如下所示：

buf.toString([encoding[, start[, end]]])

参数描述如下

encoding

• 使用的编码。默认为 ‘utf8’ 。

start

• 指定开始读取的索引位置，默认为 0。

end 

• 结束位置，默认为缓冲区的末尾。

返回值:解码缓冲区数据并使用指定的编码返回字符串。

const buf = Buffer.alloc(26);for(var i =0; i <26; i++){
    buf[i]= i +97;}
console.log(buf);
console.log(buf.toString('ascii'));
console.log(buf.toString('ascii',0,5));
console.log(buf.toString('utf8',0,5));
console.log(buf.toString(undefined,0,5));

将 Buffer 转换为 JSON 对象

const buf = Buffer.from([0x1,0x2,0x3,0x4,0x5]);const json =JSON.stringify(buf);
console.log(json);

缓冲区合并

语法
Node 缓冲区合并的语法如下所示：

Buffer.concat(list[, totalLength])

参数描述如下

list

• 用于合并的 Buffer 对象数组列表。

totalLength

• 指定合并后Buffer对象的总长度。

返回值:返回一个多个成员合并的新 Buffer 对象。

var buf1 = Buffer.from(('宁夏大学新华学院'));var buf2 = Buffer.from(('信息与计算机科学系'));var buf3 = Buffer.concat([buf1, buf2]);
console.log("buf3的内容是：", buf3.toString());

Node.js Stream(流)

从流中读取数据
创建 input.txt 文件，内容如下：
宁夏大学新华学院信息与计算机科学系：计算机科学与技术专业

var fs =require('fs');var data ='';var readerStream = fs.createReadStream('input.txt');
readerStream.setEncoding('utf8');
readerStream.on('data',function(chunk){
    data += chunk;})
readerStream.on('end',function(){
    console.log(data);})
readerStream.on('error',function(err){
    console.log(err.stack);})
console.log('执行完毕');

写入流

var fs =require('fs');const{ finished }=require('stream');var data ='宁夏大学新华学院信息与计算机科学系： 计算机科学与技术专业';var a = fs.createWriteStream('output.txt');
a.write(data,'UTF8');
a.end();
a.on("finish",function(){
    console.log("写入完成");})
a.on("error",function(err){
    console.log(err.stack);})
console.log('执行完毕');

管道流

管道提供了一个输出流到输入流的机制。通常我们用于从一个流中获取数据并将数据传递到另外一个流中。

var fs =require('fs');var a = fs.createReadStream('input.txt');var b = fs.createWriteStream('output.txt');
a.pipe(b);
console.log('执行完毕');