Streams 基础

这一课你将能做到

1. 用 createReadStream / createWriteStream 复制大文件，并解释为什么 readFile 会爆内存
2. 用 pipeline（而非 pipe）安全地串联流，并用 Transform 流做实时 gzip 压缩
3. 说清背压（backpressure）是什么、pipe 的经典错误处理缺陷在哪

为什么要学

第 4 课埋过一个伏笔：readFile 把整个文件读进内存，2GB 的文件直接把进程干爆。**流（Stream）**人话：不一次吃完，而是「来一口吃一口」——数据像水流一样分块（chunk）经过你的代码，内存占用恒定，还能边收边处理。

Node 的很多核心能力都是流：HTTP 的 req/res 是流（第 5 课读过 data 事件）、标准输入输出是流（第 2 课）、数据库结果集、加密压缩管道都是流。面试里「背压」「pipe 和 pipeline 区别」是流相关的两道高频题。这课学完，你处理日志分析、大文件导出、文件上传就有了正确工具。

先建立图像

 readFile 的做法（一次性）：
 [2GB 文件] ──全部载入──► [2GB 内存] ──► 处理      内存峰值 = 文件大小

 流的做法（分块）：
 [2GB 文件] ──64KB──► [处理] ──64KB──► [写出] ──► ...
   chunk 1  chunk 2  chunk 3 ...          内存峰值 ≈ 几 MB，恒定

 四种流类型：
  Readable   可读流   fs.createReadStream / http 的 req / process.stdin
  Writable   可写流   fs.createWriteStream / http 的 res / process.stdout
  Duplex     双工流   可读可写（两个独立通道）    net.Socket
  Transform  转换流   读进来加工再写出           zlib.createGzip()

类比：readFile 是「把整头牛搬进厨房」，流是「流水线上按块切、按块加工」。

跟着做

步骤 1：先感受「整读」的极限

新建 node-streams 目录，npm init -y。先造一个大文件（约 500MB，按需调整）：

// make-big.js
const fs = require('node:fs');
const path = require('node:path');

const file = path.join(__dirname, 'big.txt');
const fd = fs.openSync(file, 'w');
const line = 'hello stream world padding padding padding\n'; // 约 39 字节
for (let i = 0; i < 5_000_000; i++) {        // 500 万行 ≈ 190MB，可自行加大
  fs.writeSync(fd, line);
}
fs.closeSync(fd);
console.log('生成完毕:', (fs.statSync(file).size / 1024 / 1024).toFixed(0), 'MB');

node make-big.js
# 生成完毕: 190 MB

步骤 2：readFile vs 流，内存对比

// compare.js
const fs = require('node:fs');
const fsp = require('node:fs/promises');
const path = require('node:path');

function heapMB() {
  return (process.memoryUsage().heapUsed / 1024 / 1024).toFixed(0);
}

async function copyByReadFile(src, dest) {
  const before = heapMB();
  const data = await fsp.readFile(src);        // 整个文件进内存
  await fsp.writeFile(dest, data);
  console.log(`readFile 复制完成, 堆内存 ${before}MB → ${heapMB()}MB`);
}

async function copyByStream(src, dest) {
  const before = heapMB();
  await fsp.copyFile(src, dest);               // 底层就是流式
  console.log(`流式复制完成,   堆内存 ${before}MB → ${heapMB()}MB`);
}

async function main() {
  const big = path.join(__dirname, 'big.txt');
  await copyByReadFile(big, path.join(__dirname, 'copy1.bin'));
  await copyByStream(big, path.join(__dirname, 'copy2.bin'));
}

main();
// readFile 复制完成, 堆内存 3MB → 193MB     ← 文件多大，内存涨多少
// 流式复制完成,   堆内存 193MB → 194MB      ← 几乎不变