介绍
处理大量数据时，node.js 中使用流可以在性能和效率方面带来巨大的优势。流允许连续且分块地处理数据，从而避免将文件完全加载到内存中。本文探讨了使用流的好处，通过一个实际的例子来演示如何高效地转换大型文本文件。
什么是流？
streams 是 node.js 中的一个抽象，它允许分块处理数据，而不是一次将所有内容加载到内存中。 node.js 中有四种主要类型的流：
readable：我们可以从其中读取数据的流。可写：我们可以写入数据的流。duplex：可读可写的流。transform：可以在数据通过时修改或转换数据的流。
流的好处
1. 内存效率
使用流，数据以块的形式处理，这意味着您不需要将整个文件加载到内存中。这对于大文件至关重要，因为它可以避免内存问题并提高系统性能。
2. 实时数据处理
流允许连续的数据处理。例如，您可以在仍在接收下一组数据的同时开始处理前一组数据，从而缩短总处理时间。
3. 保持响应能力
通过不阻塞 node.js 事件循环，即使在 i/o 密集型操作期间，流也有助于保持应用程序的响应能力。
实际例子
生成测试文件
开始之前，让我们创建一个大文本文件进行测试。您可以使用以下python脚本生成10gb文件：
SpeakingPass-打造你的专属雅思口语语料
使用chatGPT帮你快速备考雅思口语，提升分数
25 查看详情
# generator.py# define o tamanho do arquivo em bytes (10gb)file_size = 10000 * 1024 * 1024 # 10 gb# linha que será escrita repetidas vezes no arquivoline = "this is a line of text to be transformed. adding more text to increase the size of each line.n"# calcula o número de linhas necessárias para preencher o arquivonum_lines = file_size // len(line)# cria e escreve o arquivofile_path = "large-input.txt"with open(file_path, "w") as file: for _ in range(num_lines): file.write(line)print(f"file created successfully at {file_path}")
要运行上述脚本，请将其保存为generator.py并使用以下命令运行：
python3 generator.py
使用流转换文件
这是node.js中的代码，将large-input.txt的内容转换为大写并将结果保存在large-output.txt中。它还显示每 10% 的进度和总处理时间。
// src/index.jsconst fs = require('fs');const { Transform } = require('stream');const { performance } = require('perf_hooks');// Caminho para o arquivo de entrada e saídaconst inputFile = 'large-input.txt';const outputFile = 'large-output.txt';// Cria um Readable Stream a partir do arquivo de entradaconst readableStream = fs.createReadStream(inputFile, { encoding: 'utf8' });// Cria um Writable Stream para o arquivo de saídaconst writableStream = fs.createWriteStream(outputFile);// Variáveis para rastreamento de progressolet totalSize = 0;let processedSize = 0;let lastLoggedProgress = 0;const startTime = performance.now();let processedLines = 0;fs.stat(inputFile, (err, stats) => { if (err) { console.error('Erro ao obter informações do arquivo:', err); return; } totalSize = stats.size; // Pipe o Readable Stream para o Transform Stream e depois para o Writable Stream readableStream .pipe( new Transform({ transform(chunk, encoding, callback) { processedSize += chunk.length; processedLines += chunk.toString().split('n').length - 1; // Converte o chunk de dados para letras maiúsculas const upperCaseChunk = chunk.toString().toUpperCase(); // Chama o callback com o chunk transformado callback(null, upperCaseChunk); // Log de progresso const progress = (processedSize / totalSize) * 100; if (progress >= lastLoggedProgress + 10) { console.log( `Progresso: ${Math.floor(progress)}%, Linhas processadas: ${processedLines}` ); lastLoggedProgress = Math.floor(progress); } }, }) ) .pipe(writableStream) .on('finish', () => { const endTime = performance.now(); const timeTaken = ((endTime - startTime) / 1000).toFixed(2); console.log('Transformação completa e arquivo salvo.'); console.log(`Total de linhas processadas: ${processedLines}`); console.log(`Tempo total: ${timeTaken} segundos`); }) .on('error', (err) => { console.error('Erro durante a transformação:', err); });});
这种方法的好处
内存效率：使用流可以处理大量数据，而无需将整个文件加载到内存中，避免内存溢出并提高性能。更好的性能：以连续块的方式处理数据可以让您立即开始处理，无需等待文件完全加载。实时反馈：实时进度显示，让处理进度一目了然，以便在必要时进行监控和快速干预。
结论
streams 是 node.js 中处理大量数据的强大工具。使用流，您可以高效地处理文件，保持应用程序响应并避免内存问题。上面的示例演示了如何使用流转换大型文本文件，显示过程的进度和总时间。
有关更多详细信息和访问完整代码，请访问我的 github 存储库。
以上就是在 Nodejs 中使用流的好处的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/471846.html
微信扫一扫 
支付宝扫一扫 
