本教程详细指导如何部署基于node.js和puppeteer的网络爬虫，并实现其自动化定时执行。文章区分了前端静态网站与后端node.js脚本的部署策略，重点介绍了在windows环境下使用任务计划程序（task scheduler）进行定时任务配置的方法，同时提及了cors问题产生的原因及解决方案，并提供了其他部署选项，确保爬虫数据能定期更新并服务于前端应用。
理解Node.js爬虫与前端应用的差异
在开始部署之前，首先需要明确您所构建的系统包含两个主要部分：
Node.js网络爬虫（index.js）：这是一个运行在Node.js运行时环境中的服务器端脚本。它使用Puppeteer库来模拟浏览器行为，访问特定网页抓取数据，并将数据保存为JSON文件。这类脚本不能直接在浏览器中运行，因为它依赖于Node.js特有的模块（如fs用于文件系统操作）和外部库（如puppeteer）。前端静态网站（HTML/CSS/JS）：这是一个传统的静态网页应用，它在用户的浏览器中运行。您的HTML页面中的JavaScript会读取由爬虫生成的JSON文件，进行数据处理和展示。
由于这两部分运行环境不同，它们的部署策略也需要分开考虑。
Node.js爬虫脚本分析
您提供的index.js代码片段展示了使用Puppeteer抓取三个不同网站数据的过程，并将结果分别保存到arreglo2.json、arreglo.json和cotacaoFechamento.json文件中。
const puppeteer = require('puppeteer');const fs = require('fs');// 抓取第一个数据源(async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto('https://br.advfn.com/investimentos/futuros/di-depositos-interfinanceiros/cotacoes', { waitUntil: 'load', timeout: 0 }); const textNode = await page.evaluate(() => { const nodeText = document.querySelector(".even.first").innerText; return [nodeText]; }); fs.writeFile('arreglo2.json', JSON.stringify(textNode), err => { if (err) throw new Error('algo deu errado'); console.log('deu certo'); }); await browser.close(); // 确保关闭浏览器实例})();// 抓取第二个数据源(async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto('https://br.tradingview.com/symbols/TVC-DXY/', { waitUntil: 'load', timeout: 0 }); const textNode = await page.evaluate(() => { const nodeText = document.querySelector(".js-quote-ticker.tv-site-table__row.tv-widget-watch-list__row:nth-child(2)").children[1].children[1].children[0].innerHTML; return [nodeText]; }); fs.writeFile('arreglo.json', JSON.stringify(textNode), err => { if (err) throw new Error('algo deu errado'); console.log('deu certo'); }); await browser.close(); // 确保关闭浏览器实例})();// 抓取第三个数据源(async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto('https://br.advfn.com/bolsa-de-valores/fx/USDBRL/cotacao', { waitUntil: 'load', timeout: 0 }); const textNode = await page.evaluate(() => { const nodeText = document.querySelector(".qs-current-price").innerText; return [nodeText]; }); fs.writeFile('cotacaoFechamento.json', JSON.stringify(textNode), err => { if (err) throw new Error('algo deu errado'); console.log('deu certo'); }); await browser.close(); // 确保关闭浏览器实例})();
注意事项：
浏览器实例管理： 在每个异步函数结束时，务必调用 await browser.close(); 来关闭Puppeteer启动的浏览器实例，以避免资源泄露。上述代码已在示例中补充。错误处理： 确保文件写入等操作有健壮的错误处理机制。路径： fs.writeFile 默认会将文件写入到执行脚本的当前工作目录。在部署时，需要确保脚本有写入该目录的权限。
自动化定时执行Node.js爬虫
为了实现每天早上8点自动运行index.js，我们需要利用操作系统的定时任务功能。
1. Windows系统：使用任务计划程序（Task Scheduler）
Windows任务计划程序是一个强大的工具，可以用来安排程序或脚本在特定时间自动运行。
配置步骤：
打开任务计划程序： 在Windows搜索栏中输入“任务计划程序”并打开。
创建基本任务： 在右侧“操作”面板中选择“创建基本任务…”。
任务名称和描述：
名称： 为任务指定一个有意义的名称，例如“每日爬虫数据更新”。描述： 简要说明任务目的。
触发器：
选择“每天”。设置开始日期和时间为第二天早上8:00 AM。确保“重复任务”设置为每天。
操作：
选择“启动程序”。程序或脚本： 填写您的Node.js可执行文件的完整路径。通常是 C:Program Filesnodejsnode.exe (如果Node.js安装在默认位置)。添加参数(可选)： 填写您的index.js脚本文件名，例如 index.js。起始于(可选)： 填写您的index.js脚本所在的目录的完整路径，例如 C:UsersYourUserYourProjectFolder。这是非常关键的一步，因为fs.writeFile会在这个目录下创建JSON文件，并且Node.js会在这个目录下查找index.js。
示例配置：
程序或脚本： C:Program Filesnodejsnode.exe添加参数(可选)： index.js起始于(可选)： C:pathtoyourproject (请替换为您的实际项目路径)
完成： 检查配置摘要，然后点击“完成”。
现在，您的Node.js爬虫将在每天早上8点自动运行。
2. Linux/macOS系统：使用Cron Jobs
如果您在Linux或macOS服务器上部署，可以使用cron来调度任务。
打开Crontab编辑器： 在终端中输入 crontab -e。
添加任务行： 在文件末尾添加一行，指定执行时间和命令。
0 8 * * * /usr/local/bin/node /path/to/your/project/index.js >> /path/to/your/project/cron.log 2>&1
0 8 * * *: 表示每天的8点0分执行。/usr/local/bin/node: Node.js可执行文件的完整路径（根据您的安装路径可能不同，可以通过 which node 命令查看）。/path/to/your/project/index.js: 您的index.js脚本的完整路径。>> /path/to/your/project/cron.log 2>&1: 将所有输出（包括错误）重定向到日志文件，便于调试。
部署前端静态网站
您的前端静态网站（HTML、CSS、处理JSON的JavaScript）可以像部署普通静态网站一样进行。
文件放置： 将所有静态文件（包括index.html、style.css、前端JavaScript文件以及由爬虫生成的arreglo.json、arreglo2.json、cotacaoFechamento.json等）放在同一个目录下。选择托管服务：本地服务器： 如果您希望在本地访问，可以使用XAMPP、Nginx、Apache或简单的Node.js静态文件服务器。确保JSON文件与HTML文件在同一个可访问的目录下。云托管： 对于线上部署，可以使用GitHub Pages、Netlify、Vercel、Amazon S3等静态网站托管服务。
重要提示： 确保前端JavaScript能够通过相对路径正确访问到爬虫生成的JSON文件。这意味着爬虫生成的JSON文件需要与前端HTML文件部署在同一个Web服务器的可访问路径下。
理解CORS问题
您提到在本地直接打开file://协议的HTML文件时遇到CORS（跨域资源共享）错误。这是因为：
浏览器安全策略： 现代浏览器出于安全考虑，会限制通过file://协议加载的页面访问本地文件系统中的其他资源，尤其是通过XMLHttpRequest或fetch等API。这被视为跨域请求，即使它们都在您的本地硬盘上。Web服务器的作用： 当您通过XAMPP等Web服务器访问时（例如http://localhost/your_project/index.html），浏览器认为所有资源都来自同一个“源”（http://localhost），因此不会触发CORS限制。
解决方案：
由于您的Node.js爬虫是服务器端脚本，它直接通过fs.writeFile操作本地文件系统，不涉及浏览器中的HTTP请求，因此不会遇到CORS问题。前端应用通过Web服务器访问这些JSON文件时，如果HTML和JSON文件都来自同一个源，也不会有CORS问题。
总结与高级部署选项
通过以上步骤，您可以在Windows系统上实现Node.js爬虫的自动化运行，并通过Web服务器提供数据给前端静态网站。
高级部署选项：
云函数（Serverless Functions）: AWS Lambda、Google Cloud Functions、Azure Functions等服务允许您部署Node.js函数，并配置定时触发器（例如每天早上8点），无需管理服务器。这是更现代且通常更具成本效益的解决方案。虚拟私有服务器（VPS）: 租用一台VPS（如AWS EC2、DigitalOcean Droplet），您可以在上面安装Node.js，并将爬虫部署上去。然后使用Linux的cron或Windows的Task Scheduler来定时执行。容器化（Docker）: 将您的Node.js爬虫打包成Docker容器，可以在任何支持Docker的环境中运行，并配合容器编排工具（如Kubernetes）进行调度。
选择哪种部署方式取决于您的需求、预算以及对服务器管理的熟悉程度。对于个人项目，Windows任务计划程序或Linux Cron是最直接且免费的解决方案。
以上就是Node.js Puppeteer爬虫的部署与自动化运行指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1599463.html
微信扫一扫 
支付宝扫一扫 
