答案：通过控制并发数的异步爬虫可避免服务器压力过大。使用async/await结合Promise实现并发池，限制同时请求的数量，完成一个再发起下一个；配合错误重试、随机延迟和User-Agent设置，提升稳定性；Node.js环境下推荐axios进行请求管理，确保爬虫高效且友好。
实现一个支持并发请求的简单爬虫程序，核心是使用 JavaScript 的异步能力（如 fetch 或 axios）结合控制并发数的机制，避免一次性发起太多请求导致目标服务器压力过大或被封禁。
1. 基本思路：控制并发请求数量
直接用 Promise.all 可能会同时发起所有请求，不适合大量目标。更好的方式是使用“并发池”策略：限制同时进行的请求数量，完成一个再加入下一个。
以下是一个基于 async/await 和 Promise 实现的并发控制示例：
立即学习“Java免费学习笔记（深入）”；
async function concurrentCrawler(urls, maxConcurrency = 5) { const results = []; let currentIndex = 0;async function fetchNext() {const index = currentIndex++;if (index >= urls.length) return null;
const url = urls[index];try { const response = await fetch(url, { timeout: 5000 // Node.js 需要额外处理超时，浏览器中可忽略 }); const html = await response.text(); results[index] = { url, success: true, data: html };} catch (error) { results[index] = { url, success: false, error: error.message };}// 继续下一个请求return fetchNext();
}
// 启动 maxConcurrency 个并发任务const activePromises = [];for (let i = 0; i
// 等待所有任务完成await Promise.all(activePromises);return results;}
2. 使用示例
假设你要抓取多个页面内容：
立即学习“Java免费学习笔记（深入）”；
const urls = [ 'https://httpbin.org/delay/1', 'https://httpbin.org/delay/2', 'https://httpbin.org/status/200', // 更多 URL...];concurrentCrawler(urls, 3).then(results => {results.forEach(r => {if (r.success) {console.log(
✅ ${r.url} - 获取成功，内容长度: ${r.data.length});} else {console.log(❌ ${r.url} - 失败: ${r.error});}});});
3. 注意事项与优化建议
实际使用中还需考虑以下几点：
请求头设置：添加 User-Agent，模拟正常浏览器行为，避免被拦截错误重试机制：对失败请求可增加重试次数延时控制：在每次请求后加随机延迟（如 await new Promise(r => setTimeout(r, Math.random() * 1000))），降低被封风险HTML 解析：在 Node.js 中可用 cheerio 解析 HTML 内容运行环境：浏览器端受限于 CORS，通常爬虫更适合在 Node.js 中运行（配合 axios 或 node-fetch）
4. Node.js 版本 + Axios 示例（推荐用于真实项目）
在 Node.js 中使用 axios 更灵活，支持超时、重试等配置：
立即学习“Java免费学习笔记（深入）”；
const axios = require('axios');async function nodeConcurrentCrawler(urls, maxConcurrency = 3) {const results = [];let currentIndex = 0;
const fetchUrl = async () => {while (currentIndex < urls.length) {const index = currentIndex++;const url = urls[index];
try { const response = await axios.get(url, { timeout: 8000, headers: { 'User-Agent': 'Mozilla/5.0 (compatible; Mini Crawler)' } }); results[index] = { url, success: true, status: response.status, data: response.data }; } catch (error) { results[index] = { url, success: false, error: error.message }; } // 每次请求后随机延迟 await new Promise(r => setTimeout(r, Math.random() * 1000));}
};
// 创建并发任务const promises = Array(maxConcurrency).fill().map(fetchUrl);await Promise.all(promises);return results;}
基本上就这些。通过控制并发数量 + 错误处理 + 请求间隔，就能写出一个简单但稳定的并发爬虫。关键是不要贪快，尊重服务器承载能力。
以上就是如何利用 JavaScript 实现一个支持并发请求的简单爬虫程序？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1524410.html
微信扫一扫 
支付宝扫一扫 
