本文旨在解决php脚本在循环检查多个远程文件链接时遇到的`err_connection_reset`问题。通过分析传统`get_headers`方法的局限性，我们提出并详细演示了如何利用php的curl多请求功能（`curl_multi_*`）实现高效、并行且健壮的链接状态检查，从而避免连接重置错误，并显著提升脚本性能。
在开发PHP脚本以检查远程服务器上文件的存在性时，开发者常会遇到一个常见但棘手的问题：当脚本尝试连续检查大量URL时，可能会收到ERR_CONNECTION_RESET错误，甚至导致后续无法通过浏览器访问这些链接。即使引入sleep()函数进行延迟，也往往无法彻底解决问题。这通常是由于服务器端的连接限制、防火墙规则或客户端在短时间内发起了过多同步请求，导致服务器主动断开连接。
get_headers()方法的局限性
原始问题中使用的get_headers()函数，虽然在检查单个URL时非常方便，但其本质是一个同步阻塞操作。这意味着每次请求都会等待服务器响应，然后才能发起下一个请求。当脚本在短时间内对同一服务器发起大量此类请求时，可能会触发以下问题：
服务器端限速或连接限制： 许多Web服务器或CDN服务会实施IP限速或并发连接数限制，以防止DDoS攻击或资源滥用。短时间内的大量同步请求很容易触及这些限制，导致服务器返回ERR_CONNECTION_RESET或直接拒绝连接。资源消耗： 每次get_headers()调用都会建立一个新的HTTP连接。频繁地建立和关闭连接会消耗服务器和客户端的资源。效率低下： 同步请求意味着脚本必须等待每个请求完成才能继续，这在处理大量URL时效率极低。即使添加sleep()延迟，也只是缓解了问题，并未从根本上解决同步阻塞的低效性。
解决方案：利用PHP cURL多请求并行处理
为了克服get_headers()的局限性，PHP的cURL扩展提供了一套强大的多请求（curl_multi_*）API，允许开发者并行处理多个HTTP请求。这种方式具有以下显著优势：
并行处理： 脚本可以同时发起多个请求，大大减少了总执行时间。资源优化： cURL多请求可以在一定程度上复用连接，减少了连接建立和关闭的开销。更强的控制力： 提供了丰富的选项来配置请求，例如超时、代理、HTTP头等。避免连接重置： 通过并行而非顺序地分散请求，可以更有效地管理与服务器的交互，降低触发服务器端限速的风险。
cURL多请求工作原理与实现
使用cURL多请求处理多个URL的基本步骤如下：
立即学习“PHP免费学习笔记（深入）”；
初始化多请求句柄： 使用curl_multi_init()创建一个cURL多请求句柄。创建并配置单个cURL句柄： 对于每个要检查的URL，使用curl_init()创建一个独立的cURL句柄，并使用curl_setopt()配置其行为。CURLOPT_URL：设置请求的URL。CURLOPT_FILETIME：获取远程文档的时间。CURLOPT_NOBODY：设置为true时，cURL将发送一个HEAD请求，只获取响应头，不下载实际内容。这对于检查文件存在性非常高效。CURLOPT_RETURNTRANSFER：设置为true时，cURL会将获取的响应作为字符串返回，而不是直接输出。CURLOPT_HEADER：设置为true时，响应中会包含HTTP头信息。将单个句柄添加到多请求句柄： 使用curl_multi_add_handle()将每个配置好的cURL句柄添加到多请求句柄中。并行执行请求： 使用一个循环和curl_multi_exec()函数来持续执行所有请求，直到所有请求都完成。curl_multi_exec()是非阻塞的，它会尽可能地执行当前可用的请求，并通过第二个参数$still_running指示是否还有请求正在进行。处理请求结果： 在所有请求完成后，遍历之前存储的单个cURL句柄数组。对于每个句柄，使用curl_getinfo()获取请求的详细信息，特别是HTTP状态码（CURLINFO_HTTP_CODE），以判断文件是否存在。资源清理： 使用curl_multi_remove_handle()从多请求句柄中移除单个cURL句柄，并使用curl_multi_close()关闭多请求句柄，释放资源。
示例代码
以下是使用cURL多请求并行检查多个文件URL的示例代码：
0; $x--) { // 构建文件URL $combinedUrl = 'http://update.example.com/Files/Updates/6.' . $revisionNumber . '.' . $minorNumber . '.' . $x . '/application7_' . $revisionNumber . '_' . $minorNumber . '_' . $x . '_de_FullInstallerx64.exe'; // 初始化单个cURL句柄 $curl = curl_init(); // 设置URL curl_setopt($curl, CURLOPT_URL, $combinedUrl); // 获取文件时间（可选） curl_setopt($curl, CURLOPT_FILETIME, true); // 只发送HEAD请求，不下载内容，高效检查文件存在性 curl_setopt($curl, CURLOPT_NOBODY, true); // 将响应作为字符串返回，而不是直接输出 curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); // 包含响应头信息 curl_setopt($curl, CURLOPT_HEADER, true); // 设置连接超时和请求超时，防止长时间等待 curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 5); // 连接超时5秒 curl_setopt($curl, CURLOPT_TIMEOUT, 10); // 总请求超时10秒 // 将单个cURL句柄添加到多请求句柄中 curl_multi_add_handle($multiCurl, $curl); // 存储句柄及其关联的build号，以便后续处理 $curlHandles[] = ['curl' => $curl, 'build' => $x]; } // 执行所有cURL请求直到完成 $stillRunning = null; do { // 循环执行cURL请求，直到所有请求都处理完毕 // curl_multi_exec是非阻塞的，会处理所有可用的请求 $mrc = curl_multi_exec($multiCurl, $stillRunning); } while ($stillRunning > 0 && $mrc == CURLM_OK); // 确保没有错误发生 // 遍历所有句柄，处理请求结果 foreach ($curlHandles as $item) { $curl = $item['curl']; $build = $item['build']; file_put_contents('log.txt', "Checking Build: " . $build . "n", FILE_APPEND); // 获取HTTP状态码 $httpCode = curl_getinfo($curl, CURLINFO_HTTP_CODE); // 获取实际请求的URL $effectiveUrl = curl_getinfo($curl, CURLINFO_EFFECTIVE_URL); if ($httpCode === 404) { // HTTP 404 Not Found 表示文件不存在 $exists = "no"; file_put_contents('log.txt', $effectiveUrl . " - " . "does not exist. n", FILE_APPEND); } else if ($httpCode >= 200 && $httpCode < 300) { // HTTP 2xx 状态码表示请求成功，文件存在 $exists = "yes"; file_put_contents('log.txt', $effectiveUrl . " - " . "exists. n", FILE_APPEND); } else { // 其他状态码，例如 5xx 服务器错误，或者连接失败等 $exists = "unknown"; file_put_contents('log.txt', $effectiveUrl . " - " . "status: " . $httpCode . " (could not verify existence). n", FILE_APPEND); } // 从多请求句柄中移除当前cURL句柄并关闭它 curl_multi_remove_handle($multiCurl, $curl); curl_close($curl); // 显式关闭单个cURL句柄 } // 关闭cURL多请求句柄 curl_multi_close($multiCurl);}// 调用函数执行检查// checkAllUrls(); // 在实际应用中调用此函数
注意事项与最佳实践
错误处理： 在实际应用中，除了检查HTTP状态码，还应该检查curl_multi_exec()和curl_getinfo()可能返回的错误码，以处理网络问题、DNS解析失败等情况。超时设置： CURLOPT_CONNECTTIMEOUT（连接超时）和CURLOPT_TIMEOUT（总请求超时）是关键选项，它们可以防止脚本因某个无响应的服务器而长时间阻塞。用户代理（User-Agent）： 某些服务器可能会根据User-Agent头进行过滤。设置一个合适的User-Agent（CURLOPT_USERAGENT）可以模拟浏览器行为，避免被服务器拒绝。并发数控制： 尽管cURL多请求支持并行，但同时发起的请求数量并非越多越好。过多的并发请求仍然可能对客户端和服务器造成压力。在处理数千甚至数万个URL时，可以考虑分批处理（例如，每次处理50或100个URL），以平衡效率和资源消耗。资源清理： 务必确保在所有操作完成后，使用curl_multi_remove_handle()移除每个句柄，并最终使用curl_multi_close()关闭多请求句柄，以释放系统资源。
总结
当PHP脚本需要高效、健壮地检查大量远程链接时，get_headers()等同步方法因其效率低下和容易触发服务器端限制而不再适用。通过采用PHP的cURL多请求机制，开发者可以实现请求的并行处理，显著提升脚本性能，有效避免ERR_CONNECTION_RESET等连接问题，并对请求过程拥有更细粒度的控制。理解并正确运用curl_multi_*函数是构建高性能网络请求处理脚本的关键。
以上就是PHP中高效并行检查多链接状态的教程的详细内容，更多请关注php中文网其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1339309.html
微信扫一扫 
支付宝扫一扫 
