在使用 Python 的 `requests-html` 库进行网页抓取时，仅设置 `Accept-Language` 请求头并不能保证服务器返回目标语言内容。本文将深入探讨 `Accept-Language` 的实际作用，并提供一套完整的解决方案，通过结合 `requests-html` 抓取数据和 `googletrans` 库进行实时翻译，从而有效处理多语言网站，确保获取并转换所需的英文文本内容。
理解 Accept-Language 请求头
在进行网页抓取时，开发者常会尝试通过设置 Accept-Language 请求头来指定希望获取的语言版本。例如，headers = {“Accept-Language”: “en”} 旨在告知服务器客户端偏好英文内容。然而，需要明确的是，Accept-Language 仅是一个偏好指示器，它通知服务器客户端首选的响应语言。服务器是否响应指定语言的内容，取决于其是否提供该语言版本以及其内部的内容协商机制。许多网站，特别是那些主要服务于特定地区或语言用户的网站，可能即使接收到 Accept-Language: en，仍然会默认返回其主要语言（如阿拉伯语、中文等）的内容，或者只翻译部分动态内容，而静态页面内容则保持不变。因此，单纯依赖此头部来获取翻译后的文本往往是无效的。
解决方案：抓取后进行内容翻译
鉴于 Accept-Language 的局限性，更可靠的方法是在抓取到原始语言内容后，利用翻译库对其进行处理。googletrans 是一个流行的 Python 库，它封装了 Google Translate API，可以方便地实现文本翻译功能。
1. 安装 googletrans 库
在使用 googletrans 之前，需要先将其安装到您的 Python 环境中。建议尝试安装最新的预发布版本，如果遇到问题，可以回退到稳定版本。
立即学习“Python免费学习笔记（深入）”；
# 安装最新预发布版本pip install googletrans==4.0.0-rc1# 如果最新版本出现问题，可以尝试卸载并安装稳定版本# pip uninstall googletrans==4.0.0-rc1# pip install googletrans==3.0.0
2. 使用 requests-html 抓取网页内容
首先，我们使用 requests-html 库发起请求并获取网页的 HTML 内容。为了确保能够利用 requests-html 的强大选择器功能（如 .html.find()），建议使用 HTMLSession 来发起请求。
import pandasfrom requests_html import HTMLSessionimport timeimport requestsfrom requests import getimport refrom googletrans import Translator # 导入 Translator 类# 目标 URLurl = 'https://pcpalace.com.sa/products/ASUS-Vivobook-GO-E1504GA'# 实例化 HTMLSessionsession = HTMLSession()# 发起请求，这里可以继续尝试设置 Accept-Language，但主要目的是获取原始HTMLheaders = {"Accept-Language": "en"}r = session.get(url, headers=headers) # 使用 session.get() 获取 HTMLResponse 对象r.raise_for_status() # 检查请求是否成功# 确保页面已渲染（如果页面有JS动态加载内容）# r.html.render() # 如果页面有JavaScript渲染内容，可能需要这行
3. 提取原始文本并进行翻译
获取到 HTMLResponse 对象 r 后，我们可以使用其 .html.find() 方法来定位页面上的特定元素，例如页面的
标签，然后提取其文本内容。随后，利用 googletrans.Translator 对提取到的文本进行翻译。</p>
<div class="code" style="position:relative;padding:0px;margin:0px">
<pre class="brush:php;toolbar:false;"># 实例化翻译器translator = Translator()# 使用 .html.find() 方法查找 title 元素# first=True 表示只返回第一个匹配的元素title_element = r.html.find('title', first=True)# 提取 title 元素的文本内容# 如果 title_element 不存在，则返回 'Title not found'original_title_text = title_element.text if title_element else 'Title not found'# 翻译原始标题文本到英文# dest='en' 指定目标语言为英文try: translated_title = translator.translate(original_title_text, dest='en').textexcept Exception as e: translated_title = f"Translation failed: {e}" print(f"Error during translation: {e}")print("Original Title: " + original_title_text)print("Translated Title: " + translated_title)# 示例：翻译其他元素，如一个产品名称（假设其CSS选择器为 '.product-name'）# product_name_element = r.html.find('.product-name', first=True)# if product_name_element:# original_product_name = product_name_element.text# translated_product_name = translator.translate(original_product_name, dest='en').text# print("Original Product Name: " + original_product_name)# print("Translated Product Name: " + translated_product_name)# else:# print("Product name element not found.")</pre>
<div class="contentsignin"></div>
</div>
<h4>完整示例代码</h4>
<p>将上述步骤整合，形成一个完整的脚本：</p>
<div class="code" style="position:relative;padding:0px;margin:0px">
<pre class="brush:php;toolbar:false;">import pandasfrom requests_html import HTMLSessionimport timeimport requestsfrom requests import getimport refrom googletrans import Translator# 目标 URLurl = 'https://pcpalace.com.sa/products/ASUS-Vivobook-GO-E1504GA'# 实例化 HTMLSessionsession = HTMLSession()# 设置请求头，Accept-Language 仅作为参考，实际翻译依赖 googletransheaders = {"Accept-Language": "en"}try: # 发起请求，获取 HTMLResponse 对象 r = session.get(url, headers=headers) r.raise_for_status() # 检查 HTTP 状态码，如果不是 200 则抛出异常 # 实例化翻译器 translator = Translator() # --- 提取并翻译页面标题 --- title_element = r.html.find('title', first=True) original_title_text = title_element.text if title_element else 'Title not found' try: translated_title = translator.translate(original_title_text, dest='en').text except Exception as e: translated_title = f"Translation failed: {e}" print(f"Error translating title: {e}") print("Original Title: " + original_title_text) print("Translated Title: " + translated_title) # --- 提取并翻译其他内容示例 --- # 假设页面上有一个产品名称的元素，其 CSS 类为 'product-name' # 请根据实际网页结构调整选择器 product_name_element = r.html.find('h1.product-title', first=True) # 示例选择器 if product_name_element: original_product_name = product_name_element.text try: translated_product_name = translator.translate(original_product_name, dest='en').text except Exception as e: translated_product_name = f"Translation failed: {e}" print(f"Error translating product name: {e}") print("Original Product Name: " + original_product_name) print("Translated Product Name: " + translated_product_name) else: print("Product name element not found (adjust selector if needed).")except requests.exceptions.RequestException as e: print(f"Request failed: {e}")except Exception as e: print(f"An unexpected error occurred: {e}")</pre>
<div class="contentsignin"></div>
</div>
<h4>注意事项与总结</h4>
<p><strong>选择器精确性：</strong> 示例代码中使用了 r.html.find(‘title’, first=True) 和 r.html.find(‘h1.product-title’, first=True) 来定位元素。在实际应用中，您需要根据目标网站的 HTML 结构，使用更精确的 CSS 选择器或 XPath 表达式来定位您想要提取的文本内容。避免使用 splitlines()[50] 这种脆弱的字符串分割方法，因为它极易因页面结构微小变动而失效。<strong>googletrans 版本：</strong> googletrans 库的版本兼容性有时会有问题。如果遇到 AttributeError 或其他错误，请尝试切换到不同的版本（如 4.0.0-rc1 或 3.0.0）。<strong>翻译限制与稳定性：</strong> googletrans 库是基于 Google Translate 的非官方 API。这意味着它可能存在请求频率限制、偶尔不稳定或翻译质量不尽如人意的情况。对于大规模、高频率的翻译需求，建议考虑使用官方付费的 Google Cloud Translation API 或其他商业翻译服务。<strong>错误处理：</strong> 在实际项目中，务必加入健壮的错误处理机制，例如 try-except 块，以应对网络请求失败、元素未找到或翻译服务异常等情况。</p>
<p>通过上述方法，您可以有效地解决 requests-html 爬取多语言网站内容的问题，确保即使服务器返回非英文内容，也能通过 googletrans 库将其转换为所需的英文文本。这种先抓取后翻译的策略，提供了更强的灵活性和可靠性。</p>
<p>
以上就是Python requests-html 多语言网页内容抓取与翻译实践的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382614.html
微信扫一扫 
支付宝扫一扫 
