Python requests_html 爬取多语言网站内容与翻译策略

pip install googletrans==4.0.0-rc1

pip uninstall googletrans==4.0.0-rc1 # 如果已安装 rc1，先卸载pip install googletrans==3.0.0

from googletrans import Translatordef translate_text(text, dest_lang='en', src_lang='auto'):    """    使用 Google Translate 翻译文本。    :param text: 要翻译的文本。    :param dest_lang: 目标语言代码（默认为 'en'）。    :param src_lang: 源语言代码（默认为 'auto'，自动检测）。    :return: 翻译后的文本，如果翻译失败则返回原始文本。    """    try:        translator = Translator()        translated = translator.translate(text, dest=dest_lang, src=src_lang)        return translated.text    except Exception as e:        print(f"翻译失败: {e}")        return text # 翻译失败时返回原始文本，避免程序中断

from requests_html import HTMLSessionfrom googletrans import Translatorimport requests # 导入 requests 库以保持与原始问题的兼容性，但更推荐使用 session.get# 辅助翻译函数（如上所示）def translate_text(text, dest_lang='en', src_lang='auto'):    try:        translator = Translator()        translated = translator.translate(text, dest=dest_lang, src=src_lang)        return translated.text    except Exception as e:        print(f"翻译失败: {e}")        return textdef scrape_and_translate(url):    # 尝试设置 Accept-Language，但认识到其局限性    headers = {"Accept-Language": "en"}    session = HTMLSession()    # 使用 requests_html 的 session.get 方法，它返回的 response 对象具有 .html 属性    try:        response = session.get(url, headers=headers)        response.raise_for_status() # 检查请求是否成功        # 尝试查找网页的