从UniProt数据库搜索结果中提取Entry ID的教程
如上文摘要所述，本文将指导读者如何从UniProt数据库的搜索结果页面中提取Entry ID。 许多现代网站，包括UniProt，使用JavaScript动态加载数据。这意味着你直接通过requests库获取的HTML内容可能不包含你想要抓取的信息，因为这些信息是在页面加载后通过JavaScript添加的。 因此，直接解析通过requests获取的HTML源代码可能无法找到目标数据。
问题分析
原始代码尝试使用requests和BeautifulSoup直接解析UniProt搜索结果页面的HTML。
import requestsfrom bs4 import BeautifulSoupurl = "https://www.uniprot.org/uniprotkb?query=wound+healing"res = requests.get(url)res.raise_for_status()soup = BeautifulSoup(res.text, "html.parser")links = soup.find_all("a", class_="BqBnJ")uniprot_ids = [link.get_text(strip=True) for link in links]for uniprot_id in uniprot_ids: print(uniprot_id)
这段代码的问题在于，UniProt网站使用JavaScript动态加载搜索结果。当你使用requests.get(url)时，你获取的是初始的HTML结构，其中不包含通过JavaScript加载的数据。因此，soup.find_all(“a”, class_=”BqBnJ”)返回的是一个空列表。
解决方案：模拟JavaScript请求
为了解决这个问题，我们需要找到UniProt网站用于加载数据的API端点，并使用requests库模拟这个请求。通过分析UniProt网站的网络请求，我们可以找到一个名为https://rest.uniprot.org/uniprotkb/search的API端点。
以下代码演示了如何使用这个API端点来获取Entry ID：
import requestsapi_url = "https://rest.uniprot.org/uniprotkb/search"params = { "fields": "accession,reviewed,id,protein_name,gene_names,organism_name,length", "query": "(wound healing)",}data = requests.get(api_url, params=params).json()for r in data["results"]: print(r["primaryAccession"])
代码解释：
api_url = “https://rest.uniprot.org/uniprotkb/search”: 定义了UniProt API的URL。params: 定义了请求参数。fields: 指定了要返回的字段，包括accession（Entry ID），reviewed，id，protein_name，gene_names，organism_name和length。query: 定义了搜索查询，这里是”(wound healing)”。data = requests.get(api_url, params=params).json(): 使用requests.get()方法发送GET请求，并将返回的JSON数据解析为Python字典。for r in data[“results”]:: 遍历结果列表。print(r[“primaryAccession”]): 打印每个结果的primaryAccession，即Entry ID。
模拟“下载”按钮并保存为JSON
如果你需要获取所有结果并将其保存为JSON格式，你可以使用以下代码，它模拟了UniProt网站上的“下载”按钮的功能：
import requestsapi_url = "https://rest.uniprot.org/uniprotkb/stream"params = { "compressed": "false", "download": "true", "format": "json", "query": "(wound healing)",}data = requests.get(api_url, params=params).json()# show all data:# print(data)for r in data["results"]: print(r["primaryAccession"])
代码解释：
api_url = “https://rest.uniprot.org/uniprotkb/stream”: 使用了不同的API端点，stream，用于下载数据。params: 定义了请求参数。compressed: 设置为”false”，表示不使用压缩。download: 设置为”true”，表示要下载数据。format: 设置为”json”，表示要以JSON格式下载数据。query: 定义了搜索查询，这里是”(wound healing)”。data = requests.get(api_url, params=params).json(): 使用requests.get()方法发送GET请求，并将返回的JSON数据解析为Python字典。# print(data): 取消注释此行可以打印所有下载的数据。for r in data[“results”]:: 遍历结果列表。print(r[“primaryAccession”]): 打印每个结果的primaryAccession，即Entry ID。
注意事项
API Rate Limiting: UniProt API可能有速率限制。如果你的请求过于频繁，可能会被限制访问。请确保你的代码在短时间内不会发送过多的请求。你可以通过查看API文档来了解速率限制的详细信息。Error Handling: 在实际应用中，你应该添加错误处理机制，例如使用try…except块来捕获requests.exceptions.RequestException异常，以便在请求失败时进行适当的处理。User-Agent: 建议在请求头中设置User-Agent，以便让服务器知道你的请求来自哪个应用程序。这可以帮助服务器更好地了解你的使用情况，并可能避免被误认为是恶意机器人。
总结
本教程展示了如何从UniProt数据库的搜索结果页面中提取Entry ID，并避免了直接解析HTML的问题。通过模拟JavaScript请求，我们可以更高效、更准确地获取所需的数据。同时，我们还演示了如何模拟“下载”按钮，将所有结果保存为JSON格式。希望本教程能够帮助你更好地理解和应用网络数据抓取技术。
以上就是从UniProt数据库搜索结果中提取Entry ID的教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1369093.html
微信扫一扫 
支付宝扫一扫 
