本文针对在使用 Map 函数和 Partial 方法结合 ThreadPoolExecutor 时，for 循环仅处理第一行数据的问题，进行了深入分析和问题定位。通过修改循环的迭代方式，从直接遍历 DataFrame 列改为使用 itertuples 方法迭代 DataFrame 行，从而有效地解决了该问题，并提供了相应的代码示例和注意事项。
在使用 Map 函数和 Partial 方法处理 DataFrame 数据时，如果结合 ThreadPoolExecutor 使用，可能会遇到 for 循环只处理 DataFrame 的第一行数据就停止的问题。这通常是由于在循环中不正确地访问 DataFrame 的数据导致的。下面我们将详细介绍如何解决这个问题。
问题分析
在使用 enumerate 迭代 DataFrame 的列时，实际上迭代的是 DataFrame 的列名，而不是 DataFrame 的行。因此，在循环体内部访问 DataFrame 的数据时，会出现索引错误，导致循环提前结束。
例如，以下代码：
def get_the_text(_df,_firms:list,_link_column:str): ''' 发送请求以接收文章文本 参数 ---------- _df : DataFrame 返回 ------- 包含文章文本的 DataFrame ''' _df.reset_index(inplace=True) print(_df) for k,link in enumerate(_df[[f'{_link_column}']]): print(k,'n',_df.loc[k,f'{_link_column}']) if link: website_text=list() # print(link,'n','K:',k) try: page_status_code,page_content,page_url = send_two_requests(_df.loc[k,f'{_link_column}']) ...... ..... ... .. .
在上述代码中，enumerate(_df[[f'{_link_column}’]]) 迭代的是 _df[[f'{_link_column}’]] 这个 DataFrame 的列名，而不是 DataFrame 的行数据。因此，在循环内部使用 _df.loc[k, f'{_link_column}’] 访问数据时，k 的值实际上是列名的索引，而不是行索引，从而导致访问错误。
解决方案
要解决这个问题，可以使用 itertuples 方法来迭代 DataFrame 的行。itertuples 方法会将 DataFrame 的每一行转换为一个 namedtuple 对象，可以通过属性名来访问每一列的数据。
修改后的代码如下：
def get_the_text(_df, _firms: list, _link_column: str): _df.reset_index(inplace=True) print(_df) for row in _df.itertuples(index=False): link = getattr(row, f'{_link_column}') print(link) if link: website_text = list() try: page_status_code, page_content, page_url = send_two_requests(link) # Your remaining code here... except Exception as e: print(f"Error processing link {link}: {e}")
在上述代码中，_df.itertuples(index=False) 会将 DataFrame 的每一行转换为一个 namedtuple 对象，index=False 表示不包含索引列。通过 getattr(row, f'{_link_column}’) 可以访问 row 对象中名为 _link_column 的属性，即链接地址。
代码示例
以下是一个完整的代码示例，演示了如何使用 itertuples 方法来解决 for 循环只处理 DataFrame 第一行数据的问题：
import pandas as pdfrom functools import partialfrom concurrent.futures import ThreadPoolExecutorimport requestsdef send_two_requests(url): """模拟发送请求，返回状态码、内容和 URL""" try: response = requests.get(url, timeout=5) response.raise_for_status() # 检查是否有 HTTP 错误 return response.status_code, response.text, response.url except requests.exceptions.RequestException as e: print(f"Request failed for {url}: {e}") return None, None, Nonedef get_the_text(_df, _firms: list, _link_column: str): """ 发送请求以接收文章文本 参数 ---------- _df : DataFrame 返回 ------- 包含文章文本的 DataFrame """ _df.reset_index(inplace=True) print(_df) for row in _df.itertuples(index=False): link = getattr(row, f'{_link_column}') print(link) if link: website_text = list() try: page_status_code, page_content, page_url = send_two_requests(link) # Your remaining code here... print(f"Status Code: {page_status_code}, URL: {page_url}") # 示例输出 except Exception as e: print(f"Error processing link {link}: {e}")# 示例数据data = { 'index': [1366, 4767, 6140, 11898], 'DATE': ['2014-01-12', '2014-01-12', '2014-01-12', '2014-01-12'], 'SOURCES': ['go.com', 'bloomberg.com', 'latimes.com', 'usatoday.com'], 'SOURCEURLS': [ 'http://abcnews.go.com/Business/wireStory/mercedes-recalls-372k-suvs-21445846', 'http://www.bloomberg.com/news/2014-01-12/vw-patent-application-shows-in-car-gas-heater.html', 'http://www.latimes.com/business/autos/la-fi-hy-autos-recall-mercedes-20140112-story.html', 'http://www.usatoday.com/story/money/cars/2014/01/12/mercedes-recall/4437279/' ], 'Tone': [-0.375235, -1.842752, 1.551724, 2.521008], 'Positive_Score': [2.626642, 1.228501, 3.275862, 3.361345], 'Negative_Score': [3.001876, 3.071253, 1.724138, 0.840336], 'Polarity': [5.628518, 4.299754, 5.0, 4.201681], 'Activity_Reference_Density': [22.326454, 18.918919, 22.931034, 19.327731], 'Self_Group_Reference_Density': [0.0, 0.0, 0.344828, 0.840336], 'Year': [2014, 2014, 2014, 2014], 'Month': [1, 1, 1, 1], 'Day': [12, 12, 12, 12], 'Hour': [0, 0, 0, 0], 'Minute': [0, 0, 0, 0], 'Second': [0, 0, 0, 0], 'Mentioned_firms': ['mercedes', 'vw', 'mercedes', 'mercedes'], 'text': ['', '', '', '']}# 创建 DataFramedf = pd.DataFrame(data)# 使用 ThreadPoolExecutor_link_column = 'SOURCEURLS'_firms = ['mercedes', 'vw']get_the_text_par = partial(get_the_text, _link_column=_link_column, _firms=_firms)with ThreadPoolExecutor() as executor: chunk_size = len(df) if len(df) < 10 else len(df) // 10 chunks = [df.iloc[i:i + chunk_size] for i in range(0, len(df), chunk_size)] result = list(executor.map(get_the_text_par, chunks))
注意事项:
确保安装 requests 库：pip install requests。示例中的 send_two_requests 函数仅为模拟，实际应用中需要根据具体情况实现。在处理网络请求时，需要考虑异常处理，例如超时、连接错误等。
总结
通过使用 itertuples 方法迭代 DataFrame 的行，可以有效地解决 for 循环只处理 DataFrame 第一行数据的问题。这种方法可以确保循环能够正确地访问 DataFrame 的每一行数据，从而实现预期的功能。同时，结合 ThreadPoolExecutor 可以提高数据处理的效率。在实际应用中，需要根据具体情况选择合适的迭代方式，并注意异常处理，以确保代码的稳定性和可靠性。
以上就是修复在使用 Map 和 Partial 方法后 For 循环的意外行为的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1371442.html
微信扫一扫 
支付宝扫一扫 
