内存占用

Python中bytes与str转换需指定编码，核心是decode()和encode()方法。常见错误为编码不匹配导致的UnicodeDecodeError和UnicodeEncodeError。网络传输和文件读写时必须明确编码，建议使用utf-8并显式声明。处理未知编码可借助chardet库或按优…

使用pandas的ExcelWriter可将多个DataFrame写入Excel不同Sheet，如df1.to_excel(writer, sheet_name=’Sheet1′)，df2写入Sheet2；处理大数据时需注意内存占用，可分块写入或改用openpyxl、xlsx…

Pandas中合并DataFrame主要用pd.merge()和pd.concat()，前者基于键进行类似SQL的连接操作，后者按行或列堆叠数据。merge()适用于有共同键的逻辑关联数据，支持inner、left、right、outer等连接方式；concat()用于结构相似的数据拼接，默认按行堆…

Python文件读写推荐使用with语句，因它能自动关闭文件、确保异常安全且代码更简洁；结合open()函数指定文件路径、模式和encoding参数可高效处理不同编码的文本，避免乱码与资源泄漏。 Python中处理文件读写，核心在于使用内置的 open() 函数来打开文件，然后通过返回的文件对象调用…

生成器是Python中实现内存高效和惰性计算的核心工具，通过yield实现按需生成数据，避免一次性加载大量数据到内存。它在处理大文件时优势显著，如逐行读取CSV文件，仅在需要时生成值，节省内存并提升性能。生成器还支持send()、throw()、close()等方法，可实现双向通信与异常控制，适用于…

生成器通过yield实现惰性计算，调用时返回生成器对象，迭代时逐个生成值并暂停执行，保留状态，按需计算，减少内存占用。 Python中的 yield 关键字，简单来说，它能把一个普通的函数变成一个“生成器函数”。这意味着这个函数不再是执行一次就返回一个结果，而是可以暂停执行，返回一个值，然后在需要的…

使用openpyxl可高效读写Excel文件，支持样式、日期处理及大型文件优化。首先通过pip install openpyxl安装库；创建文件时用Workbook()生成工作簿，通过sheet.append()或cell(row, col)写入数据，并调用save()保存；读取文件使用load_w…

分块读取是处理大型CSV文件的核心策略，通过pandas的chunksize参数将文件分割为小块迭代加载，避免内存溢出；结合dtype优化、usecols筛选列、增量聚合及分块写入文件或数据库，可显著降低%ignore_a_1%并提升处理效率。 处理大型CSV文件，尤其是在内存有限的环境下，Pyth…

最常用且高效的方法是使用set()进行去重，适用于元素可哈希且无需保留顺序的场景；若需保留原始顺序，推荐使用dict.fromkeys()（Python 3.7+），其兼具高效性与顺序保持能力；对于不可哈希元素（如列表、字典），则只能通过遍历并逐项比较的方式实现去重，虽性能较低但通用性强。这三种方法…

Python通过json模块实现JSON数据的序列化与反序列化，核心函数包括json.loads()、json.load()、json.dumps()和json.dump()，支持数据类型映射、文件读写及错误处理；对于大型JSON文件，推荐使用ijson库进行流式解析以降低内存占用；自定义对象可通过…