本文详细介绍了如何使用Python精确计算文件在Linux、Unix或macOS系统磁盘上的实际占用空间（Size on Disk），而非其逻辑大小。通过结合文件系统块大小和文件实际大小，我们提供了一个高效的Python函数及其性能优化版本，并探讨了其适用范围、局限性，以及文件系统对空文件空间分配的考量，旨在帮助开发者准确预估存储需求。
在文件系统操作中，我们经常会遇到“文件大小”（Size）和“磁盘占用大小”（Size on Disk）这两个概念。文件大小指的是文件内容的逻辑字节数，而磁盘占用大小则是文件实际在存储介质上所占用的物理空间。由于文件系统通常以固定大小的“块”（Block）或“簇”（Cluster）来分配空间，即使一个文件只有少量内容，它也至少会占用一个分配单元。对于需要精确预估存储空间，例如创建固定大小的磁盘镜像（如使用dd命令）或进行存储容量规划的场景，“磁盘占用大小”是更为关键的指标。本文将深入探讨如何使用Python在Linux、Unix或macOS系统上获取文件的实际磁盘占用大小。
理解“文件大小”与“磁盘占用大小”
文件系统将磁盘划分为许多固定大小的块。当一个文件被写入磁盘时，即使文件大小不是块大小的整数倍，它也会占用足够多的完整块来存储其所有数据。例如，在一个块大小为4KB的文件系统上，一个1KB的文件将占用4KB的磁盘空间，一个5KB的文件将占用8KB的磁盘空间（两个4KB的块）。因此，文件的逻辑大小（st_size）往往小于或等于其在磁盘上的实际占用大小。
获取文件在磁盘上的实际占用空间
Python标准库提供了os模块，可以用于与操作系统进行交互，包括获取文件和文件系统的信息。结合os.lstat()获取文件状态和os.statvfs()获取文件系统状态，我们可以计算出文件的实际磁盘占用空间。
立即学习“Python免费学习笔记（深入）”；
以下是一个基础的Python函数，用于计算常规文件的磁盘占用大小：
import osimport statdef size_on_disk(path: str) -> int: ''' 获取常规文件在磁盘上的实际占用空间（Size on Disk）。 参数: path (str): 文件的路径。 返回: int: 文件在磁盘上占用的字节数。 抛出: NotImplementedError: 如果路径指向的不是常规文件。 ''' st = os.lstat(path) # 获取文件状态 if not stat.S_ISREG(st.st_mode): raise NotImplementedError(f'路径 "{path}" 指向的不是常规文件，不支持计算。') st_vfs = os.statvfs(path) # 获取文件系统状态 block_size = st_vfs.f_frsize # 文件系统的基本分配单元大小（块大小） # 计算文件所需的块数 # divmod(a, b) 返回 (a // b, a % b) n_blocks, rem_bytes = divmod(st.st_size, block_size) # 如果有余数，说明需要额外一个块来存储剩余数据 if rem_bytes > 0: n_blocks += 1 return n_blocks * block_size# 示例用法if __name__ == '__main__': # 创建一个临时文件进行测试 test_file_path = "test_file.txt" with open(test_file_path, "w") as f: f.write("Hello, World!") # 13 bytes try: logical_size = os.path.getsize(test_file_path) disk_size = size_on_disk(test_file_path) print(f"文件: {test_file_path}") print(f"逻辑大小 (st_size): {logical_size} 字节") print(f"磁盘占用大小 (Size on Disk): {disk_size} 字节") # 再次创建一个大小刚好是块倍数的文件（假设块大小为4096） with open("test_file_4k.txt", "wb") as f: f.write(b' ' * 4096) logical_size_4k = os.path.getsize("test_file_4k.txt") disk_size_4k = size_on_disk("test_file_4k.txt") print(f"n文件: test_file_4k.txt") print(f"逻辑大小 (st_size): {logical_size_4k} 字节") print(f"磁盘占用大小 (Size on Disk): {disk_size_4k} 字节") except NotImplementedError as e: print(f"错误: {e}") finally: # 清理临时文件 if os.path.exists(test_file_path): os.remove(test_file_path) if os.path.exists("test_file_4k.txt"): os.remove("test_file_4k.txt")
函数解析：
os.lstat(path): 获取文件的状态信息。st.st_size 提供了文件的逻辑大小（以字节为单位），st.st_mode 包含了文件类型和权限信息。stat.S_ISREG(st.st_mode): 判断文件是否为常规文件。此函数设计仅针对常规文件，对于目录、符号链接等特殊文件类型会抛出 NotImplementedError。os.statvfs(path): 获取文件所在文件系统的状态信息。st_vfs.f_frsize 提供了文件系统分配的基本单元大小，即块大小（通常为4096字节）。计算逻辑:n_blocks, rem_bytes = divmod(st.st_size, block_size)：计算文件数据需要多少个完整块以及剩余的字节数。if rem_bytes > 0: n_blocks += 1：如果存在剩余字节，即使只剩一个字节，也需要额外分配一个完整的块来存储。return n_blocks * block_size：最终结果是所需块数乘以每个块的大小。
局限性
上述解决方案虽然有效，但存在一些重要的局限性：
仅限常规文件: 该函数明确设计用于处理常规文件。对于目录、符号链接、设备文件等特殊文件类型，它会抛出错误。若要计算目录的实际占用空间，需要递归遍历目录下的所有常规文件，并累加它们的磁盘占用大小。不包含元数据: 计算结果仅反映文件数据块的占用空间，不包括文件系统为存储文件元数据（如inode、文件名、权限等）所占用的空间。操作系统限制: os.statvfs() 函数在Windows系统上不可用。因此，此解决方案仅适用于Linux、Unix或macOS等类Unix操作系统。
性能优化：缓存文件系统信息
os.statvfs() 函数需要查询文件系统，这可能是一个相对耗时的操作。如果需要计算大量位于同一文件系统（即同一磁盘分区）上的文件的磁盘占用大小，重复调用 os.statvfs() 会导致性能下降。为了提高效率，我们可以缓存文件系统的块大小信息。
文件系统通过设备ID（st.st_dev）来区分。位于同一个设备ID下的所有文件都共享相同的文件系统属性，包括块大小。我们可以利用这一点，将 os.statvfs() 的结果缓存起来，避免重复查询。
import osimport stat# 全局缓存字典，用于存储文件系统的状态信息# 键为设备ID (st_dev)，值为文件系统状态对象 (statvfs_result)STATVFS_CACHE = {}def size_on_disk_cached(path: str) -> int: ''' 获取常规文件在磁盘上的实际占用空间（Size on Disk），并使用缓存优化性能。 参数: path (str): 文件的路径。 返回: int: 文件在磁盘上占用的字节数。 抛出: NotImplementedError: 如果路径指向的不是常规文件。 ''' st = os.lstat(path) if not stat.S_ISREG(st.st_mode): raise NotImplementedError(f'路径 "{path}" 指向的不是常规文件，不支持计算。') # 尝试从缓存中获取文件系统信息 # 如果缓存中没有，则调用 os.statvfs() 并存入缓存 st_vfs = STATVFS_CACHE.get(st.st_dev) if st_vfs is None: st_vfs = os.statvfs(path) STATVFS_CACHE[st.st_dev] = st_vfs block_size = st_vfs.f_frsize n_blocks, rem_bytes = divmod(st.st_size, block_size) if rem_bytes > 0: n_blocks += 1 return n_blocks * block_size# 示例用法 (与之前类似，但使用 size_on_disk_cached)if __name__ == '__main__': # 创建多个临时文件进行测试 test_files = { "test_file_1.txt": "Hello, World!", "test_file_2.txt": "This is a slightly longer string to test.", "test_file_3.txt": b' ' * 1024 # 1KB } for fname, content in test_files.items(): with open(fname, "wb" if isinstance(content, bytes) else "w") as f: f.write(content) try: print("使用缓存的 size_on_disk_cached 函数:") for fname, _ in test_files.items(): logical_size = os.path.getsize(fname) disk_size = size_on_disk_cached(fname) print(f"文件: {fname}, 逻辑大小: {logical_size} 字节, 磁盘占用: {disk_size} 字节") # 再次调用，此时文件系统信息应已缓存，速度更快 print("n再次调用 (应使用缓存):") for fname, _ in test_files.items(): logical_size = os.path.getsize(fname) disk_size = size_on_disk_cached(fname) print(f"文件: {fname}, 逻辑大小: {logical_size} 字节, 磁盘占用: {disk_size} 字节") except NotImplementedError as e: print(f"错误: {e}") finally: # 清理临时文件 for fname in test_files.keys(): if os.path.exists(fname): os.remove(fname)
通过引入 STATVFS_CACHE 全局字典，我们可以在第一次访问某个设备上的文件时获取并存储其文件系统信息。后续对同一设备上的文件进行查询时，可以直接从缓存中读取，从而显著提升性能。
注意事项：空文件与磁盘空间分配
值得注意的是，大多数文件系统在分配空间时，即使是空文件（st_size 为0），也可能会为其分配至少一个块 (f_frsize) 的空间，用于存储文件元数据（如inode）。然而，我们提供的函数是基于 st.st_size 进行计算的，如果 st.st_size 为0，则 n_blocks 将为0，最终计算出的磁盘占用大小也是0。
一些更智能的文件系统可能只在文件有实际内容时才分配数据块，而对于空文件，只占用inode本身的空间。但这种行为并非普遍，且 os.statvfs().f_frsize 通常指的是数据块大小，不直接反映inode的精确大小。因此，在极端精确的场景下，需要意识到这一点可能导致空文件的实际磁盘占用略大于或等于0，但本函数计算结果可能为0。在大多数实际应用中，这种差异通常可以忽略不计，因为主要关注的是有内容文件的空间分配。
总结
准确计算文件在磁盘上的实际占用空间对于存储管理和系统规划至关重要。本文提供的Python函数 size_on_disk 及其缓存优化版本 size_on_disk_cached，能够有效地在Linux、Unix或macOS系统上实现这一目标。开发者应充分理解其局限性，特别是它仅适用于常规文件且不包含元数据开销。对于需要处理目录的情况，则需要结合递归遍历和累加单个文件的磁盘占用大小来实现。通过这些工具和对文件系统行为的理解，开发者可以更精确地管理和预估存储资源。
以上就是使用Python计算文件在磁盘上的实际占用空间（Size on Disk）的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1378569.html
微信扫一扫 
支付宝扫一扫 
