本教程将指导您如何利用Whisper模型从音视频文件中提取转录文本，并将其输出为标准的SRT字幕格式，包含精确的时间戳。我们还将探讨如何进一步结合说话人分离技术（如PyAnnote）来为SRT字幕添加说话人标签，从而提升字幕的可用性和信息量。通过本文，您将掌握从基础字幕生成到高级说话人识别的完整流程。
一、理解SRT字幕格式
srt（subrip subtitle）是一种常见的字幕文件格式，它以纯文本形式存储，易于阅读和编辑。一个典型的srt条目由以下四部分组成：
序号： 字幕块的顺序编号。时间戳： 表示该字幕块在视频中显示和消失的时间，格式为 小时:分钟:秒,毫秒 –> 小时:分钟:秒,毫秒。字幕文本： 实际的对话或旁白内容。空行： 用于分隔不同的字幕块。
例如：
100:00:01,500 --> 00:00:04,250这是一段示例字幕。200:00:05,000 --> 00:00:07,800它展示了SRT的结构。
二、使用Whisper生成基础SRT字幕
Whisper模型在执行转录任务时，除了提供完整的文本内容，还会返回每个语音片段（segment）的起始和结束时间戳。这些信息是生成SRT字幕的关键。
2.1 核心原理
Whisper的transcribe方法返回的结果对象中包含一个segments列表。列表中的每个元素都是一个字典，通常包含’start’（起始时间，秒）、’end’（结束时间，秒）和’text’（对应片段的文本）。我们只需遍历这个列表，将每个片段的信息按照SRT的格式进行组织和写入文件即可。
2.2 代码实现
以下是在您原有代码基础上，修改为输出SRT文件的示例：
import osimport whisperfrom tqdm import tqdm# 辅助函数：将秒数转换为SRT所需的时间戳格式def format_timestamp(seconds): milliseconds = int((seconds - int(seconds)) * 1000) seconds = int(seconds) minutes = seconds // 60 hours = minutes // 60 seconds %= 60 minutes %= 60 return f"{hours:02d}:{minutes:02d}:{seconds:02d},{milliseconds:03d}"# 定义存放mp4文件的根目录# 注意：Windows路径建议使用原始字符串（r"C:Video"）或双反斜杠（"C:Video"）root_folder = r"C:Video" # 初始化Whisper模型print("正在加载Whisper模型...")model = whisper.load_model("base") # 可以根据需求选择更大的模型，如"small", "medium", "large"print("Whisper模型加载完成。")# 统计待处理的mp4文件数量print("正在统计待转录文件数量...")num_files = sum(1 for dirpath, dirnames, filenames in os.walk(root_folder) for filename in filenames if filename.endswith(".mp4"))print(f"待处理文件数量: {num_files}")# 遍历文件并转录，同时显示进度条with tqdm(total=num_files, desc="文件转录中") as pbar: for dirpath, dirnames, filenames in os.walk(root_folder): for filename in filenames: if filename.endswith(".mp4"): filepath = os.path.join(dirpath, filename) print(f"正在转录: {filepath}...") # 执行转录，verbose=False避免Whisper的详细输出干扰进度条 # fp16=False确保在CPU或不支持FP16的GPU上运行，或需要更高精度时使用 result = model.transcribe(filepath, fp16=False, verbose=False) # 构建SRT文件路径 filename_no_ext = os.path.splitext(filename)[0] srt_filepath = os.path.join(dirpath, filename_no_ext + '.srt') # 将转录结果写入SRT文件 with open(srt_filepath, 'w', encoding='utf-8') as f: for i, segment in enumerate(result['segments']): start_time = format_timestamp(segment['start']) end_time = format_timestamp(segment['end']) text = segment['text'].strip() # 清理文本两端的空白符 f.write(f"{i + 1}") # 写入序号 f.write(f"{start_time} --> {end_time}") # 写入时间戳 f.write(f"{text}") # 写入文本内容，并留一个空行分隔 print(f"SRT文件已保存至: {srt_filepath}") pbar.update(1) # 更新进度条
2.3 注意事项
模型选择： whisper.load_model(“base”) 是一个较小的模型，处理速度快但准确性相对较低。对于生产环境或对准确性要求高的场景，建议使用 small, medium, 甚至 large 模型以获得更好的效果。fp16参数： fp16=False 表示禁用半精度浮点计算。如果您的GPU支持FP16且希望提高计算速度，可以设置为True。在CPU上运行时，此参数通常没有影响。verbose参数： 在批量处理时，将verbose设置为False可以避免Whisper在控制台输出大量的转录详情，使进度条的显示更加清晰。编码： 写入SRT文件时，请务必指定encoding=’utf-8’，以确保正确处理各种语言字符。
三、进阶：结合说话人分离（Speaker Diarization）生成更丰富的SRT
在某些场景下，仅仅有带时间戳的字幕是不够的，我们可能还需要区分出不同的说话人。这就是说话人分离（Speaker Diarization）的任务，它旨在识别出音频中不同说话人的语音片段。
3.1 什么是说话人分离？
以上就是Whisper转录进阶：高效生成带时间戳的SRT字幕文件与说话人分离集成的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1374295.html
微信扫一扫 
支付宝扫一扫 
