答案：使用Go语言编写程序，通过bufio逐行读取大文件，结合正则提取单词并用map统计频率，最后按频次降序输出前20个单词。
要编写一个 Go 程序来高效计算大型文本文件中单词的出现频率，可以使用 bufio.Scanner 逐行读取文件，避免将整个文件加载到内存中。同时，使用正则表达式提取单词，并通过 map 统计频率。
完整代码示例
以下是一个完整的 Golang 程序，用于统计大型文本文件中单词的频率：
package main
import (
“bufio”
“fmt”
“io”
“os”
“regexp”
“strings”
)
// wordPattern 定义单词匹配的正则表达式（只保留字母和数字）
var wordPattern = regexp.MustCompile(`[a-zA-Z0-9]+`)
// countWords 读取文件并返回单词频率映射
func countWords(filename string) (map[string]int, error) {
file, err := os.Open(filename)
if err != nil {
return nil, err
}
defer file.Close()
wordCount := make(map[string]int)
scanner := bufio.NewScanner(file)
scanner.Buffer(nil, 64*1024*1024) // 设置大缓冲区以支持大行
for scanner.Scan() {
line := scanner.Text()
words := wordPattern.FindAllString(line, -1)
for _, word := range words {
word = strings.ToLower(word)
wordCount[word]++
}
}
if err := scanner.Err(); err != nil && err != io.EOF {
return nil, err
}
return wordCount, nil
}
func main() {
if len(os.Args) != 2 {
fmt.Println(“用法: go run wordfreq.go “)
os.Exit(1)
}
filename := os.Args[1]
wordCount, err := countWords(filename)
if err != nil {
fmt.Printf(“读取文件失败: %vn”, err)
os.Exit(1)
}
// 打印最常见的前20个单词
type kv struct {
Key string
Value int
}
var ss []kv
for k, v := range wordCount {
ss = append(ss, kv{k, v})
}
// 按频率降序排序
for i := 0; i for j := i + 1; j if ss[i].Value ss[i], ss[j] = ss[j], ss[i]
}
}
}
fmt.Println(“出现频率最高的前20个单词：”)
for i := 0; i fmt.Printf(“%s: %dn”, ss[i].Key, ss[i].Value)
}
}
程序特点说明
内存效率：使用 bufio.Scanner 逐行读取，适合处理 GB 级文本文件。
立即学习“go语言免费学习笔记（深入）”；
单词提取：正则表达式 [a-zA-Z0-9]+ 提取字母数字组合，忽略标点符号。
大小写不敏感：所有单词转为小写，确保 “The” 和 “the” 被视为同一个词。
错误处理：检查文件打开和读取过程中的错误，避免程序崩溃。
使用方法
将代码保存为 wordfreq.go，然后运行：
go run wordfreq.go largefile.txt
确保文件路径正确。程序会输出频率最高的前 20 个单词。
可选优化建议
若需更高性能，可考虑使用 goroutine 分块处理文件（需注意并发 map 写入），或使用 sort.Slice 替代手动排序。
基本上就这些。这个程序简洁、高效，适用于大多数大文本词频统计场景。
以上就是编写一个Golang程序来计算一个大型文本文件中单词出现的频率的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1404605.html
微信扫一扫 
支付宝扫一扫 
