text/scanner是Go标准库的轻量级词法分析工具，用于分词处理；通过Init设置源文本，Scan逐个读取token，结合fset.Position获取位置信息，支持自定义错误回调和跳过空白与注释，适用于解析表达式、配置文件等场景。
在Go语言中，text/scanner 是标准库 go/scanner 提供的一个轻量级工具，用于对文本进行词法扫描（lexical scanning），适合编写简单的解析器、配置文件读取器或自定义脚本语言的前端处理。它不像完整的解析器生成器那样强大，但对于大多数需要逐词分析文本的场景已经足够高效且易于使用。
初始化 scanner 并设置源文本
要使用 text/scanner，先导入 "go/scanner" 包。虽然名字叫 “go/scanner”，但它可以用于任意文本扫描，不局限于 Go 代码。
创建一个 scanner.Scanner 实例，并通过 Init 方法传入一个 io.Reader 或字节切片作为输入源。
package mainimport ("fmt""strings""go/scanner""go/token")
func main() {src := "x := 42 + y"var s scanner.Scannerfset := token.NewFileSet() // 用于记录位置信息file := fset.AddFile("", fset.Base(), len(src)) // 创建文件对象s.Init(file, []byte(src), nil, 0)
for { tok := s.Scan() if tok == scanner.EOF { break } pos := fset.Position(s.Pos()) // 获取当前 token 的位置 fmt.Printf("%s: %sn", pos, scanner.TokenString(tok))}
}
输出示例：
立即学习“go语言免费学习笔记（深入）”；
1:1: IDENT1:3: DEFINE1:5: INT1:8: ADD1:10: IDENT
可以看到每个 token 的位置和类型被依次打印出来。
识别标识符与自定义处理
默认情况下，scanner 会将关键字、操作符、数字、字符串等识别为对应 token。如果想捕获标识符的具体内容，可以通过 s.TokenText() 获取原始文本。
for { tok := s.Scan() if tok == scanner.EOF { break } text := s.TokenText() switch tok { case scanner.IDENT: fmt.Printf("变量或关键字: %sn", text) case scanner.INT: fmt.Printf("整数: %sn", text) case '+', '-', '*', '/': fmt.Printf("运算符: %sn", text) default: fmt.Printf("其他: %sn", text) }}
这样可以根据 token 类型做进一步处理，比如构建抽象语法树的节点，或者执行简单计算逻辑。
处理错误与跳过空白字符
scanner 支持错误回调机制，在遇到非法字符时调用指定函数。同时可以通过设置 Mode 来控制哪些 token 被忽略（如空格、注释）。
例如，只关注标识符和数字，忽略空格和换行：
s.Init(file, []byte(src), func(pos token.Position, msg string) { fmt.Printf("扫描错误: %s: %sn", pos, msg)}, scanner.SkipComments)
常用 Mode 标志包括：
scanner.ScanComments：返回注释作为 tokenscanner.SkipComments：自动跳过注释scanner.GoTokens：仅识别 Go 语言关键字（可选）
实际应用场景举例：简易表达式解析
假设你要解析类似 a + b * 10 这样的算术表达式，可以用 scanner 拆分成 token 流，再配合简单的递归下降解析逻辑处理优先级。
扫描阶段只需完成“分词”任务：
tokens := []string{}for { tok := s.Scan() if tok == scanner.EOF { break } tokens = append(tokens, s.TokenText())}fmt.Println("Token 列表:", tokens) // 输出: [a + b * 10]
后续可用栈或优先级表法进行求值，而扫描部分由 text/scanner 稳定支持。
基本上就这些。对于大多数轻量级文本分析需求，text/scanner 提供了简洁高效的接口，无需引入复杂依赖即可实现可靠的词法分析功能。
以上就是Golang如何使用 text/scanner 解析文本_Golang text/scanner 文本扫描与分析的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1422944.html
微信扫一扫 
支付宝扫一扫 
