本教程详细阐述了如何在JavaScript中实现一个健壮的文本分词器，尤其侧重于正确处理包含空格的带引号短语。通过引入有限状态机（FSM）的概念，我们将学习如何逐字符解析字符串，区分普通单词和引号内短语，并将其作为独立单元提取，从而克服传统split()方法在复杂场景下的局限性。
引言：传统分词的局限性
在javascript中，我们经常需要将一段文本拆分成独立的词语或短语。最常见的方法是使用string.prototype.split(‘ ‘)。然而，当遇到包含空格的带引号短语时，这种简单的方法便会失效。例如，对于输入字符串”on time” “flight”，我们期望将”on time”作为一个整体的短语，而”flight”作为一个单独的词。如果使用split(‘ ‘)，”on time”会被错误地拆分成”on和time”`，这显然不符合我们的预期。
传统的split()方法无法区分引号内外的空格，导致无法正确识别带引号的短语。为了解决这一问题，我们需要一种更智能的解析策略，即有限状态机（Finite-State Machine, FSM）。
核心策略：有限状态机 (FSM) 分词
有限状态机是一种抽象的计算模型，它在任何给定时间点都处于有限数量的状态之一。根据输入事件，FSM会从一个状态转换到另一个状态。在文本分词场景中，我们可以定义不同的“状态”来表示解析器当前正在处理的文本类型（例如，普通单词或引号内的短语），并根据遇到的字符进行状态转换。
状态定义
为了实现带引号短语的正确分词，我们至少需要两种核心状态：
word 状态：表示解析器当前正在处理一个普通的单词，该单词不被双引号包围。phrase 状态：表示解析器当前正在处理一个被双引号包围的短语。在此状态下，空格应被视为短语的一部分，而不是分隔符。
状态转换逻辑
解析器会逐字符遍历输入字符串，并根据当前字符和当前所处的状态来决定：
立即学习“Java免费学习笔记（深入）”；
是否将当前字符添加到正在构建的词语/短语中。是否完成当前词语/短语并将其添加到结果列表中。是否从一个状态切换到另一个状态。
JavaScript 实现与代码解析
下面是一个使用FSM原理实现的JavaScript函数，用于将字符串拆分为单词和带引号的短语：
function splitToWordsWithQuotes(str) { let mode = null; // null: 初始状态/空白区域, 'word': 正在构建单词, 'phrase': 正在构建短语 const words = []; // 存储最终分词结果的数组 let word = ''; // 临时变量，用于构建当前正在处理的词语或短语 // 辅助函数：完成当前词语/短语的构建，并将其添加到结果数组中 const completeWord = () => { if (word.length > 0) { // 只有当word不为空时才添加 words.push(word); } word = ''; // 重置临时变量 }; for (let i = 0; i < str.length; i++) { const c = str[i]; // 当前字符 if (mode === null) { // 初始状态或处于空白区域 if (c === ' ') { continue; // 跳过空格 } if (c === '"') { mode = 'phrase'; // 遇到双引号，进入短语模式 } else { word += c; // 遇到非空格非引号字符，开始构建单词 mode = 'word'; // 进入单词模式 } continue; } if (c === '"') { // 遇到双引号 completeWord(); // 完成当前词语或短语 // 切换模式：如果当前是单词模式，则下一个是短语模式（尽管这通常意味着一个新词的开始，且这里没有处理转义引号） // 如果当前是短语模式，则表示短语结束，回到等待新词的模式（null） mode = null; // 遇到结束引号后，回到初始/空白状态，等待下一个词或短语 continue; } if (c === ' ') { // 遇到空格 if (mode === 'phrase') { word += ' '; // 如果在短语模式，空格是短语的一部分 continue; } // 如果在单词模式，空格表示单词结束 completeWord(); mode = null; // 回到初始/空白状态 continue; } // 其他字符：添加到当前词语或短语中 word += c; } // 循环结束后，如果word中还有内容，需要完成最后的词语/短语 completeWord(); return words;}
代码解析：
mode 变量：这是状态机的核心。
null：表示当前解析器处于初始状态或正在跳过空格，等待新的词语或短语开始。’word’：表示正在收集一个普通单词的字符。’phrase’：表示正在收集一个带引号短语的字符。
words 数组和 word 变量：
words：存储所有已识别并完成的词语或短语。word：一个临时字符串，用于在当前状态下累积字符，直到一个词语或短语完成。
completeWord() 辅助函数：这个函数负责将当前word变量中的内容（如果非空）添加到words数组中，并清空word，为下一个词语或短语做准备。
字符遍历循环：
初始/空白状态 (mode === null)：遇到空格，直接跳过 (continue)。遇到双引号 (“)，表示一个短语开始，将mode设置为’phrase’。遇到其他字符，表示一个普通单词开始，将字符添加到word，并将mode设置为’word’。遇到双引号 (c === ‘”‘)：无论当前处于’word’还是’phrase’模式，遇到双引号都意味着当前词语/短语的结束。调用completeWord()。将mode重置为null，因为双引号通常是分隔符，之后需要重新判断下一个字符的类型。遇到空格 (c === ‘ ‘)：如果在’phrase’模式，空格是短语的一部分，直接添加到word中。如果在’word’模式，空格表示当前单词结束。调用completeWord()，并将mode重置为null。其他字符：无论处于’word’还是’phrase’模式，其他字符（非空格、非双引号）都是当前词语或短语的一部分，直接添加到word中。
循环结束后的处理：循环结束后，word中可能还残留着最后一个词语或短语的字符，因此需要再次调用completeWord()来确保所有内容都被处理。
运行示例与结果分析
让我们使用一些示例输入来测试这个FSM分词器：
const myStr = ' "hello guys", some words with "quotes inside"" some spaces inside " please keep quoted words as one "phrase / word" end-of-line ';const myWrongStr = '"hello guys", some words" with "quotes inside" please keep quoted words as one "phrase / word" ';console.log('--- 正常输入 ---');console.log('输入:', myStr);console.log('输出:', splitToWordsWithQuotes(myStr));// 预期输出: ["hello guys", "some", "words", "with", "quotes inside", "some", "spaces", "inside", "please keep quoted words as one", "phrase / word", "end-of-line"]console.log('n--- 包含未闭合引号的输入 ---');console.log('输入:', myWrongStr);console.log('输出:', splitToWordsWithQuotes(myWrongStr));// 预期输出: ["hello guys", "some", "words" with ", "quotes inside", "please keep quoted words as one", "phrase / word"]// 注意：未闭合的引号 "words" 被处理为 "words" with "，因为第二个引号被当作了短语的结束。
从示例中可以看出，splitToWordsWithQuotes 函数能够：
正确识别并提取带引号的短语，即使短语内部包含空格（如”hello guys”、”quotes inside”）。正确处理短语和单词之间的分隔（逗号、多个空格）。忽略字符串开头和结尾的空格。将普通单词正确地单独提取。
对于myWrongStr，它展示了当前FSM的一个特点：如果引号未正确闭合，它会继续将后续字符视为当前短语或单词的一部分，直到遇到下一个引号或分隔符。例如，some words” with 中的第二个引号被视为短语的结束，而不是一个未转义的引号字符。
注意事项与扩展
输出格式：当前FSM的输出是一个字符串数组，其中带引号的短语已经去除了原始的引号（例如，
以上就是JavaScript 中基于状态机的文本分词与带引号短语处理教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1518917.html
微信扫一扫 
支付宝扫一扫 
