存储库：https://github.com/ray-d-song/guesslang-js
演示：https://ray-d-song.github.io/guesslang-js/
最近在做一个叫EchoRSS的项目，有一个非常想要的功能，就是拦截订阅中的外部链接（阅读全文、引用等）并直接显示在当前页面上。
存在返回的HTML代码块丢失语言标注的问题（或者原代码块中的pre和code标签上没有标注语言），因此无法使用shiki或prism.js等工具进行高亮显示。
我找到了三种检测代码语言的解决方案：
1. 语言学家
这是一个部署在服务器上的Ruby项目，Github使用它来检测存储库的语言构成。如果你需要极高的精度并且可以在服务器上计算，这是最好的解决方案。
2. HLJS
highlight.js 是一个非常著名的网页代码高亮库，也是唯一提供自动代码检测的库。
原理很简单，就是枚举该语言的关键词，然后将它们与文本一一匹配，最后看哪一个匹配度最高。
hljs 有四个问题。
需要非常长的代码长度，大多数语言至少需要300个字符才能达到相对较好的准确性。检测语言的部分并不是一个单独的模块，而是与解析器和渲染器紧密耦合，而且代码也非常命令式，很难提取出有用的部分。如果不提取检测模块，在使用hljs高亮时，代码的原始格式（换行和缩进）将会丢失。需要大量正则匹配，性能较差，并且由于原因2，无法在Web Worker中运行。
3. 猜测
guesslang是一个基于tensorflow.js的机器学习项目。
微软在2021年将此项目移植到node.js，并在vscode中添加了自动语言检测功能。
三年前有个越南小伙hieplpvip也把这个项目移植到浏览器上，但是也存在三个问题：
内存泄漏，内存泄漏…仅支持标签引入umd格式，不支持esm，不支持bundle同样，由于原因2，它不支持Web Worker
这家伙还没有维护这个项目，三月份支持esm的壮举请求也没有得到回复。
于是我从hljs中提取了检测模块，并fork了guesslang-js来修复上述问题，最终guesslang获胜，结果是这样的：
https://github.com/ray-d-song/guesslang-js
我觉得说的太多了，也许以后有人需要，所以我就发一下。
如果有人了解tensorflow.js，希望能推荐一些学习资料，我想进一步修改为web gpu计算以提高效率。
以上就是如何检测浏览器中的代码语言的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1498871.html
微信扫一扫 
支付宝扫一扫 
