LIC2022-知识对话任务基线系统

该教程介绍使用基于PaddlePaddle 2.2的Knover框架,在LIC2022多技能对话比赛数据集上训练和测试的流程。包括配置环境(获取代码、设Python路径等)、准备数据(预处理)、下载预训练及微调模型,还有模型训练、预测的命令及GPU配置,以及评估需提交预测结果到官网等内容,可助参赛者快速跑通流程。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

lic2022-知识对话任务基线系统 - 创想鸟

LIC2022: 知识对话baseline

本教程介绍使用基于paddlepaddle2.2的大规模对话预训练框架Knover,及其提供的预训练模型,在”LIC2022多技能对话”比赛数据集上训练和测试。

赛题介绍直播回顾:

0. 配置环境

获取github代码:

git clone -b dygraph https://github.com/PaddlePaddle/Knover

设置Python环境

export PYTHONPATH=/home/aistudio/work/Knover:$PYTHONPATH

基线模型需要的配置路径为:

projects/lic2022

创建数据和模型存在的目录,本教程中默认训练和预测使用的数据和模型均存放以下目录:

mkdir -p projects/lic2022/model_zoomkdir -p projects/lic2022/preprocess_data

1. 准备数据

模型训练和预测之前,都需要准备好所需的数据。首先,将比赛官网获取的数据放到当前环境中,具体目录可自行选择。数据获取可通过2022语言与智能技术竞赛:知识对话获取。

# 运行数据预处理脚本,将原始数据处理为Knover训练、预测所需格式python ./tools/data_preprocess.py

2. 下载模型

本基线提供”大规模数据预训练模型”和”对话比赛数据微调模型”两个模型。

大规模数据预训练模型:采用包含20M对话session/60M对话utterance的大规模中文对话数据训练得到对话比赛数据微调模型:上述预训练模型,继续在LIC2022知识对话比赛的对话数据上进行微调得到,包括Query生成与对话生成两个

模型下载方式如下:

知我AI·PC客户端 知我AI·PC客户端

离线运行 AI 大模型,构建你的私有个人知识库,对话式提取文件知识,保证个人文件数据安全

知我AI·PC客户端 0 查看详情 知我AI·PC客户端

# 大规模数据预训练模型wget "https://dialogue.bj.bcebos.com/Knover/projects/lic2022/12L.pretrain.pdparams"# 对话比赛数据微调模型# Query生成wget "https://dialogue.bj.bcebos.com/Knover/projects/lic2022/query_finetune.pdparams"# 对话生成wget "https://dialogue.bj.bcebos.com/Knover/projects/lic2022/dial_finetune.pdparams"

将上述模型保存在./projects/lic2022/model_zoo/目录下(也可以放在其它目录下),并在模型训练和测试的时候,保证模型路径与config目录下配置文件中,对应模型配置路径一致(必须).

3. 模型训练

模型训练命令如下:

# 模型训练,一定要确保GPU环境和模型参数配置正确,具体见下文示例# Query生成 训练./scripts/local/job.sh ./projects/lic2022/conf/query_train.conf# 对话生成 训练./scripts/local/job.sh ./projects/lic2022/conf/dial_train.conf

训练之前,检查启动脚本与配置文件,确保配置正确:

配置GPU,位置:./scripts/local/job.sh

# 单GPU卡训练,以使用0号GPU卡为例export CUDA_VISIBLE_DEVICES=0# 多GPU卡训练,以使用0,1号GPU卡为例export CUDA_VISIBLE_DEVICES=0,1

4. 模型预测

模型预测命令如下:

# 模型预测,一定要确保GPU环境和模型参数配置正确,具体见下文示例# Query生成预测./scripts/local/job.sh ./projects/lic2022/conf/query_infer.conf#对话生成预测./scripts/local/job.sh ./projects/lic2022/conf/dial_infer.conf

预测之前,检查启动脚本与配置文件,确保配置正确:

配置GPU,位置:./scripts/local/job.sh

# 单GPU卡训练,以使用0号GPU卡为例export CUDA_VISIBLE_DEVICES=0# 多GPU卡训练,以使用0,1号GPU卡为例export CUDA_VISIBLE_DEVICES=0,1

5. 模型评估

模型评估需要将预测结果提交到官网进行评测:

Query生成预测结果与对话生成预测结果拼接为一个文本,提交到官网评估,可参考数据集中的submit_file.txt

6. 其它

本教程提供了”大规模数据预训练模型”和”对话比赛数据微调模型”两个模型,可作为一个基础baseline,帮助参赛者快速跑通整个参赛流程。 参赛者可以针对赛题进行其他改进,例如修改数据预处理方法,修改网络结构,修改训练方式,修改预测结果的后处理等。

In [ ]


以上就是LIC2022-知识对话任务基线系统的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/318898.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
如何验证下载的Windows安装ISO镜像的完整性
上一篇 2026年11月1日 02:07:04
mysql在电商系统中如何设计订单表
下一篇 2025年11月24日 12:42:56

相关推荐

  • composer self-update命令详解与版本回滚

    composer self-update命令详解与版本回滚composer self-update命令详解与版本回滚composer self-update命令详解与版本回滚composer self-update命令详解与版本回滚

    composer self-update 用于更新 Composer 自身到最新稳定版本,支持指定版本切换及回滚;2. 可通过 composer self-update 版本号 回退或升级到特定版本,确保团队环境一致;3. 建议查看 GitHub Releases 确认历史版本,避免兼容性问题;4.…

    2026年11月1日 • 用户投稿
    1600
  • 论文复现: DSIN-阿里点击率预测三部曲-3

    论文复现: DSIN-阿里点击率预测三部曲-3论文复现: DSIN-阿里点击率预测三部曲-3论文复现: DSIN-阿里点击率预测三部曲-3论文复现: DSIN-阿里点击率预测三部曲-3

    本文介绍了基于PaddlePaddle复现Deep Session Interest Network(DSIN)用于点击率预测的项目。项目使用阿里Ali_Display_Ad_Click数据集,将用户历史交互数据划分为会话建模兴趣。复现的DSIN模型测试AUC达0.6356,详述了数据集预处理、模型…

    2026年11月1日 • 用户投稿
    000
  • 『2022语言与智能技术竞赛』段落检索比赛基线

    『2022语言与智能技术竞赛』段落检索比赛基线『2022语言与智能技术竞赛』段落检索比赛基线『2022语言与智能技术竞赛』段落检索比赛基线『2022语言与智能技术竞赛』段落检索比赛基线

    段落检索(passage retrieval)是指从大规模语料库中找出和用户查询最相关段落的过程。段落检索作为许多自然语言处理任务中的关键组件,是自然语言处理和人工智能领域的重要前沿课题,近年来受到了学术界和工业界的广泛关注。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 D…

    2026年11月1日 • 用户投稿
    100
  • GitHub无构建文件Java项目的手动编译与打包策略

    当GitHub上的Java项目缺乏标准构建脚本(如Maven或Gradle)时,编译和打包为JAR文件会变得复杂。本文旨在提供一套处理此类项目的策略,包括优先联系原开发者、以及在必要时进行手动编译和打包的详细步骤,同时强调依赖管理和潜在挑战。 1. 理解无构建脚本的挑战 java项目通常依赖于构建工…

    2026年11月1日
    100
  • 轻松上手安全帽检测

    轻松上手安全帽检测轻松上手安全帽检测轻松上手安全帽检测轻松上手安全帽检测

    及时排查安全帽佩戴的规范性并给予提醒,可以大大降低施工安全隐患。通过使用PaddleX中目标检测算法PP-YOLOV2进行视频分析,监控安全帽佩戴,可以提升施工安全系数,辅助实现施工现场智能化建设。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜…

    2026年11月1日 • 用户投稿
    200
  • 苹果史上最薄手机 产品经理朱海舟谈iPhone Air:旦用难回

    苹果史上最薄手机 产品经理朱海舟谈iPhone Air:旦用难回苹果史上最薄手机 产品经理朱海舟谈iPhone Air:旦用难回苹果史上最薄手机 产品经理朱海舟谈iPhone Air:旦用难回苹果史上最薄手机 产品经理朱海舟谈iPhone Air:旦用难回

    10月30日,产品经理朱海舟发文称,iphone air一旦使用便难以割舍,这款手机在一天中90%的时间都保持着极致轻薄,而其他手机则始终厚重。 他表示,iPhone Air在日常使用下可坚持一整天,重度使用也能撑过大半天,配合超薄移动电源,即便只补充40%电量,也足以满足全天甚至更长时间的使用需求…

    2026年11月1日 • 用户投稿
    000
  • 【官方】十分钟掌握PaddleOCR文字检测使用

    【官方】十分钟掌握PaddleOCR文字检测使用【官方】十分钟掌握PaddleOCR文字检测使用【官方】十分钟掌握PaddleOCR文字检测使用【官方】十分钟掌握PaddleOCR文字检测使用

    PaddleOCR是百度开源的超轻量级OCR模型库,提供了数十种文本检测、识别模型,旨在打造一套丰富、领先、实用的文字检测、识别模型/工具库,助力使用者训练出更好的模型,并应用落地。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ PP-OC…

    2026年11月1日 • 用户投稿
    000
  • 中国造的日系车返销日本!东风日产N7东京车展完成海外首秀

    中国造的日系车返销日本!东风日产N7东京车展完成海外首秀中国造的日系车返销日本!东风日产N7东京车展完成海外首秀中国造的日系车返销日本!东风日产N7东京车展完成海外首秀中国造的日系车返销日本!东风日产N7东京车展完成海外首秀

    10月29日,东风日产销售公司新能源品牌总经理王骞在社交平台透露,东风日产n7于今日在日本移动出行展(即东京车展)完成海外首次亮相。 从现场图片可见,众多日本媒体及汽车爱好者聚集在展台前,对这款全新车型表现出浓厚兴趣。 值得注意的是,与传统日产车型不同,N7是东风日产作为合资企业,在中国本土主导开发…

    2026年11月1日 • 用户投稿
    100
  • 【论文复现赛第六期】PSANet(含自定义C++外部算子调试经验)

    【论文复现赛第六期】PSANet(含自定义C++外部算子调试经验)【论文复现赛第六期】PSANet(含自定义C++外部算子调试经验)【论文复现赛第六期】PSANet(含自定义C++外部算子调试经验)【论文复现赛第六期】PSANet(含自定义C++外部算子调试经验)

    在卷积神经网络中,卷积滤波器的设计使得信息流被限制在局部区域,从而限制了网络对复杂场景的理解。PSANet提出使用PSA(point-wise spatial attention)来解决局部区域限制的问题。通过PSA模块,每个位置的像素都可以和其他位置的像素建立联系。 ☞☞☞AI 智能聊天, 问答助…

    2026年11月1日 • 用户投稿
    000
  • qq邮箱的SSL加密怎么开启_QQ邮箱SSL安全加密设置方法

    qq邮箱的SSL加密怎么开启_QQ邮箱SSL安全加密设置方法qq邮箱的SSL加密怎么开启_QQ邮箱SSL安全加密设置方法qq邮箱的SSL加密怎么开启_QQ邮箱SSL安全加密设置方法qq邮箱的SSL加密怎么开启_QQ邮箱SSL安全加密设置方法

    首先确认已开启QQ邮箱的IMAP/SMTP服务,获取服务器地址(imap.qq.com:993,smtp.qq.com:465)并启用SSL加密;在邮件客户端中手动添加账户,选择SSL模式,使用生成的16位授权码代替密码完成配置,确保收发邮件正常。 如果您尝试在邮件客户端中配置QQ邮箱,但无法成功收…

    2026年11月1日 • 用户投稿
    000
  • 电脑组装预算规划:性价比配置方案推荐

    电脑组装预算规划:性价比配置方案推荐电脑组装预算规划:性价比配置方案推荐电脑组装预算规划:性价比配置方案推荐电脑组装预算规划:性价比配置方案推荐

    答案:2025年下半年装机推荐分三档,3000-5000元选R5 5600或i3-13100F配独显,6000-8000元用R5 7500F+RTX 4060 Ti/7700 XT实现2K流畅,10000元以上选Zen5/i5-14600KF+RTX 4070 Super/RX 9070 XT打造4…

    2026年11月1日 • 用户投稿
    000
  • composer和PEAR有什么本质区别_解析composer与PEAR在依赖管理上的区别

    composer和PEAR有什么本质区别_解析composer与PEAR在依赖管理上的区别composer和PEAR有什么本质区别_解析composer与PEAR在依赖管理上的区别composer和PEAR有什么本质区别_解析composer与PEAR在依赖管理上的区别composer和PEAR有什么本质区别_解析composer与PEAR在依赖管理上的区别

    Composer采用先进依赖解析算法,支持语义化版本与锁定文件,实现项目级隔离和自动加载;PEAR依赖手动管理,全局安装易冲突,生态停滞,现代PHP开发推荐Composer。 Composer 和 PEAR 都是 PHP 的包管理工具,但它们在设计理念、依赖管理和实际使用上存在本质区别。尤其是在依赖…

    2026年11月1日 • 用户投稿
    000
  • composer怎么给私有包添加GPG签名_说明如何为私有依赖添加GPG签名

    composer怎么给私有包添加GPG签名_说明如何为私有依赖添加GPG签名composer怎么给私有包添加GPG签名_说明如何为私有依赖添加GPG签名composer怎么给私有包添加GPG签名_说明如何为私有依赖添加GPG签名composer怎么给私有包添加GPG签名_说明如何为私有依赖添加GPG签名

    通过Git的GPG签名机制可实现Composer私有包的安全验证。1. 生成GPG密钥并上传公钥至Git平台;2. 使用git tag -s对发布标签签名并推送;3. 在composer.json中配置VCS仓库,指定依赖为已签名标签版本;4. CI/CD中执行git verify-tag验证标签签…

    2026年11月1日 • 用户投稿
    000
  • 163邮箱登录入口官方网 163邮箱官方网站入口

    163邮箱登录入口官方网 163邮箱官方网站入口163邮箱登录入口官方网 163邮箱官方网站入口163邮箱登录入口官方网 163邮箱官方网站入口163邮箱登录入口官方网 163邮箱官方网站入口

    163邮箱登录入口官网是https://mail.163.com/,提供多端同步、高效管理、安全通信服务,支持智能分类、全文搜索、加密传输和二次验证等功能。 163邮箱登录入口官方网在哪里?这是不少网友都关注的,接下来由PHP小编为大家带来163邮箱官方网站入口,感兴趣的网友一起随小编来瞧瞧吧! h…

    2026年11月1日 • 用户投稿
    100
  • 豪华班底!《楼兰:诅咒之沙》由前圣莫尼卡、FS及白金精英打造

    豪华班底!《楼兰:诅咒之沙》由前圣莫尼卡、FS及白金精英打造豪华班底!《楼兰:诅咒之沙》由前圣莫尼卡、FS及白金精英打造豪华班底!《楼兰:诅咒之沙》由前圣莫尼卡、FS及白金精英打造豪华班底!《楼兰:诅咒之沙》由前圣莫尼卡、FS及白金精英打造

    国产动作角色扮演游戏(arpg)《楼兰:诅咒之沙》近日首次发布了预告片,凭借其精美的视觉风格与别具一格的西域题材迅速引发玩家热议。 紧接着,PlayStation官方博客揭晓了这款游戏背后的开发团队信息——其核心成员曾就职于索尼圣莫尼卡(Santa Monica Studio)、FromSoftwa…

    2026年11月1日 • 用户投稿
    100
  • 电脑格式化C盘后无法安装系统

    电脑格式化C盘后无法安装系统电脑格式化C盘后无法安装系统电脑格式化C盘后无法安装系统电脑格式化C盘后无法安装系统

    答案是电脑格式化C盘后无法安装系统通常因启动模式不匹配、安装介质错误或硬盘分区问题导致。需确保BIOS中UEFI/Legacy模式与U盘一致,使用官方工具重新制作启动盘,并在安装时删除所有分区转为未分配空间,让系统自动重建分区结构,同时确认硬盘模式为AHCI且驱动兼容。 电脑格式化C盘后无法安装系统…

    2026年11月1日 • 用户投稿
    000
  • composer archive命令怎么打包项目_讲解composer archive命令打包PHP项目的方法

    composer archive命令怎么打包项目_讲解composer archive命令打包PHP项目的方法composer archive命令怎么打包项目_讲解composer archive命令打包PHP项目的方法composer archive命令怎么打包项目_讲解composer archive命令打包PHP项目的方法composer archive命令怎么打包项目_讲解composer archive命令打包PHP项目的方法

    composer archive命令用于打包PHP项目,生成zip或tar格式的归档文件,默认排除.gitignore中定义的文件及VCS目录;通过指定包名、版本、格式和输出目录可自定义打包行为,支持在composer.json中配置exclude规则以忽略特定路径,常用于发布版本或部署项目。 Co…

    2026年10月31日 • 用户投稿
    000
  • 微软财报透露:OpenAI 在上季度亏损高达 115 亿美元

    微软财报透露:OpenAI 在上季度亏损高达 115 亿美元微软财报透露:OpenAI 在上季度亏损高达 115 亿美元微软财报透露:OpenAI 在上季度亏损高达 115 亿美元微软财报透露:OpenAI 在上季度亏损高达 115 亿美元

    根据微软最新发布的财报,OpenAI在截至9月30日的财季中可能录得约115亿美元的净亏损。这一数据源自微软向美国证券交易委员会提交的文件,其中明确指出公司采用了权益法核算对OpenAI的投资,使得后者的财务表现直接反映在微软的账目上。 财报第9页显示,受此影响,微软当季净收入减少了31亿美元。基于…

    2026年10月31日 • 用户投稿
    100
  • 散热风扇的寿命指标在评测中该如何评估?

    评估散热风扇寿命需综合轴承类型、MTTF/MTBF数据真实性、实际工况测试及做工品质。首先,轴承决定基础寿命:含油轴承成本低但寿命短(2-3万小时),易受安装方向影响;滚珠轴承寿命更长(5-10万小时),耐高温且方向无限制,但噪音略高;FDB流体动压轴承性能最优,寿命可达15万小时以上,运行安静平稳…

    2026年10月31日
    400
  • Pocketpair正式宣布旗下第五款发行游戏《卡带小子》!展开一段神秘的解谜冒险!

    Pocketpair正式宣布旗下第五款发行游戏《卡带小子》!展开一段神秘的解谜冒险!Pocketpair正式宣布旗下第五款发行游戏《卡带小子》!展开一段神秘的解谜冒险!Pocketpair正式宣布旗下第五款发行游戏《卡带小子》!展开一段神秘的解谜冒险!Pocketpair正式宣布旗下第五款发行游戏《卡带小子》!展开一段神秘的解谜冒险!

    pocketpair公司(总部位于日本东京都品川区,ceo:溝部拓郎)旗下发行品牌pocketpair publishing正式宣布,将负责由东京开发团队「wonderland kazakiri inc.」打造的角色扮演解谜冒险游戏《cassette boy / 卡带小子》在steam平台的发行工作…

    2026年10月31日 • 用户投稿
    100

发表回复

登录后才能评论
关注微信