编组
控制台用户中心

孟子预训练模型

核心技术简介

孟子预训练模型是基于团队自研技术研发的大规模预训练语言模型。可处理多语言、多模态数据,同时支持多种文本理解和文本生成任务,能快速满足不同领域、不同应用场景的需求。孟子模型基于 Transformer 架构,仅包含十亿参数量,基于数百 G 级别涵盖互联网网页、社区、新闻、电子商务、金融等领域的高质量语料训练。

solution.title

孟子预训练模型

核心技术简介

孟子预训练模型是基于团队自研技术研发的大规模预训练语言模型。可处理多语言、多模态数据,同时支持多种文本理解和文本生成任务,能快速满足不同领域、不同应用场景的需求。孟子模型基于 Transformer 架构,仅包含十亿参数量,基于数百 G 级别涵盖互联网网页、社区、新闻、电子商务、金融等领域的高质量语料训练。

技术方案

mengzi-advantage

支持多种模型架构

  • 自回归模型:如 GPT
  • 自编码模型:如 BERT
  • Encoder-Decoder 模型:T5
mengzi-advantage

轻量模型性能强化

  • 多预训练任务融合
  • SMART 对抗训练
  • 知识蒸馏
mengzi-advantage

基于知识图谱增强

  • 基于实体抽取的增强
  • 知识图谱增强(isa 关系)
  • 知识图谱转文字
mengzi-advantage

基于语言学知识增强

  • 成分句法融合增强的 Mask 机制
  • 语义角色 Embedding 融合增强
  • 依存关系的注意力权重约束剪枝
mengzi-advantage

小样本/零样本学习

  • Prompts 模板构造
  • 多任务学习技术
  • 覆盖常见信息抽取场景,开箱即用
mengzi-advantage

基于检索增强

  • 知识解耦
  • 可解释性强
  • 外部知识组件实时更新

技术优势

advantage

在金融知识图谱搭建、研报脱水、公告抽取等多个任务上获得了超过常规模型的表现

advantage

支持 BERT、GPT、T5 等架构,能够覆盖文本理解、文本生成等不同场景

line2line2line1centerline4
advantage

支持图文双模态输入,能够更好地处理图文相关任务

advantage

支持对垂直领域进行快速定向优化,支持从 10M 到 1B 不同规模

CLUE 排行榜

*排名截至2021年7月30日

排名123
模型孟子MotianBETRTSG人类水平
规模十亿十亿百亿
总分82.9082.1581.8086.68
AFQMC79.8278.3079.8581.00
TNEWS64.6857.4257.4271.00
IFLYTEK65.0865.4664.5480.30
OCNLI81.8784.9785.9390.30
WSC202096.5594.8395.1798.00
CSL89.8790.1789.0084.00
CMRC201882.2585.3083.8092.40
CHID96.0094.4393.0687.10
C389.9888.4987.4496.00
排名模型规模总分AFQMCTNEWSIFLYTEKOCNLIWSC2020CSLCMRC2018CHIDC3
1孟子十亿82.9079.8264.6865.0881.8796.5589.8782.2596.0089.98
2Motian十亿82.1578.3057.4265.4684.9794.8390.1785.3094.4388.49
3BETRTSG百亿81.8079.8557.4264.5485.9395.1789.0083.8093.0687.44
人类水平86.6881.0071.0080.3090.3098.0084.0092.4087.1096.00

落地场景

scenescene

公告抽取

模型可以从大量的文本中提取出公告信息,方便快速获取重要信息。
scenescene

小说生成

模型可以根据用户提供的信息,自动生成小说内容。
scenescene

情感分类

模型可以对文本进行情感分析,区分出文本中的正面、负面或中性情感。
scenescene

研报分类

模型可以对研究报告进行分类,按照不同的主题进行归类。
scenescene

新闻摘要

模型可以自动生成新闻摘要,快速提供新闻要点信息。
scenescene

知识图谱搭建

模型可以根据已有的知识,构建知识图谱,方便快速查询。
scenescene

问答系统

模型可以通过语义分析,提供问题的答案。
scenescene

图文互检

模型可以对文本和图片进行匹配,检查是否相符。

应用案例

https://cdn.langboat.com/portal/page.technology.mengzi.case1.title

同花顺

澜舟科技携手同花顺,聚焦认知智能领域,共同突破和创新 NLP 技术,升级金融科技领域产品和服务,为客户带来更好的用户体验。

体验澜舟孟子预训练模型能力

产品服务

商务合作邮箱

bd@langboat.com

ewm

公司地址

北京市海淀区北四环西路(街)52 号方正国际大厦 16 层 1603


gongan京公网安备 11010802035393号京ICP备 2021021087号

经营许可证编号:合字 B2-20220333

合作:

bd@langboat.com

地址:

北京市海淀区北四环西路(街)52 号方正国际大厦 16 层 1603

公众号:

ewm

support
business