AI写作AI大语言模型

乾元BigBangTransformer

预训练语料库覆盖了14个高质量数据源,包括书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多种数据源。

标签:

超对称技术公司(SuperSymmetry Technologies)专注于开发通用人工智能(AGI)技术,并将AGI技术应用于金融、制造、生物医药、教育、科学研究等不同行业。

BigBang Transformer[乾元]是一种基于GPT Decoder-only架构的大规模预训练模型。

该模型系列包括BBT-1-1B、BBT-2-12B-Text和BBT-2.5-13B-Text,其中BBT-1-1B、BBT-2-12B-Text和BBT-2.5-13B-Text分别是最新的开源模型。

预训练语料库覆盖了14个高质量数据源,包括书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多种数据源。

BBT-2-12B-Text基于中文700亿tokens进行预训练,经过微调后可回答百科类和日常生活问题。而BBT-2.5-13B-Text基于中文+英文2000亿tokens进行预训练。

开源后,开发者可以:

  1. 直接调用大模型进行对话。
  2. 在基础模型的基础上使用自由语料库进行进一步训练。
  3. 对大模型进行微调以满足各种下游任务。

数据统计

相关导航

暂无评论

暂无评论...