超对称技术公司(SuperSymmetry Technologies)专注于开发通用人工智能(AGI)技术,并将AGI技术应用于金融、制造、生物医药、教育、科学研究等不同行业。
BigBang Transformer[乾元]是一种基于GPT Decoder-only架构的大规模预训练模型。
该模型系列包括BBT-1-1B、BBT-2-12B-Text和BBT-2.5-13B-Text,其中BBT-1-1B、BBT-2-12B-Text和BBT-2.5-13B-Text分别是最新的开源模型。
预训练语料库覆盖了14个高质量数据源,包括书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多种数据源。
BBT-2-12B-Text基于中文700亿tokens进行预训练,经过微调后可回答百科类和日常生活问题。而BBT-2.5-13B-Text基于中文+英文2000亿tokens进行预训练。
开源后,开发者可以:
- 直接调用大模型进行对话。
- 在基础模型的基础上使用自由语料库进行进一步训练。
- 对大模型进行微调以满足各种下游任务。
数据统计
相关导航
暂无评论...