王小川旗下百川智能发布baichuan-7B大模型 2023-06-16 16:45:20

据新智元报道，今天，王小川组建的百川智能公司正式发布了70亿参数的中英文开源大模型——baichuan-7B。目前，baichuan-7B大模型已在Hugging Face、Github和Model Scope等平台上发布。

据官方介绍，baichuan-7B是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。