语料库是一组已注释的文本（或语音）数据集，旨在支持自然语言处理和各种语言应用的训练和评估。大模型发展可以按照模态分为5类；即文本、图片、声音（音乐）、视频、3D模型，各自处于不同的发展阶段。语料是AI大模型最重要的原材料。