九曲人工智能公众号
全球首个知识增强千亿大模型"鹏城-百度·文心"亮相，达世界顶尖水平
作为当前人工智能发展的重要方向，大规模预训练模型已成为AI领域的技术新高地。
12月8日，鹏城实验室与百度联合召开发布会，正式发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心（模型版本号：ERNIE 3.0 Titan），该模型参数规模达到2600亿，是目前全球最大中文单体模型，在60多项任务中取得最好效果。
鹏城-百度·文心是“全球首个知识增强千亿大模型”，在机器阅读理解、文本分类、语义相似度计算等60多项任务取得最好效果，并在30余项小样本和零样本任务上刷新基准。
在鹏城-百度·文心背后，鹏城实验室自研的算力系统“鹏城云脑Ⅱ”和飞桨深度学习平台强强联手，解决了超大模型训练的多个公认技术难题，使鹏城-百度·文心训练速度大幅提升，模型效果更优。“鹏城云脑Ⅱ”是国产自主的首个E级AI算力平台，曾在多个国际性能测试上获得冠军。飞桨是我国首个自主研发的深度学习开源开放平台，研制了端到端自适应分布式训练框架，实现多硬件支持，并行效率高达90%，有效支持鹏城-百度·文心千亿大模型高效、稳定地训练。
为解决大模型应用落地难题，鹏城-百度·文心首创大模型在线蒸馏技术，模型参数压缩率可达99.98%。压缩版模型仅保留0.02%参数规模就能与原有模型效果相当，为产业大规模应用打开新窗口。
百度AI商店
公司电话
0755-83352158
13922852708
邮箱
Michael@9qu.cn
公司地址
深圳市龙岗区坂田街道岗头社区天安云谷产业园一期3栋ABCD座 B座12楼
在线客服
在线客服